Кек из трансляции Тинька – в superGLUE человеческий бенчмарк опустился на 4 место, первые три занимают трансформеры 🤡

Там выложили базу из блюд американских ресторанов. Наименование, стоимость, КБЖУ, вот это вот все.

Любопытен датасет тем, что он на Dolt. (бд, обновляемая через гит) Т.е. все данные заносились через пулл реквесты, а доступ есть через SQL.
Качество данных под вопросом, так как записей, где заполнены поля с ценой и КБЖУ, всего 83 из 6 479 347 блюд :D
А вот блюд с указанной ценой уже больше - 6 312 564 (97.4%)
(при этом уникальных блюд всего около 2 млн)

Источник: https://www.dolthub.com/blog/2021-08-20-menus-bounty-retrospective/
БД: https://www.dolthub.com/repositories/dolthub/menus/query/master

Бонус: USDA Nutrition database онлайн через SQL там же - https://www.dolthub.com/repositories/dolthub/usda-all-foods

👾🎨 Denis Sexy IT 🤖+ Мишин Лернинг🤖🎓= Text2PixelArt + Zero-Shot PixelArt Style Transfer

◾️ Пару дней назад я выложил колаб по Text2PixelArt Мишин Лернинг 🤖🎓 Resolution Mod, который расширял функционал: давал возможность выбирать разрешение + улучшал качество картинки.

◾️ Сегодня Denis Sexy IT 🤖 собрал крутой колаб, основная идея которого: Zero-Shot PixelArt Style Transfer. Просто представьте, Style Transfer для которого не нужно ни одного примера (0-shot)! Этот мод дает возможность выбирать изображение, с которого начнется оптимизация. Такой подход дает невероятные возможности! Не зря говорят: Good Init Is All You Need!

Встречайте симбиоз этих двух лучших версий!

p.s.: Дополнительные благодарности: mlart, ViktorAlm, dribnet

🔮Text2PixelArt + Zero-Shot PixelArt Style Transfer = Mishin Learning + Denis Sexy IT

Притащил позалипать.

Так выглядят кошмары по версии VQGAN+CLIP.

оригинал

Нейросеть Codex от OpenAI: увольняйте ваших Data Scientist’ов

Будущее наступило! Нейросеть Codex (gpt 3 для генерации кода) позволяет решать data science задачи на естественном языке!

https://youtu.be/Ru5fQZ714x8

Ну што, всем General Intelligence, посоны.
deepmind выложил свой Perceiver, общую трансформер-лайк архитектуру, которую можно применять к любой области, от естественного языка до видео.
Основное отличие от трансформеров (это в том числе и GPT) - сначала входные данные преобразуются в относительно небольшое по размеру внутреннее представление (latent representation), которое и скармливается всем внутренним слоям.
Это позволяет делать сверхглубокие нейронки в овер 9000 (нет) слоев и брать на вход большие объемы данных при сопоставимых затратах ресурсов.
Код: https://github.com/deepmind/deepmind-research/tree/master/perceiver
Бумага: https://arxiv.org/pdf/2107.14795.pdf
Блог: https://deepmind.com/blog/article/building-architectures-that-can-handle-the-worlds-data

Если вы давно хотели привести в порядок свои фотоальбомы поиск по той свалке фоток, что лежит у вас в downloads, то их есть у нас.
Встречайте, rclip. Берет известный CLIP и ищет картинки по соответствию контента текстовому запросу.

Сначала один раз генерите эмбеддинги для файлов, а дальше быстро ищете совпадения в бд.

Код (и билд для Linux x86_64) - https://github.com/yurijmikhalevich/rclip
Демо: https://www.youtube.com/watch?v=tAJHXOkHidw
Пост на реддите: https://www.reddit.com/r/MachineLearning/comments/pb6ime/p_rclip_use_clip_to_search_for_your_photos_in_the/

Пересобрал блокнот e4e + StyleCLIPglobal отсюда https://youtu.be/H4Kqbm1WirU с вольным переводом.
Позволяет конвертить лицо из диснеевского 3д-мультика в фото, и потом манипулировать чертами лица с помощью StyleCLIP.
На обычных мультфильмах получается довольно проклято :D

Как водится, добавил обработку пачки файлов (только для конвертиции toon->photo, а StyleCLIPglobal берет одну из обработанных фоток)
Потыкать тут: https://colab.research.google.com/drive/1DRQC1Ip--tl8cYkA8Vad816zSNsHJOIY?usp=sharing

исходный репо e4e: https://github.com/omertov/encoder4editing

Чот аж хрюкнул

🤖🏆 SimVLM - Новый CLIP

Представьте себе одну модель, которая может:
- Классифицировать фото
- Отвечать на вопросы по фото
- Дополнять текстовые описания
- Решать задачу «визуального обоснования»
- Выполнять мультимодальный перевод

А самое главное, делать все это в режиме zero-shot (обучение без обучения)!

Встречайте: SimVLM, который по факту является мультимодальной сетью Text + Image (как CLIP), с классической трансформер архитектурой. ViT+Bert энкодер + декодер GPT (см картинку поста).

Такой текстовый-визуальный претрейн сравнили с современными (SOTA) методами, включая, LXMERT, VL-T5, UNITER, OSCAR, Villa, SOHO, UNIMO и VinVL.

SimVLM превосходит все существующие модели и бьет SOTA по всем рассматриваемым задачам, часто со значительным отрывом.

Скоро сделаю подробный обзор архитектуры.

📄 paper

#sota #paper #multimodal #zeroshot #сохраненки

Рубрика #простити
Все уже видели эти неудачные дубли, но я думал, что чего-то все-таки не хватает.
И вот секретный ингредиент, наконец, найден!
Встречайте, derevnya dynamics.

Я уже как-то писал про софт под названием Vermillion.
Он создан художником из Ротердама Thomas van den Berge.

Для художников, которые не хотят заморачиваться с ритуалом натягивания холста, набором палитры и измазыванием в краске, потому что софт предназначен для VR. Т.е. вы получаете максимально близкие ощущения от процесса и максимально близкую имитацию материалов.

В идеале, конечно, закупиться цифровым стилусом и поставить перед собой мольберт, чтобы упираться во что-то.👺

Видео

⚠️ Нейросеть Codex от OpenAI: не нанимайте новых программистов!

Будущее наступило! Нейросеть Codex умеет переводить код с одного языка программирования на другой!

📽 Пример перевода кода с Python на Ruby