Forwarded from Технологии | Нейросети | NanoBanana
This media is not supported in your browser
VIEW IN TELEGRAM
⚡⚡⚡
Meet GitHub Copilot - your AI pair programmer.
GitHub Copilot работает на Codex, новой системе искусственного интеллекта, созданной OpenAI.
Twitter
copilot.github.com
Meet GitHub Copilot - your AI pair programmer.
GitHub Copilot работает на Codex, новой системе искусственного интеллекта, созданной OpenAI.
copilot.github.com
Пилю андроид аппку для создания стикеров из фото.
Результат эксперимента на знакомой модели такой: https://news.1rj.ru/str/addstickers/Diexa
Работает так:
1) Загружаем фото из галереи
2) Конвертим в комикс
3) Загружаем в телегу
Телега иногда козлит и не загружает одни и те же стикеры, но в другом порядке. Может позже починят.
Результат эксперимента на знакомой модели такой: https://news.1rj.ru/str/addstickers/Diexa
Работает так:
1) Загружаем фото из галереи
2) Конвертим в комикс
3) Загружаем в телегу
Телега иногда козлит и не загружает одни и те же стикеры, но в другом порядке. Может позже починят.
Forwarded from эйай ньюз
DeepMind опубликовал статью, где они представляют новую архитектуру - Perceiver.
Главная идея и мотивация — учиться на данных любой модальности (картинки, аудио, видео, точки, и т.д.) без использования каких-либо предположений о структуре этих данных знаний, таких как, например, локально гладкая 2D-структура картинок, которая повсеместно эксплойтится конволюционными нейронными сетями.
Предлагаемая модель Perceiver — это хитрый трансформер, который имеет несколько преимуществ перед существующими архитектурами:
➞ 1) Он может работать со входными последовательностями огромной длины (> 100k входов). Это достигается за счет использования Cross Atention блока, который принимает входные данные как ключи (K) и как значения (V), а вместо запросов (Q) использует гораздо меньшее число (512, если быть точным) скрытых векторов. Интуитивно это можно представить как этакий ботлнек на основе self-attention. На вход N векторов (где N может быть очень большим), а на выходе получаем ровно 512 (что является гиперпараметром).
➞ 2) Из-за описанного выше Cross Atention блока, который выступает в роли ботлнека, мы можем сделать Perceiver очень глубоким. Все потому что каждый последующий self-attention блок будет работать со входами длины 512, а не N. Поэтому даже квадратичная по сложности от длины входа наивная реализация self-attention'а будет быстро работать и не будет выжирать всю память.
➞ 3) Архитектура не опирается ни на какие структурные предположения о данных. Она настолько универсальная, что может применяться к различным модальностям почти без изменений (если не считать positional encoding). Можно запускать на картинках - Perciever бьет базовый ViT-B, хотя вообще не содержит ни одной конволюции и на вход берет тупо 50 тыщ пикселей (для картинки 224x224). Также Perciever отлично работает на аудио, видео, на комбинации аудио+видео, и на облаках 3D точек.
Сама статья довольно хорошо написана, можете в ней почитать подробности.
Главная идея и мотивация — учиться на данных любой модальности (картинки, аудио, видео, точки, и т.д.) без использования каких-либо предположений о структуре этих данных знаний, таких как, например, локально гладкая 2D-структура картинок, которая повсеместно эксплойтится конволюционными нейронными сетями.
Предлагаемая модель Perceiver — это хитрый трансформер, который имеет несколько преимуществ перед существующими архитектурами:
➞ 1) Он может работать со входными последовательностями огромной длины (> 100k входов). Это достигается за счет использования Cross Atention блока, который принимает входные данные как ключи (K) и как значения (V), а вместо запросов (Q) использует гораздо меньшее число (512, если быть точным) скрытых векторов. Интуитивно это можно представить как этакий ботлнек на основе self-attention. На вход N векторов (где N может быть очень большим), а на выходе получаем ровно 512 (что является гиперпараметром).
➞ 2) Из-за описанного выше Cross Atention блока, который выступает в роли ботлнека, мы можем сделать Perceiver очень глубоким. Все потому что каждый последующий self-attention блок будет работать со входами длины 512, а не N. Поэтому даже квадратичная по сложности от длины входа наивная реализация self-attention'а будет быстро работать и не будет выжирать всю память.
➞ 3) Архитектура не опирается ни на какие структурные предположения о данных. Она настолько универсальная, что может применяться к различным модальностям почти без изменений (если не считать positional encoding). Можно запускать на картинках - Perciever бьет базовый ViT-B, хотя вообще не содержит ни одной конволюции и на вход берет тупо 50 тыщ пикселей (для картинки 224x224). Также Perciever отлично работает на аудио, видео, на комбинации аудио+видео, и на облаках 3D точек.
Сама статья довольно хорошо написана, можете в ней почитать подробности.
Forwarded from Denis Sexy IT 🤖
Лол, тут оказалось что старейшая гидроэлектростанция в США построенная в 1897 году майнит биткоины используя энергию которую генерирует, потому что это выгоднее чем просто продавать электричество напрямую:
https://www.tomshardware.com/news/restored-hydroelectric-plant-will-mine-bitcoin
Мне нравится как сложность оборудования для майнинга постепенно вышла на уровень владения электростанций, скажи это кому-то 10 лет назад, покрутили бы пальцем у виска. На фото эта гидроэлектростанция.
https://www.tomshardware.com/news/restored-hydroelectric-plant-will-mine-bitcoin
Мне нравится как сложность оборудования для майнинга постепенно вышла на уровень владения электростанций, скажи это кому-то 10 лет назад, покрутили бы пальцем у виска. На фото эта гидроэлектростанция.
Forwarded from эйай ньюз
Блог Lilian Weng (ресерчер из OpenAI) - один из моих любимых технических блогов. У нее очень емкие статьи-обзоры по различными темам в области AI.
Недавно у Лилиан вышла очередной блогпост о Диффузионных моделях (Diffusion Models). Если коротко, то диффузионные модели - это новый тип генеративных моделей, которые достаточно гибки, чтобы выучить любое произвольно сложное распределение данных, и в то же время поддаются аналитической оценке выученного распределения. Недавно было показано, что диффузионные модели могут генерировать высококачественные изображения и по своим характеристикам не уступают SOTA GAN. Существенный минус этих моделей на данный момент — это то, что они довольно медленные.
Я уже писал об этих моделях в мае, но чтобы более досконально разобраться в них, советую почитать блогпост от Лилиан.
Недавно у Лилиан вышла очередной блогпост о Диффузионных моделях (Diffusion Models). Если коротко, то диффузионные модели - это новый тип генеративных моделей, которые достаточно гибки, чтобы выучить любое произвольно сложное распределение данных, и в то же время поддаются аналитической оценке выученного распределения. Недавно было показано, что диффузионные модели могут генерировать высококачественные изображения и по своим характеристикам не уступают SOTA GAN. Существенный минус этих моделей на данный момент — это то, что они довольно медленные.
Я уже писал об этих моделях в мае, но чтобы более досконально разобраться в них, советую почитать блогпост от Лилиан.
Наконец запилил стикер-бота. Делает вот так:
Лучше всего работает на цветных фотках с 1 лицом. Ну и чем выше качество фото, тем лучше результат.
Го тыкать, я создал - @face2stickerbot
Лучше всего работает на цветных фотках с 1 лицом. Ну и чем выше качество фото, тем лучше результат.
Го тыкать, я создал - @face2stickerbot
Добавил текст в @face2stickerbot
Макс. 40 символов, положение выбирается в зависимости от координат лица, то есть снова получилось максимально однокнопочно.
Го тыкать!
Макс. 40 символов, положение выбирается в зависимости от координат лица, то есть снова получилось максимально однокнопочно.
Го тыкать!
Forwarded from эйай ньюз
Очень любопытная работа от UC Berkeley + FB + Google.
Поразительно, но трансформеры, предобученные на языковых задачах, неплохо обобщаются и на другие модальности.
После обучения на текстовых данных, у трансофрмера файнтюнится только линейный входной слой, выходной слой, positional embeddings и параметры layer norm слоев (см. картинку выше). В итоге после файнтюнинга всего лишь 0.1% всех параметров на новом датасете такой трансофрмер может хорошо решать задачи в других модальностях, таких как предсказание структуры белка, математические вычисления или классификация изображений.
Выглядит так, что наш мир состоит из неких информационных структур, имеющих что-то общее даже если рассмотреть совсем разные задачи. Это довольно интересная гипотеза, и судя по всему, мы движемся к какой-то универсальной "нейронной сети", которая сможет решать много разных задач, используя накопленный опыт в других областях. Меня это жутко будоражит!
Поразительно, но трансформеры, предобученные на языковых задачах, неплохо обобщаются и на другие модальности.
После обучения на текстовых данных, у трансофрмера файнтюнится только линейный входной слой, выходной слой, positional embeddings и параметры layer norm слоев (см. картинку выше). В итоге после файнтюнинга всего лишь 0.1% всех параметров на новом датасете такой трансофрмер может хорошо решать задачи в других модальностях, таких как предсказание структуры белка, математические вычисления или классификация изображений.
Выглядит так, что наш мир состоит из неких информационных структур, имеющих что-то общее даже если рассмотреть совсем разные задачи. Это довольно интересная гипотеза, и судя по всему, мы движемся к какой-то универсальной "нейронной сети", которая сможет решать много разных задач, используя накопленный опыт в других областях. Меня это жутко будоражит!
Forwarded from Dan Okhlopkov - канал
📚 Компиляция моих датасетов
Если вы присоединились к каналу только недавно, вы мб не знаете, что я частенько выкладываю датасеты.
А вот и они:
- несколько миллионов инстаграм хештегов
- московские хештеги с гео привязкой
- 7М русских комментов из инсты
- ссылки на все публикации Techcrunch (200k+)
- московские пользователи Tinder
- московские пользовалели Telegram
- 1М метаданных картинок из инсты
- 2.5М метаданных приватных юзеров инсты
- немного данных о вакансиях из Angellist
Если вы присоединились к каналу только недавно, вы мб не знаете, что я частенько выкладываю датасеты.
А вот и они:
- несколько миллионов инстаграм хештегов
- московские хештеги с гео привязкой
- 7М русских комментов из инсты
- ссылки на все публикации Techcrunch (200k+)
- московские пользователи Tinder
- московские пользовалели Telegram
- 1М метаданных картинок из инсты
- 2.5М метаданных приватных юзеров инсты
- немного данных о вакансиях из Angellist