Gradient Through Augments: Vice City

OpenAI выпустили Triton 1.0 — Python-подобный язык “прослойку” для написания нейронных сетей

OpenAI выпустили Triton 1.0, Python подобный язык программирования с открытым исходным кодом, который позволяет ресерчерам, не имеющим опыта работы с CUDA, писать высокоэффективный код.

pip install triton

import triton
import triton.language as tl

🦎blog 💻git 📚triton
🤖🎓мишин лернинг

Heisenberg из Breaking Bad: нейросетевой one line art.

Скоро каждый сможет попробовать сам. Сolab в процессе.

🤖🎓мишин лернинг

Zero-shot classification on Google Sheets

Ребята из Hugging Face выкатили крутейшее апи для zero-shot классификации прямо в google sheets.

Как мы помним Microsoft купил GPT-3, и что-то мне подсказывает …

Learning High Fidelity Depths of Dressed Humans by Watching Social Media Dance Videos

Да, TikTok помог науке. wow

💻git 💾set 📄paper
🤖🎓мишин лернинг

Ребята, начал делать крутой проект по мл. Скоро сделаю анонс.
p.s. картинка сгенерирована нейросетью

🥑 Professional illustration of grandmother playing cool guitar

Поэкспериментировал с китайской версией DALL·E — CogView, которая в 4 раза меньше DALL·E от OpenAI. Клон уже показывает неплохие результаты.

Результаты на голову выше, чем у DALL·E mini от 🤗Hugging Face.

DALL·E mini уступает CogView, хотя и использует куда более прогрессивный VQGAN, который ребята тюнили специально под свой zero-shot text-to-image.

CogView работает на относительно старом VQVAE, правда в связке с super resolution, что позволяет чуть зашарпить мыло, которым грешат VAE.

Все дело именно в размере GPT-like трансформер модели внутри этих решений. DALL·E mini ~0.4B vs CogView ~4B. 10X играют огромную роль (плюс, конечно же, размер датасета)

Хотелось бы верить, что скоро мы сможем увдидеть DALL·E v2 c VQ-GAN уже от OpenAI и c разным числом обучаемых параметров: от Lite do XL.

p.s. Cкоро выложу рабочий colab. У “официального” с git’a бага с подгрузкой VQVAE

💻git 📄paper
🤖🎓мишин лернинг

Анонс выпуска моего курса Introduction to Deep Learning

Друзья, привет! У меня для вас отличная новость!

📅 12.08 (в этот четверг) в 19-30
состоится выпуск моего курса:
Introduction to Deep Learning: Выпуск

Мы с ребятами подготовили для вас крутой контент. Вас ждут элегантные решения множества задач: Computer Vision и Natural Language Processing

Что будет:
+ Сверточные сети: MnasNet, EfficientNet, ResNet, MaskRCNN, кастомные решения (и это точно не свертка-relu-пулинг-свертка-relu)

+ Трансформеры: GPT, BERT, Vision Transformer (ViT)

+ Фреймоворки: PyTorch, TF, Keras, + кастомный
фреймворк машинного обучения (Zelda⚔️)

+ Возможность задавать вопросы студентам и мне

⚠️ p.s.: Выпуск 12.08 в 19-30 (точно не 10.08)
Коллеги, буду благодарен за репост

Disentangled Lifespan Face Synthesis

Добавил в колаб интерфейс для выбора модели: “мужское и женское“ + возможность легко загружать свои фотки с компа и скачивать результат.

🔮colab

#colab #mishin_learning_colab #neuralart

Creating a Space Game with OpenAI Codex

Будущее наступило! Codex (gpt3 для генерации кода от OpenAI) позволяет писать игры на естественном языке!

https://youtu.be/Zm9B-DvwOgw

🤖TRANSFORMER IS ALL YOU NEED

Неделю назад я писал, что начал делать крутой проект. Встречайте:

transformer.community

p.s. все картины на сайте созданы нейронными сетями

🏆 Perceiver IO от deepmind бьет SOTA по задаче Optical Flow

Optical Flow — задача отслеживания движения пикселей. Цвет каждого пикселя показывает направление и скорость движения, предсказанного трансформером Perceiver IO.

Кроме того, новая архитектура от deepmind: Perceiver IO — трансформер-генералист. Его можно использовать для огромного количества задач как в CV так и в NLP.

То есть архитектура Perceiver IO подходит для обработки изображений, текста, аудио, видео и их комбинаций!

🔮google предоставил тариф colab pro+

+ Работает после закрытия браузера
+ Более длительное время работы
+ GPU быстрее
+ Больше памяти
- 50$ / месяц (vs 10$ за colab pro)

В Neural Art проходит моя выставка коллекции «НейроГипс»

Коллекция «НейроГипс» состоит из шестнадцати визуально-семантических модулей, сгенерированных нейронными сетями в жанре CNN: Cyber Neural Noir.

Сам жанр описывает мрачный и привлекательный мир эпохи искусственного интеллекта в сеттинге высокотехнологичного футуристического города, ландшафт которого уже не имеет четких границ между реальностью и виртуальным пространством.

🎬 Доступ открыли. Запись трансляции доступна!

Introduction to Deep Learning: Выпуск

Обложка новой книги Пелевина

p.s. все ассоциации с реальными персонажами случайность, вызванная работой вашего мозга, интерпретирующего продукт нейро(де)генерации

👾🎨 Pixel Draw Colab - Мишин Лернинг Resolution Mod

Ребята, сделал для вас супер-пупер версию популярного в последние дни colab’а для генерации картин в стиле PixelArt.

🔮 Pixel Draw Colab - Мишин Лернинг Resolution Mod

Что важного в этой версии:
▪️Добавил возможность выбирать разрешение (изначально автор не заложил этого в интерфейсе, и пришлось покостылить, но все ок! наконец-то)
▪️Добавил возможность выбирать модель (ViT-B/32 vs ViT-B/32 + ViT-B/16, ViT-B/32 + ViT-B/16 + ResNet50), по умолчанию стоит quality: draft, это значит, что градиенты текут именно с ViT-B/32, я бы советовал юзать именно его.
▪️Добавил выбор colab pro / colab

Продуктивной генерации!

p.s. возможность выбирать разрешение - реально топ! На картинке: professional pixel art of 2D star wars game in retro neon night city в разных разрешениях

#colab #mishin_learning_colab #neuralart

Annotated PyTorch Paper Implementations

Коллега скинул прикольный сайт с реализаций разных deep learning идей на PyTorch. Основной упор сделан на объяснении и подробных построчных комментариях.

💻 nn.labml.ai

👾🎨 Text2PixelArt - Resolution Is All You Need

Коллеги, довел до ума colab для Text2PixelArt и он стал еще лучше, чем позавчера!

Основные апдейты:
▪️Интерфейс. В интерфейсе только текст и разрешение. Остальное уже оптимально подобрано под обычный colab и colab pro. Добавил личные советы.
▪️Оптимизация. Теперь градиенты текут только с ViT-B/32, выходит намного качественнее и быстрее.
▪️Качество картинки. Увеличил num_cuts, отвечающий за батчсайз кропов изображения! Теперь качество выше на порядок! Это стало возможно благодаря, выбору оптимальной архитектуры ViT-B/32

p.s.: Все картинки сгенерировали подписчики и коллеги с работы, используя возможность выбора разрешения. Ребята, спасибо за фидбэк!

- Гарри Поттер пробивает товар на кассе
- Жираф на ролике в скейт парке
- 2D ретро игра по Звездным Войнам
- Пиксельный постер фильма Гарри Поттер
- Чубакка ест банан, глядя на закат
- Космическая одиссея 2001 года

🔮 Text2PixelArt Colab - Мишин Лернинг Resolution Mod

#colab #mishin_learning_colab #neuralart