​Настоящие революции в мире ML происходят не так часто — что случилось что-то серьезное, можно понять по сообщениям в твиттере от ML-инженеров в стиле: «У меня просто руки опускаются теперь что-то делать», «Я не вижу смысла продолжать свое исследование» и тп.

Речь идет о задаче генерации картинки по тексту, и я про новую версию DALL•E от OpenAI, о которой кажется все уже написали.

Нейронка может работать в трех режимах:
✨ Генерировать картинку с нуля;
✨ Дорисовывать часть картинки;
✨ Сгенерировать новые версии картинки на входе.

Упрощенно, на пальцах, довольно сложно рассказать как работает этот подход (потому что на фразе «диффузионный декодер и диффузионную визуальную модель» обычные люди начинают плакать), но я подумаю над простым объяснением, как я делал тут.

Ниже будет пост, где я собрал результаты генерации из разных твиттер тредов и дописал запросы по которым эти картинки генерировались (их никто не дорабатывал в фотошопе, это сырой выход из нейронки – в разрешении 1024х1024).

А вот так выглядит интерфейс для генерации, доступ к которому пока есть только у ~400 человек (я тоже подал заявку и в списке ожидания):

Наткнулся на совершенно фантастическое качество конвертации английского текста в голос нейронкой.

Если честно, в Open Source такого качества не видел пока что, и там много голосов, вот страница с примерами.

Вдруг кому-то полезно будет для проектов англоговорящих – алгоритм называется Tortoise:

🐢 Код | Колаб

Задачу генерации картинок из текста можно считать решенной — поэтому исследователи постепенно переходят к задаче «А давайте генерировать целые гифки по текстовому описанию».

Вчера выложили пример работы алгоритма CogVideo — суть у него такая же как у Dalle, вы пишите текст, а он выдает вам видео в 4 секунды длинной.

Кода пока нет, но по видимому будет тут.

У меня две мысли:
1) Лев который пьет — офигенный
2) Исследователи так порно индустрию без денег оставят своими нейронками

@Denis

​Новый околонаучный дайджест за эту неделю:

🗑 Не успели мы освоить другую планету, как уже начали на ней мусорить. Вот, например, на Марсе Perseverance нашел странную штуку, которая оказалась термоматериалом, застрявшем в камне. Его отнесло от места посадки на 2 км марсианским ветром (Rus / Eng)

🐕 Ghost Robotics (это которые военные робо-псы) разработала модуль для перемещения пёсика вплавь со скоростью 3 узла (это примерно 1,5 м/с), он просто ложится в воду и поджимает лапы, после чего начинает работать реактивный двигатель (Eng)

📡 Израильская фирма Camero-Tech говорит, что разработала портативную систему обработки изображений, которая может «видеть» сквозь стены. Радар работает, естественно, с ИИ и отслеживает живые цели в 3D, короче штука для военных (Rus / Eng)

🥶 Зоологи выяснили, что в Гренландии есть изолированные медведи «отшельники», которые научились выживать в условиях нехватки морского льда. В качестве опоры в летний период они используют пресный лёд, который сползает с ледников в море (Rus / Eng)

🟡 Учёные выяснили, что скорость и направление вращения Земного ядра меняется со временем, то есть на основе компьютерных моделей было определено, что оно вращается то в одном, то в другом направлении с изменяющейся скоростью (Rus / Eng)

🕸 Очередной эпик про глубокий космос — с помощью радиотелескопа ALMA астрономы обнаружили в огромной области звездообразования реальную сеть из связанных нитей холодного молекулярного газа. В общем, даже в таких условиях процесс рождения новых звёзд идёт весьма эффективно, в источнике фото/видео (Rus / Eng)

🔭 Никогда бы не подумал что такое возможно, но в Индии запустили новый телескоп с главным зеркалом из жидкой ртути, 50 литров находятся внутри четырёхметрового параболического зеркала (Rus / Eng)

🎲 Youtube канал о науке вдохновил физиков на проверку эффекта домино. Они смоделировали падение выстроенных костяшек, где учитывали все тонкости, вплоть до силы трения пластика об поверхность и объяснили редкие аномалии, связанные со спонтанной остановкой волны (Rus / Eng)

Дайджест событий прошлой недели тут.

На картинке медведь-отшельник готовит себе ужин, спасибо Dalle: