Text-To-Video на подходе!

Смотрите, что вытворяют ребятки из Гугла!
На входе референс в виде видео или картинки или даже набора из 10-20 картинок и текстовое описание, что вы хотите сотворить с этим референсами, под какую дудку вы хотите заставить их плясать.
ИИ извлекает из референсов "смыслы" и потом анимирует их в соответствии с тем, что вы насочиняли в текстовом промпте.
И это вам не дефорумный бурлеж, это гладкое видео. Оцените примеры с животными.

Посмотрите полное видео - это прототип вселенской монтажки, где вы просто орете на свои картинки-референсы: "а ну ка, поддали эмоций в кадре и весело побежали в закат!".
И все бегут...

https://www.youtube.com/watch?v=xcvnHhfDSGM

Не зря авторы именуют проект Video Editing Tool

А картиночки-то на входе можно генерить с помощью ИИ. И персонажей, и фоны...

Скрипач не нужен, куда катится мир!

Полная информация тут: https://dreamix-video-editing.github.io/

Спасибо за утреннюю наводку CGIT_Vines.

Микрософт бахнула новый Бинг!

Гугль нервно закуривает овальные сигареты.
Ибо.
В новом браузере Edge новый поиск Bing работает на обновленном chatGPT, который теперь зовется Прометей - Microsoft заявила, что это более мощная языковая модель, чем GPT 3.5, которая лучше отвечает на поисковые запросы, предоставляет более актуальную информацию(дообучена на данных после 2021) и умеет в аннотированные ответы.

В демонстрационном ролике поисковая система даже смогла ответить на вопросы о своем собственном запуске, ссылаясь на новости, опубликованные за последний час(!)

Микрософт заявляет, что новый Bing будет запущен сегодня «для ограниченного предварительного просмотра», и пользователи смогут попробовать ограниченное количество запросов и зарегистрироваться для получения полного доступа в будущем. Вайтлист в общем.

Также Микрософт показала то, что она называет «новым Bing», работающим в различных конфигурациях. Один из них показывает традиционные результаты поиска рядом с аннотациями AI (вверху), а другой режим позволяет пользователям напрямую общаться с чат-ботом Bing, задавая ему вопросы в обычном интерфейсе чата, таком как ChatGPT (внизу).

В дополнение к новому интерфейсу Bing Микрософт запускает две новые функции с улучшенным ИИ для своего браузера Edge: «чат» и «compose». Они будут встроены в боковую панель Edge.

«Чат» позволяет пользователям обобщать веб-страницу или документ, который они просматривают, и задавать вопросы о его содержании, а «compose» действует как помощник по письму; помогая генерировать текст — от электронных писем до постов в социальных сетях — на основе нескольких стартовых подсказок.

Вот не зря Микрософт вонзали миллиарды в OpenAI....

Поэтому Гугль вчера истошно взорал про своего нового бота Бард. Который пока в теории..

https://www.theverge.com/2023/2/7/23587454/microsoft-bing-edge-chatgpt-ai

Сегодня вышла еще одна моя статья. Спасибо ребятам из DeepSchool)

Unet

Кажется, первое слово, которое ассоциируется с сегментацией у большинства инженеров и ресерчеров – Unet. Возможно, у кого-то уже сложилась похожая ассоциация и с диффузионными моделями. Ведь в них также используются U-образные архитектуры.

Поэтому про Unet важно знать и можно вспоминать 🙂 Мы разобрали архитектуру 2015 года, а также соотнесли ее с современным положением дел. А именно рассказали:
- какая идея кроется за Unet;
- какие решения были до этой архитектуры;
- какие идеи в статье уже не актуальны;
- что можно использовать в качестве upsampling;
- и как можно улучшить результат Unet.

Читайте, чтобы освежить знания и узнать новое: https://deepschool-pro.notion.site/Unet-bf1d734f847e4bfd8d8c795cdfa6bbc6

Я рад сообщить, что на канале DeepSchool вышла моя новая статья! В то же время я работаю над новым выпуском подкаста.

​​CVAT SDK PyTorch Adapter

Если вам надоело вручную выгружать задания от разметчиков и объединять их для загрузки на сервер, то эта статья для вас.

В новом материале обсудим:
- как загрузить данные из CVAT напрямую в torch.utils.data.Dataset;
- советы при работе с CVAT PyTorch SDK;
- недостатки SDK на данный момент.

Читайте новую статью по ссылке, чтобы готовить датасеты быстрее: https://deepschool-pro.notion.site/CVAT-SDK-PyTorch-Adapter-e223563927454322a8d56076e59b8b17

Отличные новости - вышел новый выпуск подкаста "ИИ Что!" и в этом выпуске наш гость - Влад Грозин. Он сейчас учится на PhD в США и занимается разработкой рекомендательных систем. Кроме того, он является ex. Head of DS в компании INCYMO.

https://www.youtube.com/watch?v=t5myT5RVKP0&ab_channel=ИИчто

Сейчас идет Датафест 2023 на котором мне попался очень интересный доклад "momentum истыны". Рассказывается про некоторые особенности работы с SGD, ADAM и т.д. с визуализацией внутреннего состояния обучения на примере упрощенной ResNet.
После доклада сможете лучше понимать как пользоваться SGD и не только.

Кидаю ссылку на доклад с привязкой ко времени
https://youtu.be/j7LAX3Fqhwc?t=5311

Это просто моя мечта, пошел разбираться с генерацией музыки!

MusicGen - SOTA для генерации музыки по тексту

Братишки из Meta AI только что доставили лучшую нейронку для синтеза музыки по тексту либо по заданной мелодии.

Архитектура основана на авторегрессионном трансформере (только декодер). Вся генерации идет тупо через один трансформер, без всяких иерархических апсемплингов, как обычно это было в предыдущих работах.

Код вылили в составе не просто так, а в составе новой библиотеки Audiocraft, которая задумана для дальнейшего ресерча в генерации аудио. Есть модели разного размера: от 300M до 3.3B параметров. Для инференса локально потребуется 16GB VRAM, но можно и в колабе.

Музыканты, битмейкеры и диджеи - налетайте!

Код + веса
Сайт с примерами генеараций
Демо на HF
Колаб на поиграться

@ai_newz

🔬 Обновления OpenAI API - еще на шаг ближе к личному ассистенту

OpenAI объявило о внедрении целого ряда улучшений в свои модели, среди которых большая гибкость управления моделями API, возможность вызова функций, расширение контекста, а также снижение цен.

Среди новшеств стоит отметить:

📍 Возможность вызова функций в Chat Completions API
📍 Обновлённые и более поддерживаемые версии gpt-4 и gpt-3.5-turbo
📍 Новая версия gpt-3.5-turbo с контекстом 16k (против стандартной версии 4k)
📍 Снижение стоимости на 75% для нашей модели векторного представления данных
📍 Снижение стоимости на 25% за входные токены для gpt-3.5-turbo

Нововведение в виде вызова функций позволит разработчикам более надёжно связывать возможности GPT с внешними инструментами и API.

К примеру, теперь разработчики могут:
📨 Создавать чат-ботов, отвечающих на вопросы с помощью внешних инструментов
🔀 Преобразовывать естественный язык в вызовы API или запросы к базам данных
🗂 Извлекать структурированные данные из текста

И что самое удивительное, пока во всем мире инфляция и цены повышаются - OpenAI наоборот демпингует и снижает цены на использование своего API.

Новость

Собираю сейчас данные на я.толоке и пока смотрел материалы различные, нашел работающий промокод на $20. Мелочь, а приятно)
promocode: UNAMTUTORIAL

P.S.
это не реклама))
мне не нравится толока, но сейчас для моей задачи это лучший выбор

Вышла статья по мотивам нашего выпуска с Владом Грозиным.

https://habr.com/ru/companies/magnus-tech/articles/759426/

Спасибо за ее подготовку и публикацию Игорю Santry, IT журналисту у которого, кстати, есть свой блог:
https://news.1rj.ru/str/SantryBlog

Новый подкаст в процессе монтажа, а пока я его делаю, можно почитать статью по подкасту с Антоном Мальцевым.

https://habr.com/ru/companies/magnus-tech/articles/768476/

Спасибо за подготовку и публикацию Игорю Santry, IT журналисту