#ОбзорГены №5

Относительно скромный период в плане релизов, хотя не без громких утечек. И все равно масса интересного.

{ Свежак }

🔠 GPT-5 (или около того) появилась на чатбот арене под загадочным названием gpt2.
🔠 Релиз нового поколения ИИ-аватаров от Synthesia (конкурента HeyGen).
🔠 Вышла версия LLaMA-3-8B (легковесная) с контекстным окном в 1 миллион токенов (!), как у Gemini 1.5.
🔠 Китайский генератор видео Vidu первым приблизился к качеству, заданному Sora от OpenAI.

{ Пульс }

⚡️ Медицинская модель OpenBioLLM 70B вышла на первое место по тестам на медицинских задачах (даже выше GPT-4).
⚡️ LMSYS разработали новый бенчмарк Arena Hard v0.1 на основе анализа пользовательских запросов на Chatbot Arena.
⚡️ Складывается новый тип устойчивых моделей — генерация изображения человека по одному (!) обучающему фото. Новая модель из этого класса — Consistent ID.
⚡️ Аналогичная ситуация в виртуальных примерочных (одеть человека в заданную одежду), качество моделей растет. Две новые — IDM-VTON и Magic Clothing.
⚡️ По-настоящему важно: прорыв в редактировании человеческого ДНК с помощью ИИ.

{ Текстуры }

✅ ChatGPT-3.5 всё — пора пользоваться другими LLM.
✅ Разбор продакшена нашумевшего ИИ-видео Air Head (при участии Sora). Спойлер: остается много человеческого труда.
✅ Тренды в GenAI от Степана Гершуни.
✅ Marques Brownlee разносит второе AI-based носимое устройство, на этот раз Rabbit R1.
✅ Исследование «Яков и Партнёры» о влиянии GenAI в горно-металлургической отрасли.

{ Находки }

😯 ImgSys — арена для сравнения разных файнтюнов Stable Diffusion моделей.
😯 Speechmatics — лучшая speech-to-text модель, судя по бенчмаркам.
😯 Shadow — сервис по аренде облачного ПК с мощным GPU (до 16 ГБ VRAM).

{ Перекресток мнений }

❓ Цикл обновления GenAI. Несмотря на постоянное FoMO в GenAI, на мой взгляд, сложились четкие циклы. За один год базовая модель устаревает (сменяется поколение моделей), каждые три месяца — происходит значимый шаг вперед. Это всё применимо только для тех классов моделей, которые прошли свой "ChatGPT-момент" (X), то есть массовая аудитория почувствовала и научилась извлекать ценность технологии. По ту сторону X сейчас: LLM, RAG-чатботы, Code Interpretator, VLM (Vision-модели), генерация / restyle / inpainting / upscale изображения, depth-анимация, расшифровка речи, TTS (синтез речи), генерация музыки и их композ. Всё.

#llm #text #ai_avatar #video #med #benchmark #consistent #clothes #video #trend #device #image #speech #gpu

#ОбзорГены №6

Многое из того, что попало в эту подборку, быстро исчезнет из внимания, потому что наступившая неделя должна принести новости, которые "перевернут игру".

{ Свежак }

🔠 Prompt Generator от Claude: лучшая попытка автоматизации промпт-инжиниринга.
🔠 Adobe выкатили конструктор изометрических 3D-сцен Project Neo. Один из лучших юзкейсов — создание референсов для генерации пейзажных сцен.
🔠 ElevenLabs снова всех уделал в звуке, представив свой txt2music. Udio по вокалу бил Suno, а ElevenLabs бьет Udio.
🔠 Bernini: 3D генератор от Автодеска. Генерация 3D подбирается к промышленности.
🔠 Компания Gradient выпустила LLaMA-3-8B с 4M (!!) контекстным окном. Ну, о-о-очень много.
🔠 Google представил ScreenAI для работы с UX продукта. Шаг в сторону LAM (large action model).
🔠 Gazelle — первая open source VoiceToLLM модель. Врата, которые раскрыла модель Hume и в которые похоже попадет сегодняшний релиз от OpenAI.

{ Пульс }

⚡️ LLaMA-3-70B бьет топов в креативных задачах (поэзия и проза, брейншторминг), но проигрывает в сложных (математика, перевод, суммаризация).
⚡️ Чат-бот gpt2 сделал клон игры Flappy Bird по zero-shot промпту.
⚡️ Учет лёгких планеты: все 50 млн км лесов с точностью до 1 метра в высоту и с разрешением в каждое дерево.
⚡️ ML-модель позволила расшифровать алфавит кашалотов.
⚡️ Исследование физических свойств предметов в ИИ-реальности.
⚡️ Ученые из Мэрилэнда изобрели мантию-невидимку, которая скрывается от Computer Vision моделей.

{ Текстуры }

✅ Кейс про маркетинговые LLM-опросы — нетривиальное решение очевидной задачи.
✅ Отличная подборка LLM-кейсов от Леши Хахунова и Димы Мацкевича.
✅ "Превзойдет ли цифровой интеллект биологический?" — лекция от Jeoffrey Hinton с важными идеями.
✅ 30+ легендарных статей от Ильи Суцкевера, которые помогут разобраться во всём (!)
✅ Обзор рынка: число AI-стартапов в мире, применение GenAI в России, топ-100 LLM в одной таблице, самая масштабная карта MAD-рынка и перевернутая структура прибыльности GenAI-индустрии.
✅ Ролик, в котором девушка (не) шутит про то, что усердно работает для того, чтобы ее муж мог позволить себе терять по $30тыс в месяц на своем AI-стартапе.

{ Находки }

😯 Cleanlab — LLM-чатбот с проверкой надежности ответов.
😯 Recraft — пока лучший сервис для векторизации и генерации векторных изображений.
😯 WebCamMotionCapture — софт для стилизации вебкам-трансляций.

{ Перекресток мнений }

❓ Inpainting / Restyling / Evaluation. Самая частая претензия к GenAI-креативам в тексте / картинке / музыке / видео — это отсутствие привычного творческого контроля. По мере того, как новая модальность пробивает порог массовости применения, становится заметно, что в GenAI-пайплайнах есть своя форма творческого контроля, которая отличается от до-генеративного. Музыкальный генератор Udio вот-вот внедрил Audio Inpainting, знакомый по картинкам и видео. В изображениях Inpainting и Control Net уже серьезно перевернули процесс, создав феноменальные ComfyUI-пайплайны. Компонент, которого мне пока не хватает нигде — это Evaluation. Сейчас его выполняет человеческий вкус, и превосходный AI-креатив выходит от людей с безупречным вкусом.

#llm #promptgramming #3d #lam #speech #review #gamedev #ecology #stem #cv #marketing #usecase #map #rag #vector #restyle #video #inpainting

ChatGPT в работе — IX

Запускаю новый поток авторского курса {AI} love you.
Next week.
Краткое изложение предыдущих серий:
— ровно год назад родилась идея создать месячный курс по нейросетям для новичков;
— с сентября курс сфокусирован на ChatGPT (как идеальном тренажере для всего остального);
— с января добавились значимые блоки про GPT-ассистентов / разбор кейсов и приземление персонального ассистента в Telegram.

Со временем цель обучения менялась, и сейчас я бы сформулировал ее провокативно: приобрести привычку пользоваться ChatGPT каждый день. Подсаживаю на умный опиум. Это означает писать и отправлять файлы / скриншоты / голосовые в чатбот, извлекать оттуда ответы / иллюстрации (как 👆) / код и замешивать это всё в кастомного GPT-ассистента.

Обновления:
1️⃣ 9-му потоку повезло с релизом GPT-4o — прекрасная модель со всеми возможностями ChatGPT Plus. Посмотрите распаковку ChatGPT Plus — 15-минутный обзор функционала.
2️⃣ Полноценно заработал telegram-бот не только с бесплатным доступом к GPT-4 (чем не удивишь), но и выдачей персональных заданий и консультаций по учебному материалу.
3️⃣ В качестве эксперимента добавил блок по prompt-gramming (созданию микро IT-решений по текстовой подсказке).

Форматы: видеоуроки + практикум + кейсы + вебинары + мини-проект.

Linkset
— Подробности на GetCourse и на Stepik
— Вводная лекция про LLM
— Разбор кейса про маркетинговые LLM-опросы
— Презентация генератора древних новостей (один из финальных проектов)

Курс можно пройти индивидуально в свободном темпе или в группе в синхронном формате. Поток рассчитан на любые когнитивные профессии. Для записи пишите в ЛС (@troclap) или заполняйте заявку на сайтах.

#edu #chatgpt #course