ChatGPT в работе — IX

Запускаю новый поток авторского курса {AI} love you.
Next week.
Краткое изложение предыдущих серий:
— ровно год назад родилась идея создать месячный курс по нейросетям для новичков;
— с сентября курс сфокусирован на ChatGPT (как идеальном тренажере для всего остального);
— с января добавились значимые блоки про GPT-ассистентов / разбор кейсов и приземление персонального ассистента в Telegram.

Со временем цель обучения менялась, и сейчас я бы сформулировал ее провокативно: приобрести привычку пользоваться ChatGPT каждый день. Подсаживаю на умный опиум. Это означает писать и отправлять файлы / скриншоты / голосовые в чатбот, извлекать оттуда ответы / иллюстрации (как 👆) / код и замешивать это всё в кастомного GPT-ассистента.

Обновления:
1️⃣ 9-му потоку повезло с релизом GPT-4o — прекрасная модель со всеми возможностями ChatGPT Plus. Посмотрите распаковку ChatGPT Plus — 15-минутный обзор функционала.
2️⃣ Полноценно заработал telegram-бот не только с бесплатным доступом к GPT-4 (чем не удивишь), но и выдачей персональных заданий и консультаций по учебному материалу.
3️⃣ В качестве эксперимента добавил блок по prompt-gramming (созданию микро IT-решений по текстовой подсказке).

Форматы: видеоуроки + практикум + кейсы + вебинары + мини-проект.

Linkset
— Подробности на GetCourse и на Stepik
— Вводная лекция про LLM
— Разбор кейса про маркетинговые LLM-опросы
— Презентация генератора древних новостей (один из финальных проектов)

Курс можно пройти индивидуально в свободном темпе или в группе в синхронном формате. Поток рассчитан на любые когнитивные профессии. Для записи пишите в ЛС (@troclap) или заполняйте заявку на сайтах.

#edu #chatgpt #course

#ОбзорГены №7

Две недели прошли под влиянием трех топовых презентаций: OpenAI, Google I/O и Microsoft Build. Остальное чуть померкло, потому что гиганты навалили много, в том числе изумруды.

{ Свежак }

🔠 Вышла true-multimodal модель от OpenAI — GPT-4o. Там столько достойного внимания, что релиз до сих пор распаковывается. Например, новый Data Analysis внутри ChatGPT.
🔠 На конференции Google I/O показали проект Astra: видео-чатбот внутри смартфона или Google Glasses (!). И мно-о-о-го другого, например, music2music модель.
🔠 Microsoft представил концепцию Copilot+PC — того самого более глубокого заземления AI в операционную систему и аппаратное обеспечение, которое все ждут. Другие значимые релизы.
🔠 Suno выпустил audio2audio функцию — то, что позволит лучше контролировать процесс музыкального производства.

{ Пульс }

⚡️ В консоли Claude (аналог OpenAI Platform) появились переменные для кастомизации промптов.
⚡️ Hugging Face, на котором размещают все демки свежих исследований, расширил возможность пользоваться ими бесплатно через Zero GPU.
⚡️ Google в пакете со всем остальным выпустил виртуальную примерочную.
⚡️ Как всегда, сразу же появился системный промпт GPT-4o (для ценителей).

{ Текстуры }

✅ Говорящий дэшборд и Консистентность в DALL-E — делюсь наблюдениями от работы над двумя проектами.
✅ Список ютуб-канал на тему AI — многое входит и в мой ютуб-сет.
✅ Еще один туториал про запуск LLM локально — правильный навык.
✅ Статья кинокритика Марии Кувшиновой о том, как нейросети стали апостолами сюрреализма.
✅ Воркфлоу по переносу персонажа в любую локацию и видео нового уровня на основе AnimateDiff + Inpainting + After Effect — две роскошных визуальных работы.
✅ Гениальные предметы интерьера, созданные через ИИ-перенос стиля.

{ Находки }

😯 Chatter — новостной голосовой подкаст от Hume.
😯 Off/Script — производство реальных вещей, вдохновленных AI-творчеством.

{ Перекресток мнений }

❓ GenAI революция vs эволюция. На мой взгляд, революционный потенциал еще высок (в AI-агентах и внедрении в аппаратное обеспечение), однако стало ярко виден эволюционный потенциал — то, как GenAI-продукты планомерно расширяют охват задач и залезают на знакомые территории со своими правилами воркфлоу. Быстрые примеры: GPT-4o вместо умной колонки, Krea / Leonardo вместо фотошопа, AI Data Analysis вместо PowerBI, RAG-чатбот вместо отраслевого поисковика. Везде идет именно эволюционная борьба (можно сказать, естественный отбор 😃): конкуренты перенимают приемы друг друга, защищают core преимущества.

#llm #promptgramming #analysis #multimodal #music #video #gadget #gpu #fashion #usecases #image #media #production #evolution

Картинка с метриками.

Ключевые выводы:
1. GPT-4o лучше GTP-4V, выходит, OpenAI не врали, когда говорили, что модель мультимодальна с самого начала.
2. Gemini существенно лучше для анализа видео любой длительности, и чем длиннее видео — тем больше разница.
3. Субтитры могут существенно накинуть в качестве. Ну, не зря модели всё же языковые
4. Открытые модели отстают от флагманских, но в коротких видео (до 2 минут) кое-как можно использовать.
5. Чем длиннее видео, тем хуже качество — что логично, ведь у модели куда больше шанс ошибиться, не учесть то или подумать другое.
6. OpenAI пора бы тоже выпускать модели с длинным контекстом 👶
7. Мне не хватило анализа изменения качества по годам/месяцам релиза видео. Думаю, что если бы мы увидели падение метрик на последнем квартале 23-го, то можно было бы смело говорить про переобучение. А так — хз, может модели видели, может, нет 🤷‍♂️
8. И странно, что они не замерили качество Gemini с теми же кадрами, что брали для GPT-4o/других моделей, чтобы проверить разницу метрик именно за счёт контекста.

Я бы рад сравнить метрики с человеческими, чтобы понять, насколько модельки далеки, но авторы не написали, какое качество было бы у людей, которые смотрят видео в первый раз. Думаю, на long-категории (30-60 минут) люди бы очень сильно провалились и были хуже моделей уже сейчас.