В четверг обновили генератор видео Runway Gen-2. Всех поражает качество изображения и консистентность при смене кадров. На паре тестовых генераций всё еще заметил дефекты с движением объектов внутри кадра и человеческой анатомией. Однако то, что вы видите — это непревзойденное качество.

#release #video #gen2

Опять могучие новости 🤌

#release #text #chatgpt

Новая модель:
— контекст длиннее. 128K токенов (365 страниц обычной книги)
— модель более аккуратна при работе с длинным текстом, не теряет то, что было в серединке
— фича для разрабов: можно заставить модель писать ответы в JSON-формате
— можно вызывать несколько функций за раз
— можно указать seed генерации, чтобы получать воспроизводимость
— скоро добавят logprobs в API
— Retrieval прямо из коробки, можно загружать документы на платформу и они будут подтягиватсья (F стартапам chatWithPDF)
— Теперь модель знает события не до сентября 2021го, а апреля 2023го
— Эта новая модель принимает картинки на вход через API

— DALLE-3 + text-to-speech (6 голосов) сегодня появятся в API
— Для GPT-4 появится файнтюнинг сегодня (но на узкую выборку пользователей)
— Custom Models: программа плотной работыт инженеров OpenAI с вашей компанией, чтобы помочь адаптировать тренировку под ваши проблемы

ЦЕНА НА GPT-4-TURBO (Sam говорит, что эта модель ещё и умнее GPT-4) уменьшена в 3 раза для промпта и в 2 раза для генерации!

Обещают скоро ещё больше ускорить GPT-4 Turbo

Tech-сообщество в восторге от вчерашних релизов OpenAI. Лидер есть лидер. Я бы даже сказал, что революция GenAI, начавшаяся год назад, сегодня закончилась и перешла в иную стадию. Прежде всего это появление GPT-store — маркетплейса кастомных ИИ-ассистентов, которые умеют не только болтать (как в Character.ai и Poe), а видеть / говорить / искать / действовать (за счет GPT-Vision, Code Interpreter и DALL-E 3). Это прототип альтернативного рынка труда. Предприимчивые люди будут создавать ИИ-ассистентов и объединять их в организации. Создать ИИ-ассистента — значит подобрать эталонный текст и запромптить логику поведения — всё программирование идет на естественном языке, впервые в истории.

Уникальный момент.

Если у OpenAI всё получится, то вокруг него образуется редкий пучок синергии. В AI все пробуют community-building, но по-настоящему получилось только у Stable Diffusion с платформой CivitAI как центральной точкой. Но для Stable Diffusion нужны классические программисты (создавать extensions) и энтузиасты (тренировать LoRA / Checkpoint), а для GPT-Store порог входа ниже. Нужно знать один из топ-10 мировых языков, уникальный датасет и иметь проектное / проблемное мышление, чтобы догадаться до оптимального решения кастомной задачи.

#release #text #chagpt #opinion

Один из неочевидных результатов конференции OpenAI — это возникновение авто-комментаторов видео.

Энтузиасты быстро (буквально за несколько часов после релиза) догадались, что:
— видео можно раздербанить на кадры
— отправить их в GPT Vision на распознавание
— получившиеся описания кадров склеить единым повествованием
— озвучить текст синтетическим голосом
— добавить аудиодорожку к видео

#video #speech #openai #case

+1 пример. Из жизни спортивных авто-комментаторов.

#video #speech #case

Что плохо в мемах об AI — они очень быстро устаревают.

Этот, кажется, уже неактуален, а я его только сейчас увидел.

—
Курс «Бизнес на нейронных сетях» https://chatgpt.aiacademy.me/

В подкастах на выходных подводят итоги огненной недели. Несмотря на то, что релизы OpenAI случились в понедельник, их не перестают обсуждать и даже клеят ярлык "second big thing" после релиза ChatGPT год назад.

Самые глубокие рассуждения я нашел в подкасте от двух топовых CMO (Hubspot и Zapier): от критики убогого названия "GPT-store" или "GPTs" до ясного проговаривания шанса, который открылся для малых бизнесов, и сравнения с 2009-м, когда только появился AppStore. Я выдерну из их разговора несколько мыслей, часть слышу повторно, часть впервые:
1. GPTs = Промптинг + Данные + Внешние действия. Из этой формулы главным компонентом являются данные / датасет, именно они будут определять успешность GPTs. Полностью согласен с этим.
2. GPTs — это надстройка на естественном языке над классическим программным обеспечением. Вскоре наступит момент, когда пользователи перестанут обращаться к веб-интерфейсу SaaS-решений. Но! Сам программный код никуда не денется, он будет долго отрабатывать свои задачи под капотом AI-ассистента.
3. Наступил момент, когда в цифровом мире исчезли языковые барьеры (между топ-10 мировыми языками точно, с малыми языками еще нет). Исчезновение языковых границ ведет к новой эпохе глобализации. Например, онлайн-курс, записанный на русском языке, может быть недорого и быстро переведен на индонезийский или португальский. В какой-то момент идея сделать что-то зарубежом может стать более простой, чем на родине.

#openai #gpt #podcast

Выпустил на волю первого кастомного GPT внутри ChatGPT. Он умеет объяснить материал из трех статей по теме (всего 25 страниц), привести пример из реальной жизни, создать иллюстрацию концепта при помощи DALL-E, протестировать знания пользователя и кое-что еще.

На создание ушло 3 минуты, на отладку — 20 минут (из-за мультифункциональности). Всё как все и пишут. Главное открытие, что я не понял в прошлый понедельник, что GPTs создаются прямо внутри платного ChatGPT и там же работают, а ссылку на своего GPT можно прислать, не дожидаясь GPT-store. Уже есть первый каталог GPTs.

Пишите в лс, готов наваять и вам кастомного GPT (только нужен ChatGPT Plus).

#gpt #case

В text-to-image произошел важный релиз. Вышла LoRA (до-обученная надстройка к базовой нейросети), которая ускоряет генерацию картинок в 5-10 раз в зависимости от железа. Благодаря этому наиболее мощное пользовательское (не-серверное) железо Nvidia 4090 ушло в subsecond интервал (меньше 1 секунды на генерацию). Если же использовать серверное железо, то возникает real-time редактирование при помощи текста (см. видео) 🔥

Источник

#release #image #gpu

Развитие предыдущего поста. Технологию LCM LoRA быстро утилизировали креативными способами.

KREA теперь налету генерирует картинки по наброскам в Blender, Photoshop, Figma и других редакторах.

—
Курс «Бизнес на нейронных сетях» https://chatgpt.aiacademy.me/

Summary того, что произошло 😆

👆 Кратко перескажу без внутряка

OpenAI — это исследовательское НКО, инвесторы которого (Microsoft и венчурные фонды) могут помножить свои вложения лишь на небольшой мультипликатор в случае успеха (который уже фактически случился). Основатели в свое время обратились за большими деньгами, потому что осознавали масштаб инженерного проекта по созданию AGI (искусственного интеллекта уровня среднего работника), но в качестве противовеса Совет директоров состоял из независимых людей, в основном, не из бизнес-среды.

В прошлую пятницу Совет директоров поднял бунт (до сих пор по неизвестной причине, заговорщики так и не выстроили своего нарратива). Поводом очевидно стал в коммерческом смысле сверх-успешный DevDay (6 ноября), объявленные новинки уже вторую неделю обрушивают сервера OpenAI. Пишут также про другие поводы, одним из которых называют новую прорывную модель Q*, которая должна была научиться решать математические задачи, а судя по утечкам, может порождать генерацию нового знания.

В общем, причины бунта не установлены, но сам бунт был подавлен за несколько дней усилиями инвесторов и сотрудников компании (возможно государство тоже сыграло свою роль). В итоге Совет директоров почти полностью ушел в отставку, а руководство OpenAI вернулось в полном составе. Считается, что фундаментально конфликт лежит в плоскости акселерации внедрения ИИ-продуктов (DevDay был мощным прорывом в этом смысле) и надежности / безопасности AI (GPT продолжает порождать галлюцинации / ошибки / вредный контент). Победили первые, но как это часто бывает, реализовывать будут скорее программу проигравших. Можно ожидать замедление потока релизов от OpenAI.

А также точно по событиям этих 4 дней снимут кино 😆

#summary #openai

Более подробно про слухи вокруг модели Q*, которая нацелена на создание "среднего" ученого.

Так вот, к чему была эта прелюдия. В Reuters пишут, что якобы катализатором увольнения Альтмана стало письмо сотрудников OpenAI совету директоров. В нём говорится о прорыве в исследовании ИИ, которое, «может угрожать человечеству».

Правда, Reuters не смогло ознакомиться с копией письма. А автор(ы) не ответили на запросы о комментариях. Так что особо почвы у теории под ногами нет.

Масла в огонь подливает тот факт, что за сутки до увольнения Sam Altman на оффлайн-саммите сказал следующее:
— Четыре раза за всю историю OpenAI, и последний раз был вот несколько недель назад, я присутствовал в комнате, когда мы как бы отодвигаем завесу невежества и подталкиваем границу открытий вперед. Сделать это — профессиональная честь на всю жизнь.

Что он там такого увидел?

Согласно новости, модель (система?) Q* смогла решить некоторые математические задачи, сообщил источник на условиях анонимности. Это само по себе выглядит странно — ведь даже в примере выше пример куда сложнее, это конец средней школы. И как будто никакого прорыва и нет. Возможно, журналисты всё перепутали — ну или история выдумка.

Теперь о том, как на это смотреть и чего ждать:
1) OpenAI точно занимается разработкой модели, которая будет осуществлять научные исследования. Они про это пишут открыто.
2) Для того, чтобы это произошло, нужно, чтобы модель-учёный умела решать сложные задачи и планировать исследования. Часть этой работы уже сделана — см. статью из поста выше.
3) Вся концепция заключается в том, что модель будет генерировать тысячи неправильных кусочков решений, иногда выдавая верные — главное, чтобы их можно было отранжировать в списке гипотез выше, чем мусорные (вспоминайте модель-оценщика из поста выше).
4) Для этого нужно огромное количество мощностей. Поэтому деньги тут решают. OpenAI пока привлекли больше всех инвестиций, и моё видение такое, что через 2 года это станет большим препятствием для входа. Останется 5-10 игроков, кто готов столько денег сжигать.
5) Вопрос в том, насколько большим будет следующий скачок. Сможет ли модель писать решения на уровне магистра? PhD? Постдока? Доктора наук? Будет ли она ограничена 2-3 доменами, или же обобщится на любую научную область, где есть вычисления?
6) Однажды вы проснётесь, и слух из новости станет правдой: появится модель, которая будет хотя бы частично (>50%) заменять одного учёного в лаборатории. С этих пор прогресс начнёт двигаться гораздо быстрее — потому что нанять 100 учёных за день нельзя, а запустить 100500 моделей на кластере за день — можно.

Более подробно с моим видением дальнейшей стратегии OpenAI и направлениями, в которых они будут копать, вы можете ознакомитсья в моей недавней лекции «What's next for OpenAI?». Там я, конечно, не предсказал шумиху с увольнением CEO, но много говорю про агентов-исследователей и подход OpenAI.

А почитать больше спекуляций по поводу Gemini и Q* можно на LessWrong.

Нейросеть для генерации песен недавно пробила предыдущий порог качества, и теперь на свет появляются виртуальные Youtube-музыканты. Комбо из ChatGPT + Midjourney + D-ID + Suno.

Еще летом появились AI-инфлюенсеры с миллионами подписчиков в запрещенной соцсети. Сейчас продолжается интеграция виртуального персонажа.

#music #metaverse

На неделе зарелизили новую open-source языковую нейросеть. Это происходит почти каждую неделю, и обычно я не пишу об этом. В этот раз случилось нечто особенное.

Учёные из Беркли до-обучили языковую модель на синтетическом датасете, сгенерирован в GPT-4 - теперь такое делают повсеместно. Но они пошли на шаг дальше и попросили GPT-4 также оценить пары ответов своей модели (выбрать лучший ответ из двух), после чего ещё до-обучили ее.

На выходе получилась лёгкая (7В) open-source модель Starling, которая по некоторым бенчмаркам обыгрывает gpt-3.5 (20B параметров). По идее настолько лёгкую модель можно установить на локальном компьютере со скромной видеокартой и иметь бесплатный ChatGPT без VPN и блэкджека.

И речь даже не про конкретную модель, а про подход, что платная GPT-4 порождает бесконечное множество бесплатных и лёгких GPT-3.5. GPT-5 соответственно сделает то же самое с GPT-4.

#text #open_source #llm

Подписываюсь под каждым словом. В нескольких проектах, которые реализую, у GPT возникает пробел именно в отсутствии инициативы. Он работает исключительно по вашему триггеру (триггером является любое ваше сообщение), в этом смысле его поведение импульсивно и рефлекторно. Хотя каждому бы иметь такие рефлексы 😆

#text #gpt #opinion