Новость дня 🚀 OpenAI выпустили GPT-Realtime (еще одно обновление, которое меняет возможности голосовых AI агентов)

Ключевое:
1️⃣ Раньше агенты взаимодействовали с речью так: голос пользователя транскрибировался (speech-to-text), после LLM генерировала текстовый ответ, который финально озвучивался третьей моделью TTS (text-to-speech).
Из-за этого в речи были задержки.

Realtime это одна модель, которая распознает именно речь и сразу генерит ответ пользователю голосом 😱

2️⃣ GPT-Realtime может не только общаться голосом, но и работать с изображениями, совершать телефонные звонки (SIP интеграция) и использовать другие внешние интеграции через MCP (например, подключаться к календарю, базам данных, онлайн-сервисам).

3️⃣ GPT-Realtime примерно на 20% дешевле предыдущих версий.

Больше можно почитать тут 🫶

Новые пользователи могут попробовать Flow (платформу Google для генерации видео с Veo) бесплатно!

Хорошая возможность потестировать Veo3 (100 кредитов хватит на одно видео Veo3 quality и 5 видео Veo3 fast)

Если недоступно, нужно попробовать подключиться с впн другой страны

В OpenAI уже работают над запуском своей платформы по поиску работы и найму сотрудников, и над сертификацией, которая станет способом подтвердить свои навыки на этой платформе 😱

Целятся в то, чтобы обучить и сертифицировать до 10 млн американцев к 2030 году, новость тут

Как AI помогает мне учить и поддерживать языки - ч2

Возьму сербский, потому что это мой актуальный кейс.
Сначала я пару месяцев позанималась с преподавателем, чтобы освоить базу: как язык звучит, как строятся предложения, и поддерживать простые диалоги.

Потом пошла в книжный за первой книгой. Нашла перевод Рика Рубина, которого давно хотела прочитать, радостно купила, пришла домой и внезапно поняла, что книга на хорватском, а не на сербском 😅 (да, языки близкие, но лексика и написание разные).

Тогда я сделала кастомного GPT, который умеет:
- подбирать книгу под мой уровень и цель (по принципу i+1).
- озвучивать текст, чтобы я тренировала восприятие речи на слух
- разбирать новые слова, приводя примеры из живой речи (и может сказать мне, если слово нет смысла запоминать потому что оно не используется)
- проверять, насколько я поняла кусок текста, и делать карточки-квизы для закрепления
- помогать мне тренировать диалоги в голосовом режиме

С сербским есть нюанс: в OpenAI голоса звучат так, будто американец старается читать на сербском, то есть плохо 🥲

Интонацию отследить можно, но произношение особо не потренируешь. Поэтому когда хочу потренировать произношение, иду в ElevenLabs, загружаю туда нужный текст, и читаю за диктором вслух (работает шикарно).

Мой флоу работы с ботом выглядит так:
- кидаю фото страницы книги в бота;
- слушаю озвучку и слежу глазами по бумаге;
- отмечаю только те слова, которые мешают понять сюжет (остальное игнорю);
- обсуждаю с ботом слова, которые не понимаю;
- тренирую произношение в ElevenLabs;
- читаю несколько страниц/глав и прошу бота проверить понимание + сгенерить карточки.

Не всегда прохожу все шаги. Иногда просто гоняю слова через бота, иногда иду по полной схеме.

Вот моя версия такого бота, которую можно кастомизировать под свой язык - тык.

👉 На выходных планирую превратить бота в полноценного AI-агента, встроить туда ElevenLabs напрямую и навайбкодить интерфейс. Поделюсь процессом 💃

AirPods Pro 3 будут переводить речь в режиме реального времени с помощью Apple Intelligence - звучит круто, надо тестить на практике 😁

А вообще очень жду, когда появится классный физический продукт с ИИ по типу humane pin

Теперь Veo3 работает и в вертикальном формате 9:16 🏄

Оплатила себе несколько подписок, и активно инвестирую время в работу с генерацией видео и изображений - для примера визуал, который собирала к своему последнему треку

Собрала для себя несколько лайфхаков, поставьте реакцию если будет полезен гайд про это! 🏄

OpenAI продолжают активно работать со студентами: они набрали 70 человек в свою лабораторию, чтобы собрать топ-100 чатов для учебы и карьеры.

Публикацию также выпустили в формате бумажной книги в 50 колледжах и университетах США и Канады 🔎

📲 Ссылка

Пока я была в отпуске, у OpenAI выкатилась еще одна фича в GPT - Pulse ⚡️

Это режим, в котором GPT становится проактивным: каждый день чат присылает карточки с "пульсом дня" (чек-листы, подсказки и советы на основе всего, что он о вас знает/узнал за последнее время)

Пока доступно только в подписке Pro (как было с оператором, который после стал agent mode), но звучит как многообещающий шаг в сторону еще большей персонализации и автономности.