🧬 Сэм Альтман выступил в Лондоне на AI саммите, устроенном #OpenAI и показал, чего дальше ждать от флагманских моделей компании.

✅ Мультимодальность (работа с видео-аудио, более тесная интеграция работы с картинками);
✅ Улучшение рассуждений и мыслительного процесса;
✅ Персонализация;
✅ Надёжность (вероятно, имеется в виду меньше галлюцинаций, рефлексия над ошибками и исправление);
✅ Агенты (🔥 это должно стать главной фишкой моделей следующего поколения. Если не знаете, что это такое, то поставьте такую 🤔 реакцию, будем делать пост).

🧩 #AINews

🧬 Сбер представил своё семейство моделей для обработки звучащей русской речи — они умеют определять эмоцию спикера и распознать речь в шумных условиях.

Всего представлено три модели: базовая GigaAM — аудиоэнкодер на 240 млн параметров, GigaAM-CTC — лучшая открытая модель распознавания речи на русском языке и GigaAM-Emo — модель для определения эмоций.Теперь можно идеально разделять речь по голосам и точно транскрибировать записи встреч и подкасты.

И, кстати, ИИ–модель от Google Gemini 1.5 Pro теперь тоже может слышать — в неё добавили распознавание аудио.

🧩 #AINews

🧬 Так что же такое Агенты? Это системы, которые являются участниками некоторой сложной динамической среды; они понимают и действуют [автономно] в этой среде и тем самым стремятся выполнить цели или задачи, для которых они предназначены. (Maes, 1995)

Обычно "агентами" называли алгоритмы, которые играют в игры (в рамках Reinforcement Learning задач). Но сейчас, в контексте LLM и с развитием технологий, "средой" может стать наш мир. Представьте себе алгоритм, который имеет доступ в интернет и может делать там всё то же самое, что и человек. В большинстве ситуаций нами он может восприниматься как живое существо (потому что спектр возможностей безграничен, да и большинство пользователей интернета или хотя бы подписчиков канала я не видел вживую. Наши взаимодействия ограничиваются тем, что я могу считать с экрана).

Агент обладает несколькими важными характеристиками:
— возможность планирования (декомпозиция целей в более простые промежуточные задачи);
— долгосрочная память;
— использование инструментов среды (то же взаимодействие с интернетом, к примеру);
— рефлексия и возможность учиться на ошибках/из опыта.

Такому агенту можно поставить высокоуровневую задачу. Можно сказать "вот моя кредитка, сделай мне путешествие в Багдад". Тут нужно и отели выбрать, и билеты подходящие, и пройти процедуру покупки, и удостовериться, что бронь пришла. Очень многоступенчатая задача, с которой и не каждый кожаный справится без ошибок.

Сейчас для таких систем главной проблемой является планирование и долгосрочное видение. Для  GPT-4 очень сложно декомпозировать задачу на десятки и сотни мелких, с каждой из которых по отдельности она легко справится. Вот "найти на сайте кнопку покупки билетов" — GPT-4 по картинке может. А из исходного запроса дойти до этой точки — нет. Вот и получается, что модели почти бесполезны для самых обыденных задач.

Вот более подробное и техническое описание из блога сотрудницы OpenAI: https://lilianweng.github.io/posts/2023-06-23-agent/

Не благодарите.

🧩 #ИскусственныйИнтеллект