Небольшой ликбез и история развития языковых моделей 🙌

Мы много говорим про нейросети и ИИ, но, мне кажется, не всегда понимаем, что это вообще такое и как работает. Сегодня хочу вас немного погрузить в определения, связанные с языковыми моделями и когда они появлялись.

Что такое языковое моделирование и как оно развивалось?

Языковое моделирование — это процесс, который помогает компьютерам понимать и обрабатывать человеческий язык. Это включает в себя создание текстов и представление языка в такой форме, чтобы машина могла его прочитать и понять. Давайте рассмотрим основные этапы развития языковых моделей.

🙌N-граммные модели

В 1980-1990-х годах популярными были n-граммные модели. Они предсказывали следующее слово в тексте, основываясь на предыдущих словах. Например, биграммная модель (N=2) использует два предыдущих слова для предсказания следующего. Однако, такие модели не всегда точны и нуждаются в специальных методах коррекции, таких как сглаживание.

🙌Нейронные сети

В 2000 году Йошуа Бенжио предложил использовать нейронные сети для улучшения языковых моделей. Вместо простого подсчета слов, нейронные сети строят сложные зависимости между словами. Это позволило моделям лучше понимать контекст.

🙌 Рекуррентные нейронные сети (RNN)

RNN могут учитывать всю последовательность слов для предсказания следующего. Это делает их более точными, особенно когда важно учитывать дальние связи между словами. Улучшенные версии RNN, такие как LSTM, ещё больше повысили их эффективность.

🙌 Трансформеры

В 2017 году были представлены трансформеры. Они заменили RNN благодаря своей способности обрабатывать текст быстрее и эффективнее за счёт параллельной обработки. Трансформеры используют механизм самовнимания, что позволяет им лучше понимать контекст и предсказывать слова.

🙌 Оценка качества моделей

Для оценки качества языковых моделей используется метрика "перплексия". Чем ниже перплексия, тем лучше модель предсказывает текст. Также применяются специализированные тесты, такие как MMLU и HumanEval, для оценки моделей, настроенных на выполнение конкретных задач.

🙌 Итоги

За последние десятилетия языковые модели прошли долгий путь: от простых n-грамм до мощных трансформеров. 

И сейчас мы вкушаем уже не просто распознаватели текста, а программы, которые могут решать задачи и одновременно работать с разными типами данных. Интересно, что будет завтра.

Новые вехи 3D-генерации 🙏

В последнее время часто натыкаюсь на определение гауссова сплэтинга в контексте генерации 3D-моделей и миров в играх или анимации. Недавно я писал о проге, которая уже неплохо генерирует игровые локации.

Если честно, сам еще не до конца понимаю, как это работает. Гугл говорит, что это метод восстановления трехмерных изображений в реальном времени и ренедеринг изображений с разных сторон объекта.

И сейчас снова наткнулся на статью, в которой описывается новая нейросеть с открытым кодом, которая привносит новый метод генерации  высококачественных полигональных сеток из "плоского" видео.

Примечательность в том, что для создания модели с полигонами достаточно одного видео. Причем программа добавляет даже те трехмерные фрагменты движения объектов или животных, которых нет на исходном видео - она сама достраивает их, отслеживая верхние точки.

Интересно то, что человек здесь обгоняет нейросети, потому что опытному 3D-художнику нужно всего лишь одно изображение для создания таких сеток, а нейросетям нужна серия снимков с разных сторон. Поэтому программа, которую мы сегодня рассматриваем - это новый шаг в развитии 3D-генерации.

Вот еще чуть-чуть и мы увидим игровые и метаверсные миры, которые создаются пока мы по ним перемещаемся. И тогда, конечно, игровая, а может и кино- промышленность очень сильно видоизмениться.

Ссылка на статью.

Код на GitHub.

Внутренние документы OpenAI раскрывают проект "Strawberry" 🍓

Кодовое имя "Strawberry": агентство Reuters сообщает, что это внутреннее название нового проекта OpenAI, ранее известного как Q*. Информация взята из внутренней документации, полученной источником и просмотренной Reuters.

Основные моменты:

— План исследований: документ описывает, как OpenAI собирается использовать Strawberry для проведения глубоких исследований. Для этого была значительно улучшена способность модели к рассуждению.

— Отсутствие публичной информации: нет подробностей о возможном публичном появлении системы, а также о принципах её работы, которые сохраняются в секрете даже от большинства сотрудников OpenAI.

— Демонстрация возможностей: ранее в этом году два источника видели демонстрацию Q*, где система отвечала на сложные научные и математические вопросы, выходящие за рамки возможностей современных моделей. Эта информация впервые появляется в отчёте Reuters, что может свидетельствовать о её подтверждении.

— Внутренние презентации: в четверг на еженедельной встрече OpenAI демонстрировали новые навыки моделей, как сообщал Bloomberg. Связь этого события с проектом Strawberry/Q* не подтверждена.

— Долгосрочное планирование: в документе подчёркивается, что Strawberry нацелен на выполнение задач с длинным горизонтом планирования, требующих выполнения ряда действий в течение длительного времени.

— Дообучение модели: обучение модели проводилось на наборе данных "deep-research". Предполагается, что это промежуточные мысли, которые приводят к выводам и не сохраняются в обычных наборах данных, что затрудняет моделям их изучение.

— Тестирование на программистах: OpenAI планирует протестировать возможности Strawberry в выполнении задач программистов и инженеров машинного обучения.

Следите за обновлениями, чтобы первыми узнать о дальнейших новостях проекта Strawberry!

🧠OpenAI представляет GPT-4o mini, меньшую и более дешевую модель ИИ 

Подробный разбор

OpenAI представила GPT-4o mini в четверг, свою последнюю небольшую модель ИИ. Компания заявляет, что GPT-4o mini, которая дешевле и быстрее текущих передовых моделей ИИ OpenAI, выпускается для разработчиков, а также через веб и мобильное приложение ChatGPT для потребителей. Корпоративные пользователи получат доступ на следующей неделе.

Компания утверждает, что GPT-4o mini превосходит ведущие в отрасли небольшие модели ИИ в задачах рассуждения, связанных с текстом и изображениями. По мере улучшения небольших моделей ИИ они становятся все более популярными среди разработчиков благодаря своей скорости и экономической эффективности по сравнению с более крупными моделями, такими как GPT-4 Omni или Claude 3.5 Sonnet. Они являются полезным вариантом для выполнения простых задач в больших объемах, которые разработчики могут многократно выполнять с помощью модели ИИ.

GPT-4o mini заменит GPT-3.5 Turbo как самую маленькую модель, предлагаемую OpenAI. Компания утверждает, что ее новейшая модель ИИ набирает 82% на MMLU, эталоне для измерения рассуждения, по сравнению с 79% для Gemini 1.5 Flash и 75% для Claude 3 Haiku, согласно данным Artificial Analysis. На MGSM, который измеряет математические рассуждения, GPT-4o mini набрала 87%, по сравнению с 78% для Flash и 72% для Haiku.

Кроме того, OpenAI заявляет, что GPT-4o mini значительно дешевле в эксплуатации, чем предыдущие передовые модели, и более чем на 60% дешевле, чем GPT-3.5 Turbo. Сегодня GPT-4o mini поддерживает текст и изображения в API, и OpenAI заявляет, что модель будет поддерживать видео и аудио возможности в будущем.

«Для того чтобы каждый уголок мира мог пользоваться ИИ, мы должны сделать модели гораздо более доступными», — сказал руководитель Product API OpenAI Оливье Годемент в интервью TechCrunch. «Я думаю, что GPT-4o mini — это действительно большой шаг в этом направлении».

Для разработчиков, работающих с API OpenAI, GPT-4o mini стоит 15 центов за миллион входных токенов и 60 центов за миллион выходных токенов. Модель имеет контекстное окно размером 128 000 токенов, примерно равное длине книги, и ограничение знаний на октябрь 2023 года.

OpenAI не раскрывает точный размер GPT-4o mini, но утверждает, что он находится примерно на одном уровне с другими небольшими моделями ИИ, такими как Llama 3 8b, Claude Haiku и Gemini 1.5 Flash. Однако компания заявляет, что GPT-4o mini быстрее, экономичнее и умнее, чем ведущие в отрасли маленькие модели, согласно предварительным тестам в арене чатботов LMSYS.org. Ранние независимые тесты, похоже, это подтверждают.

«По сравнению с сопоставимыми моделями, GPT-4o mini очень быстрый, со средней скоростью вывода 202 токена в секунду», — сказал Джордж Кэмерон, соучредитель Artificial Analysis, в электронном письме TechCrunch. «Это более чем в 2 раза быстрее, чем GPT-4o и GPT-3.5 Turbo и представляет собой привлекательное предложение для случаев использования, зависящих от скорости, включая многие потребительские приложения и агентские подходы к использованию LLM».