⚡️ Зацените: за последние 18 месяцев стоимость за 2М токенов (input+output) упала в 240 раз! В начале 23 года она равнялась 180 долларам, а сейчас в среднем приближается к 75 центам.

У Google три новые экспериментальные модели!

В компании представили:

➡️новую уменьшенную Gemini 1.5 Flash-8B
➡️более мощную Gemini 1.5 Pro
➡️и улучшенную Gemini 1.5 Flash

Все модели уже появились на Арене. Новый Gemini-1.5-Flash совершил огромный скачок с 23-го на 6-е место! Gemini-1.5-Pro ​​тоже не отстает и демонстрирует мощные улучшения в коде и математике. А новая мини-модель Gemini-1.5 Flash- 8b превосходит gemma-2-9b и догоняет llama-3-70b.

Почувствовали энергию AGI, исходящую от этого видео? 🤣

А серьезно, почему модели настолько трудно просто переписать слово? Ответ: все из-за токенизации. По этой же причине, например, GPT не может разобрать, сколько букв r в слове strawberry и очень плохо считает.

Полное объяснения того, почему так происходит и какие еще проблемы порождает токенизация можно найти в этом нашем посте.

Курс лекций о фундаментальных моделях от канадского университета Waterloo ☺️

В курсе подробно разбираются такие базовые модели, как CNN и RNN. Также вы найдете все о трансформерах: обучение, настройка, и даже разбор например BERT’а и ELECTRA.

Кстати, курс относительно свежий, поэтому авторы рассказывают также о больших языковых и мультимодальных моделях: предварительная обработка данных, файнтюнинг, оптимизация, обучение и многое другое можно найти по ссылке.

⚙️ Anthropic тихо релизнули еще одну прикольную фичу: она позволит частично менять или получать объяснения кода простым выделением. Всплывающее окно с опциями теперь показывается прямо внутри артефакта и предлагает либо объяснить выделенную часть кода, либо поправить ее.

Сколько параметров в GPT-4o mini?

Конечно, сама компания в последнее время не раскрывает ни деталей реализации, ни даже количества параметров своих моделей. Но бесследно разработка все равно не проходит, поэтому на Реддит погадали на фактах и... получилось примерно 8В. Вот почему:

▪️ Из утечки препринтов Microsoft известно, что GPT 3.5 Turbo – это 20B модель (см.скрин). В OpenAI заявляли, что GPT-4o mini стоит на 60% меньше, чем предшественник. Несложная математика: 20-60% = 8B

▪️ Microsoft имеет все доступы к моделям OpenAI и, вероятно, осведомлены об архитектурах. Они также пытаются приблизить свои модели к производительности OpenAI, используя, скорее всего, те же подходы. Так что по таким релизам, как Phi 3.5, можно отдаленно судить об архитектурах OpenAI.

▪️ Ужа давно ходили слухи, что GPT-4 имела 16 экспертов (это MoE). Учитывая, что новая Phi 3.5 MoE от Microsoft – это тоже 16 экспертов, и принимая во внимание пункт 2, можно предположить, что GPT-4o mini – это тоже 16 экспертов по примерно 4В параметров. Получается как раз 8В активных.

Кстати, новая архитектура тоже не исключена. Возможно, в OpenAI используют что-то вроде hybrid-mamba 2.

Orion: новая загадочная мега-модель от OpenAI

The Information сообщает, что инсайдеры рассказывают о модели, которая должна стать новой флагманской LLM для OpenAI. Да, по сути речь о GPT-5, и оказывается, что разрабатывается она под кодовым названием Orion.

Но зачем же тогда Strawberry? Ведь именно она продвигалась как модель с якобы супер-мощным ризонингом, скиллами в математике и технических вопросах. Ответ: оказывается, Strawberry в перспективе будет некой утилитой. Объясняем 👇

Помните ту самую картинку с китом, иллюстрирующим размеры GPT-5, с весенней конференции Microsoft? А вы задумывались, откуда OpenAI будет брать данные для обучения такого гиганта, если даже для GPT-4 им уже потребовались не только тексты, но и парсинг ютуба? Кажется, тут выход один: синтетика.

При этом синтетика должна быть чистая и без галлюцинаций. Именно для такой генерации и будет использоваться Strawberry. Кстати, сначала планируют выпустить Strawberry поменьше (землянику другими словами).

Ожидается, что две эти модели вместе уведут LLM на новый уровень и в разы бустанут прибыль OpenAI. На фоне этого, кстати, компания открывает новый раунд поиска инвесторов и рассчитывает на оценку в $100+ млрд.

Один вопрос: ну когда уже? 🥺

🔵 🔵 🔵

Ресерчеры забавы ради сделали в Дискорде чат, где LLM свободно общаются друг с другом

В итоге: у Llama постоянно случаются нервные срывы и приступы шизофрении, успокоить ее может только Claude Opus, а другие модели просто покуривают в сторонке 🤷‍♂️

Напоминает те самые диалоги первых языковых моделей ELIZA и PERRY

😮 Сколько-сколько, простите??? MagicLabs выпустила LLM с контекстом в 100M токенов

Это примерно 10 миллионов строк кода или 750 романов. Для сравнения, до этого рекордсменом по длине контекста был Gemini с 1M токенов, и даже это число произвело когда-то на презентации Google фурор.

Иронично, но модель называется LTM-2-Mini. LTM – это сокращение от Long-Term Memory. Эта архитектура не использует attention, и за счет этого контекстное окно в 100М ей обходится примерно в 1000 раз дешевле, чем, например, той же Llama 3.1 405B. А с памятью еще круче: если Llama потребовала бы 638 H100s на юзера только чтобы хранить KV кэш, то LTM требуется всего часть HBM одной видеокарты.

Бенчмарков пока нет, но в Magic уже заключили партнерство на кластер с Google Cloud и говорят, что прямо сейчас обучают бОльшую версию LTM-2 на суперкомпьютере 🤔