GRAPE: секрет идеальной настройки 🤹

Учёные из Фуданя и Университета Иллинойса в Урбане-Шампейне предлагают новую вариацию SFT. Суть: распределение тренировочных данных выравнивается с pre-trained распределением модели 🔤

Работа проходит в два этапа:
💬 из разных LLM и датасетов собираются качественные ответы на инструкции
💻 второй шаг — особенная фишка именно GRAPE: данные кастомизируются под конкретную модель. Выбираются наиболее согласующиеся с ней результаты. Плюс оценка вероятности, присвоенная каждому ответу

Проверяли на UltraInteract-SFT, который специализируется по CoT. Модели брали разные (Mistral-7B, Qwen2.5-7B и прочие). Данные, отобранные для файнтюнинга GRAPE, улучшили перформанс на 13,7% даже в сравнении с SoTA-моделями для генерации тренировочных материалов ⛏

Изображение UltraPixel

Не смогла пройти мимо. Сегодня у коллег из AIRI праздник❤️

За 4 года ребята опубликовали 600+ статей, выступили на 400 конференциях и провели почти 200 мероприятий на тему искусственного интеллекта

Желаю коллегам ещё больше вдохновения для новых исследований и прорывных открытий. С днём рождения! 🎉

🥰 Аж захотелось пересмотреть выступление Ивана Оселедца на AI Journey 2024

‼️ Midjourney V7: апгрейд спустя год ожидания

Наконец-то выпустили альфу новой модели, но есть нюансы. Доступ всё так же по подписке от $10.

Что нового:
😎 круче текстуры и детализация
📸 подтянули реалистичность: люди и предметы почти как фото

Отдельно выделю персонализацию:
🧑‍💻 есть возможность пройти визуальный опрос, где ты выбираешь, какие из ~200 изображений тебе нравятся, а модель подстраивает генерации под твой вкус. Фичу можно отключить в любой момент

И режим для набросков Draft Mode:
😮 генерация в 10 раз быстрее, а стоит в 2 раза дешевле
🎙 можно использовать голосовой ввод — просто описывай концепт и получай картинку

Минусы:
💬 не умеет редактировать фото или писать текст, как ChatGPT
📈 прорыва по сравнению с V6 нет, но эстетика — топ. Особенно плёночка и ретро
💥 сейчас сервис перегружен — генерации могут занимать до 15 минут, а иногда просто вылетает ошибка

Разработчики обещают частые апдейты в ближайшие 2 месяца. Ждём 👀

❗️ Meta* возвращается в AI-гонку

Представили целую коллекцию опенсорс-моделей: Scout, Maverick и Behemoth из линейки Llama 4.

Что нового:
1️⃣ Scout — модель с 17B активных параметров и 16 экспертами (всего 109B параметров), умеет обрабатывать огромные документы (до 10 млн токенов — примерно 5 000 страниц текста) и отлично справляется с суммаризацией текстов и анализом больших кодовых баз
2️⃣ Maverick — модель для рутинных задач с 17B активных параметров и 128 экспертами — в общей сложности 400B параметров. Превосходит GPT-4o в написании текстов и Gemini 2.0 в кодинге и мультиязычных задачах. Правда, до GPT-4.5 и Gemini 2.5 Pro пока не дотягивает
3️⃣ Behemoth — модель с 288B активных параметров, 16 экспертами и почти 2T общих параметров. Протестировать её пока нельзя, но по внутренним бенчмаркам она уже лучше GPT-4.5, Claude 3.7 Sonnet и Gemini 2.0 Pro в STEM-задачах, например в математике

Что интересного:
😲 все модели основаны на архитектуре MoE — Mixture of Experts (коллектив экспертов), для обработки каждого токена активируется лишь часть параметров модели, что экономит вычислительные ресурсы и ускоряет работу. Scout и Maverick уже можно попробовать на сайте или Hugging Face, а точной даты релиза Behemoth пока нет

Meta* заявляет, что новые модели стали «менее чувствительны» и теперь реже отказываются отвечать на запросы — модель не даст ответа меньше, чем в 1% случаев. Осталось это проверить 👀

* экстремистская организация, деятельность которой запрещена на территории РФ

🧠🎮 Quake II вернулся благодаря AI

Ты можешь бегать, прыгать, стрелять и даже находить секретки — только вот ты играешь не в сам Quake II, а в его симуляцию внутри нейросети 🤯

🔄 Microsoft выложила демо своей модели WHAMM (World and Human Action MaskGIT Model). Она создана на базе Muse — семейства моделей от Microsoft, которые обучаются симулировать поведение игрового мира, исходя из действий геймера

⚡️ Новая версия куда шустрее предшественницы: 10 кадров в секунду против одного и удвоенное разрешение (640×360 вместо 300×180). Дело в архитектуре. WHAMM генерирует токены не последовательно, а параллельно, что позволяет взаимодействовать с ней в реальном времени

🧑‍💻 На обучение ушла неделя игры профи-тестеров. Прошлой версии на это потребовалось аж семь лет геймплея. Зато всё как в настоящем Quake II, но с нюансами. Враги порой размыты, здоровье хаотично, а если долго смотреть в небо, то можно телепортироваться. Есть и забавные глюки: в этой симуляции ты можешь буквально закрыть глаза, отвернуться — и враг исчезнет (хотели бы такое в реальной жизни?). Причина — в узком контекстном окне в 0,9 секунд (9 кадров по 10fps), модель просто забывает, что было секунду назад. Поиграть можно тут

🤖 Возможно, на наших глазах зарождается новый жанр самосоздающихся игр, где будут сталкиваться реальные и AI-игроки

AI рвется в будущее🔜

Собрала для вас главные достижения AI, которые привлекли мое внимание за прошедшую неделю⚠️

Видео и графика:
1️⃣ Вышло обновление для Runway Gen-4. Нейросеть точно воссоздаёт сцены и персонажей из изображений и промптов, редко галлюцинирует, а видео по качеству не уступает киносъёмке 👀 Запоминает стили, объекты и героев для повторного использования. Есть редактирование по сценам 🚀

2️⃣ Спустя год зарелизили Midjourney V7 — детализация сумасшедшая, но не всё так гладко, как хотелось бы. Этой обнове я посвятила отдельный пост ⚠️

3️⃣ ChatGPT теперь умеет редактировать и создавать изображения высокого качества. Надписи читабельны, артефактов нет, руки с нужным количеством пальцев и, конечно же, прогремевшая на весь интернет стилизация под мультики студии Ghibli 👏

Ассистенты и мультимодальные решения:
4️⃣ С китайской нейросетью Qwen теперь можно общаться в формате голосового и видеочата. Она понимает текст, картинки, звук и видео, запоминает фразы и ведёт диалог на достойном уровне. Правда, пока только на китайском и английском 🆒

5️⃣ Microsoft апгрейднула Copilot до полноценного AI-агента. Теперь пользоваться им можно на всех платформах — Windows, Android, iOS и в браузере 😮 Copilot научился бронировать отели, писать письма и искать товары по лучшим ценам. Про внедрение Copilot Search в поисковик Bing рассказала в посте

6️⃣ Anthropic выпустила Claude for Education на базе версии 3.7 — новую версию чат-бота для образовательных учреждений. Ассистент не даёт готовые ответы, а подталкивает студентов искать решение через диалог. Сейчас его тестируют в нескольких зарубежных университетах ✏️

Языковые модели:
7️⃣ Обновился Deep Research от Google — теперь на базе Gemini 2.5 Pro. Модель обходит ChatGPT в аналитике: копает глубже, аргументирует точнее, формулирует лучше. Последняя версия доступна бесплатно в AI Studio 🆓

8️⃣ Meta* представила LLaMa 4. У Scout, самой маленькой модели в линейке, память на 10 млн токенов. Это как если бы AI держал в голове сразу несколько толстенных энциклопедий 🔥 У флагмана Mavrick — 1 млн, но он мощнее. Младшие модели уже обгоняют GPT-4o в тестах

9️⃣ Grok — AI от Илона Маска — теперь в Telegram, модель доступна премиум-пользователям. Сам Маск утверждает, что она умнее конкурентов. Но есть нюанс: в мессенджере урезан функционал, нет поиска в интернете и бот иногда подлагивает ⚡️

Изображение Recraft

*экстремистская организация, деятельность которой запрещена на территории РФ