Можно платить за каждый токен, но стоит ли?! Малые языковые модели отлично резюмируют текст, ничего не стоят и работают при этом на обычном компьютере. В этом видео мы разберем что это все вообще такое и запустим у себя дома.
[Смотреть]
Please open Telegram to view this post
VIEW IN TELEGRAM
RUTUBE
ИИ в режиме самолёта — малые модели, большие возможности
Можно платить за каждый токен, но стоит ли?! Малые языковые модели отлично резюмируют текст, ничего не стоят и работают при этом на обычном компьютере. В этом видео мы разберем что это все вообще такое и запустим у себя дома.
⏩️ Мотайте до нужного момента:…
⏩️ Мотайте до нужного момента:…
🔥18👍2👨💻1💘1
📊 Тест: мобильная Gemma 3 не хуже GPT-4 в резюмировании
Показывал в видео Qwen3-30B-A3B и ссылался на исследование. Стало интересно, как новые модели пишут резюме на русском.
Без научных выкрутасов, на коленке:
- Взял 1000 новостей с готовыми резюме (датасет Газета.ру от Ильи Гусева)
- Прогнал через разные модели и сравнил, насколько резюме от моделей похоже на человеческие (метрики Rouge-L и BERTScore, если коротко - “похожесть по смыслу и словам”)
Разницы между гигантскими моделями типа GPT-4 и маленькой Gemma3 (которую можно запускать хоть на телефоне) почти нет! Все показывают практически одинаковый результат — отличия где-то во второй цифре после запятой, на которую бы не смотрел из-за наколенночности теста.
В следующий раз расскажу про современные методы оценки качества и что все эти непонятные слова MMLU и HellaSwag значат 🥲
Показывал в видео Qwen3-30B-A3B и ссылался на исследование. Стало интересно, как новые модели пишут резюме на русском.
Без научных выкрутасов, на коленке:
- Взял 1000 новостей с готовыми резюме (датасет Газета.ру от Ильи Гусева)
- Прогнал через разные модели и сравнил, насколько резюме от моделей похоже на человеческие (метрики Rouge-L и BERTScore, если коротко - “похожесть по смыслу и словам”)
Разницы между гигантскими моделями типа GPT-4 и маленькой Gemma3 (которую можно запускать хоть на телефоне) почти нет! Все показывают практически одинаковый результат — отличия где-то во второй цифре после запятой, на которую бы не смотрел из-за наколенночности теста.
В следующий раз расскажу про современные методы оценки качества и что все эти непонятные слова MMLU и HellaSwag значат 🥲
👍4🔥2
Как говорится: ты — то, что измеряешь. Половина задачи — понять, как именно это оценить. Сегодня разбираем MMLU, GPQA, DROP и другие методы оценки языковых моделей: что они проверяют и как работают.
[Смотреть]
Please open Telegram to view this post
VIEW IN TELEGRAM
RUTUBE
ИИ на экзамене — сдал или списал?
Как говорится: ты — то, что измеряешь. Половина задачи — понять, как именно это оценить. Сегодня разбираем MMLU, GPQA, DROP и другие методы оценки языковых моделей: что они проверяют и как работают.
⏩️ Мотайте до нужного момента:
00:00 — Введение
01:10 —…
⏩️ Мотайте до нужного момента:
00:00 — Введение
01:10 —…
❤4🔥3
📊 Занимательные цифры
В тесте MMLU 57% заданий по биологии содержат ошибки, а русский аналог MMLU_RU просто машинный перевод.
Вот такие пироги — выводы делайте сами!
В тесте MMLU 57% заданий по биологии содержат ошибки, а русский аналог MMLU_RU просто машинный перевод.
Перевод выполнен через API Яндекс.Переводчика. Есть некоторые ошибки перевода, особенно заметные в терминах и формулах, исправления не применялись.
Вот такие пироги — выводы делайте сами!
👍3
🧠 Apple утверждает: ИИ не думает, а лишь имитирует. Так ли это?
В новом видео разбираю:
- Почему рассуждающие модели работают в 30 раз медленнее обычных
- Как фраза "думай пошагово" увеличила точность ИИ с 17% до 79%
- Какие типы мышления освоил ИИ, а какие - нет
👇 Смотрите видео и делитесь мнением - думает ИИ или нет?
В новом видео разбираю:
- Почему рассуждающие модели работают в 30 раз медленнее обычных
- Как фраза "думай пошагово" увеличила точность ИИ с 17% до 79%
- Какие типы мышления освоил ИИ, а какие - нет
👇 Смотрите видео и делитесь мнением - думает ИИ или нет?
RUTUBE
Думает ИИ или нет? Разбор рассуждающих моделей за 10 минут
Apple утверждает, что ИИ - просто имитация мышления. Провокация или чистая правда? В этом видео разбираю, как современные рассуждающие модели пытаются воспроизвести человеческое мышление, почему они работают в 30 раз медленнее обычных и когда их стоит использовать.…
🔥10❤2