Tiny Aya: семейство мультиязычных SLM.
Cohere Labs выкатили семейство моделей Tiny Aya на 3 млрд. параметров с контекстным окном 8К, которое поддерживает 70+ языков.
Семейство заявляется как достойный кандидат для локальных переводчиков, чат-ботов и образовательных тулзов в оффлайн-режиме. Если необходимо, чтобы было быстро, локально и переводить суахили или кхмерский лучше, чем Llama - это вот оно.
🟡 Фишка релиза в дата-инжиниринге.
Tiny Aya учили на 6 трлн. токенов, а проблему нехватки данных для редких языков решали через синтетику от моделей-учителей (своя Command R + DeepSeek-V3).
Вместо того чтобы учить одну модель всему сразу, разбили данные на языковые кластеры (Европа, Азия, Африка и т.д.) и дотюнивали отдельные ветки, после чего смержили эти региональные чекпоинты в глобальную модель Tiny Aya Global.
🟡 Состав семейства
Tiny Aya Global: Универсальный чекпоинт для всех языков.
Tiny Aya Earth: Африка и Западная Азия.
Tiny Aya Fire: Южная Азия.
Tiny Aya Water: Азиатско-Тихоокеанский регион и Европа.Мы тут
GGUF: Есть к каждой версии в 4, 8 и 16-бит.
iOS и Android: модели доступны в PocketPal
🟡 Результаты тестов
Global-версия бьет Gemma 3-4B в 46 языках из 61 на бенче WMT24++.
На iPhone 17 Pro выдает 32 токена/сек, на стареньком iPhone 13 - около 10 токенов/сек в квантовании Q4_k_m.
Самый высокий показатель безопасности (91.1%) среди конкурентов (Qwen3-4B, Ministral-3-3B).
🟡 Капля реализма
📌 Лицензирование: CC-BY-NC-4.0 License.
🟡 Блогпост
🟡 Набор моделей
🟡 Техотчет
🟡 Demo
@ai_machinelearning_big_data
#AI #ML #SLM #TinyAya #Cohere
Cohere Labs выкатили семейство моделей Tiny Aya на 3 млрд. параметров с контекстным окном 8К, которое поддерживает 70+ языков.
Семейство заявляется как достойный кандидат для локальных переводчиков, чат-ботов и образовательных тулзов в оффлайн-режиме. Если необходимо, чтобы было быстро, локально и переводить суахили или кхмерский лучше, чем Llama - это вот оно.
Tiny Aya учили на 6 трлн. токенов, а проблему нехватки данных для редких языков решали через синтетику от моделей-учителей (своя Command R + DeepSeek-V3).
Вместо того чтобы учить одну модель всему сразу, разбили данные на языковые кластеры (Европа, Азия, Африка и т.д.) и дотюнивали отдельные ветки, после чего смержили эти региональные чекпоинты в глобальную модель Tiny Aya Global.
Tiny Aya Global: Универсальный чекпоинт для всех языков.
Tiny Aya Earth: Африка и Западная Азия.
Tiny Aya Fire: Южная Азия.
Tiny Aya Water: Азиатско-Тихоокеанский регион и Европа.
GGUF: Есть к каждой версии в 4, 8 и 16-бит.
iOS и Android: модели доступны в PocketPal
Global-версия бьет Gemma 3-4B в 46 языках из 61 на бенче WMT24++.
На iPhone 17 Pro выдает 32 токена/сек, на стареньком iPhone 13 - около 10 токенов/сек в квантовании Q4_k_m.
Самый высокий показатель безопасности (91.1%) среди конкурентов (Qwen3-4B, Ministral-3-3B).
Это 3B модель. В сложных задачах она очевидно хуже или где-то рядом с одноклассниками, чудес ждать не стоит.
Несмотря на заявленное разнообразие, английский язык занимает львиную долю датасета во всех кластерах.
При сильном сжатии (ниже Q4) качество начинает заметно страдать, особенно на редких языках.
@ai_machinelearning_big_data
#AI #ML #SLM #TinyAya #Cohere
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🤓63💯36🥱34🤩27❤25🦄20🔥19😴17🙈16😇14👍13
Media is too big
VIEW IN TELEGRAM
EVMbench - специализированный фреймворк, который проверяет, насколько хорошо языковые модели справляются с 3 задачами: находят баги в коде смарт-контрактов, эксплуатируют их в контролируемой среде и исправляют без нарушения логики контракта.
Тестовая база построена на реальных примерах багов, найденных ранее в ходе аудитов и профильных соревнований.
Авторы рассчитывают, что EVMbench станет отраслевым стандартом, что важно для защиты активов в секторе децентрализованных финансов, где исправить ошибку после деплоя уже невозможно.
openai.com
Теперь в NotebookLM сгенерированные презентации можно дорабатывать прямо в диалоге с ИИ, без ручной правки каждого слайда. Достаточно написать, что изменить, и модель перестроит контент сама.
Второе обновление - экспорт в PPTX. Готовую презентацию можно скачать и открыть в Microsoft PowerPoint. Поддержка Google Slides анонсирована, но пока не запущена.
NotebookLM в сети Х
ИИ-поисковик прекратил эксперименты с рекламной монетизацией, посчитав, что она фундаментально противоречит миссии сервиса. Несмотря на то, что стартап одним из первых начал тестировать спонсорские ответы в 2024 году, сейчас руководство решило свернуть эту инициативу.
Представители компании пояснили, что их главная ценность - это точность и объективность информации. Даже если промо-блоки четко маркированы и технически не влияли на генерацию текста, сам факт их наличия заставляет людей сомневаться в честности ответов.
В Perplexity пришли к выводу, что для удержания платных подписчиков пользователь должен быть уверен, что получает лучший возможный ответ, не искаженный коммерческими интересами рекламодателей.
ft.com
В чат-бот добавили модель Lyria 3 от DeepMind. На вход она принимает текст, картинку или видео, а если указать в запросе имя исполнителя, Gemini создаст трек в похожем стиле (но скопировать артиста напрямую не получится).
Инструмент в бете, но уже пишет полноценные треки на английском, немецком, испанском, французском, хинди, японском, корейском и португальском языках. Вся музыка, созданная через Lyria 3, получает метку SynthID.
blog.google
Команда инженеров-химиков института адаптировала архитектуру LLM для нужд биотехнологий. Созданный алгоритм помогает промышленным дрожжам Komagataella phaffii эффективнее производить сложные белки, используемые в вакцинах и препаратах от рака.
Суть разработки - решении проблемы генетических синонимов. Одна и та же аминокислота может кодироваться разными триплетами ДНК (кодонами), но на классических методах оптимизации выбор самых часто встречающихся вариантов нередко приводит к дефициту ресурсов клетки и снижению выработки.
Инженеры обучили модель на геноме дрожжей, заставив ее воспринимать ДНК как текст. ИИ не просто запомнил частоту кодонов, но и усвоил скрытый контекст — «синтаксис» их взаимодействия. В тестах на реальных белках, включая человеческий гормон роста и моноклональные антитела, последовательности от ИИ превзошли результаты лучших коммерческих инструментов в 5 случаях из 6.
Технология обещает сократить расходы на разработку новых лекарств, которые на этапе подготовки производства сейчас составляют до 20% от общего бюджета.
news.mit.edu
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤38👏34👍14🔥10🤩8🤔5😎5🎉3🤝1🆒1
Компания сообщила о масштабной оптимизации инфраструктуры обучения больших языковых моделей: качество и объёмы разработки сохранены, а годовая экономия составила 4,8 млрд ₽ (≈ 400 млн ₽ в месяц).
YCCL (Yet Another Collective Communication Library) — собственная разработка Яндекса для ускорения коллективных операций и межпроцессорного взаимодействия в кластерах.
С её помощью удалось:
- в 2 раза ускорить обмен данными между GPU,
- сократить объём передаваемой информации
- перенести часть управляющей логики с GPU на CPU, снизив нагрузку на графические процессоры.
Сопоставимые по уровню решения есть только у крупнейших игроков рынка (Meta, AMD и ряд китайских бигтех-компаний).
Компания внедрила вычисления в формате FP8, что дало:
ускорение обучения до 30%, двукратное снижение коммуникаций между GPU.
Размер батча увеличен до 16–32 млн токенов, что уменьшило простой GPU и повысило загрузку и эффективность использования кластеров.
Дополнительно улучшили стабильность инфраструктуры и сократили затраты, связанные с перезапусками обучения.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍87🤣69🔥26❤18👏8🤩6😁5🤬3😢2🤔1🎉1
Y Combinator выложил на Youtube почти часовой выпуск подкаста Lightcone Podcast с Борисом Черным, создателем Claude Code в Anthropic. Мы собрали для вас ключевые темы, цитаты и утверждения.
Стратегия Anthropic при создании инструментов заключается в опережении текущих возможностей ИИ.
Главный совет фаундерам: не подстраивайте продукт под ограничения сегодняшних моделей. Стройте его для модели, которая выйдет через полгода. Если сегодня модель глупая, через 6 месяцев она поумнеет, и ваш продукт должен быть к этому готов.
Принцип "Scaffolding" : обвязка вокруг модели может улучшить производительность на 10-20%, но следующая версия модели часто нивелирует этот выигрыш. Либо вы строите обвязку для временного прироста, либо ждете новую модель и получаете прирост бесплатно.
CLAUDE.md часто переусложняют. Борис рекомендует удалять его и начинать заново, так как с каждой новой моделью требуется меньше инструкций.
Внутренняя статистика Anthropic показывает радикальное изменение в процессах разработки.
Инженер Anthropic сейчас в 1000 раз продуктивнее инженера Google на пике их формы.
После внедрения Claude Code продуктивность внутри Anthropic выросла на 150% (измеряется по количеству PR, коммитов и их жизненному циклу). Ранее годовой рост на 2% считался успехом (личный опыт Бориса у Цукерберга).
CEO Anthropic предсказывал, что 90% кода будет писать ИИ. Борис утверждает, что с выходом Opus 4.5 эта цифра достигла 100%.
Борис удалил свою IDE. Он не редактирует ни одной строчки кода вручную. Весь процесс идет через Claude Code в терминале.
Первый инструмент, который дали модели был bash.
Инженер Anthropic Крис нашел утечку памяти, просто попросив Claude Code: "Найди утечку". Агент снял heap dump, написал инструмент для анализа дампа, нашел утечку и предложил фикс быстрее человека.
Рекурсивная отладка: можно загрузить транскрипт сессии кодинга обратно в Claude, чтобы отладить самого агента.
Идея CLAUDE.md родилась из наблюдения скрытого спроса: инженеры сами писали markdown-файлы с контекстом для скармливания модели.
Личный CLAUDE.md Бориса содержит всего две строки:
1. При создании PR включать auto-merge.
2. Постить ссылку на PR во внутренний канал Slack.
Если Claude совершает ошибку, команда тегает его в PR (командой /add claude), чтобы он исправил код и обновил правила в CLAUDE.md для предотвращения рецидивов.
Эволюция идет от простого выполнения команд к сложному планированию и роям агентов.
Plan Mode: Режим, где модель сначала расписывает шаги, а потом выполняет.
Промпт для Plan Mode технически прост: к запросу добавляется фраза "Пожалуйста, не пиши код, а сначала спланируй".
Функция "Plugins" была написана роем агентов за выходные без участия человека: инженеры дали спецификацию и доступ к Asana. Главный агент спавнил субагентов, раздавал задачи из доски, а те писали код.
Стратегия "Mama Claude": основной инстанс Claude Code рекурсивно вызывает субагентов (другие инстансы Claude Code) для решения подзадач.
Биомодальное распределение эффективных сотрудников:
Гипер-специалисты: кандидаты с глубоким знанием devtools, runtime, оптимизаций.
Гипер-дженералисты: люди, совмещающие роли Product, Infra, Design.
Product Engineer исчезает как термин, все становятся "Builders".
В Anthropic код пишут все: дизайнеры, финансисты и менеджеры.
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👏52❤34👍21😁7💯7🤓6🔥3🎉3🤣2
Forwarded from Анализ данных (Data analysis)
Генеральный директор OpenAI Сэм Альтман и генеральный директор Anthropic Дарио Амодей показательно отказались взяться за руки во время группового фото на саммите India AI Impact Summit, в то время как другие участники на сцене сцепили руки для символического снимка.
😁94🤔33❤11🤬11🤝9🤨7👾7👍5😐5🥱2🙈2
Forwarded from Data Secrets
Принципы работы Nested Learning и Titans вдохновлены идеями российских ученых
Google идет по дорожке, заданной учениками Михаила Бурцева — Юрием Куратовыи и Айдаром Булатовым из AIRI. Речь об их идеях по RMT, использованных при создании нового подхода к архитектурам.
У большинства мировых команд по созданию ИИ есть проблема с контекстом — модели забывают почти всё, что было дальше условных 50 страниц. При этом новые данные часто стирают старые. Недавно Google предложили рассматривать модели как набор вложенных оптимизационных задач. Их архитектура HOPE учится не просто предсказывать слова, но решать, что забыть, а что помнить вечно.
Звучит знакомо?
Одними из первых архитектур, реально работающих с длинным контекстом, были RMT/ARMT, начальную идею которых в 2020 году предложил Михаил Бурцев. А уже в 2022 году ребята из AIRI показали, что контекст можно расширять не в лоб, а архитектурно — через рекуррентные механизмы памяти. Смотрим в литературу, на которую ссылаются в Google, и видим те же тезисы.
В общем, парадигма развития разработки нейросетей не создается в вакууме — у неё есть авторы.
Google идет по дорожке, заданной учениками Михаила Бурцева — Юрием Куратовыи и Айдаром Булатовым из AIRI. Речь об их идеях по RMT, использованных при создании нового подхода к архитектурам.
У большинства мировых команд по созданию ИИ есть проблема с контекстом — модели забывают почти всё, что было дальше условных 50 страниц. При этом новые данные часто стирают старые. Недавно Google предложили рассматривать модели как набор вложенных оптимизационных задач. Их архитектура HOPE учится не просто предсказывать слова, но решать, что забыть, а что помнить вечно.
Звучит знакомо?
Одними из первых архитектур, реально работающих с длинным контекстом, были RMT/ARMT, начальную идею которых в 2020 году предложил Михаил Бурцев. А уже в 2022 году ребята из AIRI показали, что контекст можно расширять не в лоб, а архитектурно — через рекуррентные механизмы памяти. Смотрим в литературу, на которую ссылаются в Google, и видим те же тезисы.
В общем, парадигма развития разработки нейросетей не создается в вакууме — у неё есть авторы.
❤31👍21👏19🤔6🤣2🤨2
Forwarded from Rust
🦀 Strand-Rust-Coder-14B - модель, заточенная специально под генерациию Rust кода.
Это не универсальный «кодинг-ассистент».
Модель дообучена именно на экосистеме Rust и пишет код на уровне опытного разработчика:
- идиоматичный Rust
- безопасная работа с памятью
- корректные async и ownership-паттерны
- акцент на производительность и системные задачи
Большинство моделей хорошо знают Python и JavaScript, но часто «путаются» в borrow checker, lifetimes и сложных Rust-конструкциях.
Strand-Rust-Coder решает именно эту проблему - фокус на системном программировании, low-level задачах и performance-critical приложениях.
https://huggingface.co/Fortytwo-Network/Strand-Rust-Coder-14B-v1
@rust_code
Это не универсальный «кодинг-ассистент».
Модель дообучена именно на экосистеме Rust и пишет код на уровне опытного разработчика:
- идиоматичный Rust
- безопасная работа с памятью
- корректные async и ownership-паттерны
- акцент на производительность и системные задачи
Большинство моделей хорошо знают Python и JavaScript, но часто «путаются» в borrow checker, lifetimes и сложных Rust-конструкциях.
Strand-Rust-Coder решает именно эту проблему - фокус на системном программировании, low-level задачах и performance-critical приложениях.
https://huggingface.co/Fortytwo-Network/Strand-Rust-Coder-14B-v1
@rust_code
1👍57🔥15👏11❤10💯5😁1
⚡️ VK внедряет VLM в поиск VK Видео
VK начала внедрение визуально-языковых моделей в поисковые системы своих продуктов. Технология уже работает в VK Видео. Теперь система анализирует не только название и описание ролика, но и сами кадры, звук и видеоряд.
Тестирование гипотез ускорилось в 5 раз, новые улучшения внедряются заметно быстрее, а поиск будет развиваться динамичнее.
Технология также усилит векторный поиск. Система будет опираться не только на семантическое совпадение слов, но и на реальное содержание видео через анализ аудио и визуальных признаков.
Подобные мультимодальные подходы развивают Microsoft, Google и TikTok. Обновление поэтапно появится и в других сервисах VK.
@ai_machinelearning_big_data
#news #ai #ml #VK
VK начала внедрение визуально-языковых моделей в поисковые системы своих продуктов. Технология уже работает в VK Видео. Теперь система анализирует не только название и описание ролика, но и сами кадры, звук и видеоряд.
Тестирование гипотез ускорилось в 5 раз, новые улучшения внедряются заметно быстрее, а поиск будет развиваться динамичнее.
Технология также усилит векторный поиск. Система будет опираться не только на семантическое совпадение слов, но и на реальное содержание видео через анализ аудио и визуальных признаков.
Подобные мультимодальные подходы развивают Microsoft, Google и TikTok. Обновление поэтапно появится и в других сервисах VK.
@ai_machinelearning_big_data
#news #ai #ml #VK
🤣75👍53🔥14👏6🥱5🗿5🤷♂4😁2🤔2🌚2😴1
Forwarded from Анализ данных (Data analysis)
⚡️ Релиз Gemini 3.1 Pro - новый уровень интеллекта моделей
Google официально представила Gemini 3.1 Pro, и результаты выглядят серьёзно: модель показала 77,1% в одном из самых сложных тестов на абстрактное мышление — ARC-AGI-2.
- Резкий скачок качества
Результат почти в 2 раза выше, чем у предыдущей версии
- Обгоняет конкурентов
Gemini 3.1 Pro опережает Opus 4.6 и GPT-5.2 в задачах на обобщение и логическое мышление
- Сильнее в реальных сценариях
- программирование
- агентные задачи
- работа с новыми паттернами без примеров
- Новые возможности
Модель может генерировать анимированные SVG из текста и решать логические задачи, которых не было в обучающей выборке — это важный шаг к более универсальному AI.
Попробовать Gemini 3.1 Pro уже можно в Google AI Studio: blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-1-pro/
@ai_machinelearning_big_data
Google официально представила Gemini 3.1 Pro, и результаты выглядят серьёзно: модель показала 77,1% в одном из самых сложных тестов на абстрактное мышление — ARC-AGI-2.
- Резкий скачок качества
Результат почти в 2 раза выше, чем у предыдущей версии
- Обгоняет конкурентов
Gemini 3.1 Pro опережает Opus 4.6 и GPT-5.2 в задачах на обобщение и логическое мышление
- Сильнее в реальных сценариях
- программирование
- агентные задачи
- работа с новыми паттернами без примеров
- Новые возможности
Модель может генерировать анимированные SVG из текста и решать логические задачи, которых не было в обучающей выборке — это важный шаг к более универсальному AI.
Попробовать Gemini 3.1 Pro уже можно в Google AI Studio: blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-1-pro/
@ai_machinelearning_big_data
1🔥77❤26⚡22🤩11😴9👍8🙊8👏6🌭5🙈5🤷♂4