Forwarded from gonzo-обзоры ML статей
Снова про JAX.
Если моя книга “Deep Learning with JAX” (https://news.1rj.ru/str/gonzo_ML/2926) для вас ещё не является достаточной мотивацией освоить этот продвинутый фреймворк, то вот вам ещё пара крутых свежих материалов:
The PyTorch developer's guide to JAX fundamentals
https://cloud.google.com/blog/products/ai-machine-learning/guide-to-jax-for-pytorch-developers
Короткий гайд по созданию модели для тех, кто привык к PyTorch и хочет сравнить. Пример использует новый Flax NNX API (писал про него в посте JAX things to watch for in 2025, https://gonzoml.substack.com/p/jax-things-to-watch-for-in-2025), но есть также и пример на более старом но всё ещё популярном Flax Linen API.
================================
How to Scale Your Model
A Systems View of LLMs on TPUs
https://jax-ml.github.io/scaling-book/
Это прям целая книга про скейлинг LLM на TPU. Содержит несколько секций:
1. All About Rooflines
https://jax-ml.github.io/scaling-book/roofline/
Объясняет, что такое roofline model (писал про неё когда-то давно тут https://moocaholic.medium.com/hardware-for-deep-learning-part-3-gpu-8906c1644664). Это безумно важно понимать для оптимизации ваших вычислений, не всё определяется флопсами, многие алгоритмы ограничены коммуникацией, в смысле пересылкой данных, не обязательно в распределённой системе, даже при неудачно организованном чтении из памяти можно оказаться в ситуации, когда ваш GPU/TPU используется лишь на 5% и до пиковых флопс как до Луны.
2. What Is a TPU?
https://jax-ml.github.io/scaling-book/tpus/
Объясняет, что такое TPU (про это я тоже писал ещё давно https://moocaholic.medium.com/hardware-for-deep-learning-part-4-asic-96a542fe6a81), что такое систолический массив, какие блоки есть внутри, как связываются ускорители в Pod, каковы характеристики разных TPU от v3 до v6e.
3. Sharded Matrices and How to Multiply Them
https://jax-ml.github.io/scaling-book/sharding/
Подробно разбирает как работает шардинг (разбиение вычислений больших тензоров по нескольким ускорителям). Параллелизация, Collective Operations -- всё тут. У меня в книге этому посвящена 8-я глава, а кроме неё есть глава 7 про более классический метод параллелизации (pmap) и приложение D про уже устаревшие экспериментальные подходы, которые тем не менее могут помочь лучше понять как мы пришли в текущую точку.
4. All the Transformer Math You Need to Know
https://jax-ml.github.io/scaling-book/transformers/
Вся основа трансформеров на уровне вычислений. Где какие операции, как считать флопсы и параметры, MoE, Gradient checkpointing, KV caching, Flash Attention.
5. How to Parallelize a Transformer for Training
https://jax-ml.github.io/scaling-book/training/
Обсуждение разных видов параллелизма на примере трансформера: data parallelism, fully-sharded data parallelism (FSDP), tensor parallelism, pipeline parallelism.
6. Training LLaMA 3 on TPUs
https://jax-ml.github.io/scaling-book/applied-training/
Как применить все эти знания к обучению реальной модели (Llama 3) на TPU v5p. Что такое Llama 3, как отшардить модель LLaMA 3-70B.
7. All About Transformer Inference
https://jax-ml.github.io/scaling-book/inference/
В чём особенности инференса для трансформеров, где боттлнеки, что с памятью, что с latency. MHA, MQA, GQA (про MLA ещё нет: https://news.1rj.ru/str/gonzo_ML/3292). KV cache, распределение инференса по разным ускорителям, фазы инференса (prefill, generation), шардирование KV-кэша, _много_ оптимизаций инференса.
8. Serving LLaMA 3-70B on TPUs
https://jax-ml.github.io/scaling-book/applied-inference/
Как применить все эти знания к инференсу реальной модели, той же самой Llama 3-70B.
9. How to Profile TPU Programs
https://jax-ml.github.io/scaling-book/profiling/
Как профилировать код на TPU и искать боттлнеки. Как работает компилятор XLA, что такое HLO (я много это разбираю в главе 5 своей книги, про компиляцию), что такое JAX TPU profiler, Trace Viewer, Graph Viewer, как делать профилирование памяти.
10. Programming TPUs in JAX
https://jax-ml.github.io/scaling-book/jax-stuff/
Если моя книга “Deep Learning with JAX” (https://news.1rj.ru/str/gonzo_ML/2926) для вас ещё не является достаточной мотивацией освоить этот продвинутый фреймворк, то вот вам ещё пара крутых свежих материалов:
The PyTorch developer's guide to JAX fundamentals
https://cloud.google.com/blog/products/ai-machine-learning/guide-to-jax-for-pytorch-developers
Короткий гайд по созданию модели для тех, кто привык к PyTorch и хочет сравнить. Пример использует новый Flax NNX API (писал про него в посте JAX things to watch for in 2025, https://gonzoml.substack.com/p/jax-things-to-watch-for-in-2025), но есть также и пример на более старом но всё ещё популярном Flax Linen API.
================================
How to Scale Your Model
A Systems View of LLMs on TPUs
https://jax-ml.github.io/scaling-book/
Это прям целая книга про скейлинг LLM на TPU. Содержит несколько секций:
1. All About Rooflines
https://jax-ml.github.io/scaling-book/roofline/
Объясняет, что такое roofline model (писал про неё когда-то давно тут https://moocaholic.medium.com/hardware-for-deep-learning-part-3-gpu-8906c1644664). Это безумно важно понимать для оптимизации ваших вычислений, не всё определяется флопсами, многие алгоритмы ограничены коммуникацией, в смысле пересылкой данных, не обязательно в распределённой системе, даже при неудачно организованном чтении из памяти можно оказаться в ситуации, когда ваш GPU/TPU используется лишь на 5% и до пиковых флопс как до Луны.
2. What Is a TPU?
https://jax-ml.github.io/scaling-book/tpus/
Объясняет, что такое TPU (про это я тоже писал ещё давно https://moocaholic.medium.com/hardware-for-deep-learning-part-4-asic-96a542fe6a81), что такое систолический массив, какие блоки есть внутри, как связываются ускорители в Pod, каковы характеристики разных TPU от v3 до v6e.
3. Sharded Matrices and How to Multiply Them
https://jax-ml.github.io/scaling-book/sharding/
Подробно разбирает как работает шардинг (разбиение вычислений больших тензоров по нескольким ускорителям). Параллелизация, Collective Operations -- всё тут. У меня в книге этому посвящена 8-я глава, а кроме неё есть глава 7 про более классический метод параллелизации (pmap) и приложение D про уже устаревшие экспериментальные подходы, которые тем не менее могут помочь лучше понять как мы пришли в текущую точку.
4. All the Transformer Math You Need to Know
https://jax-ml.github.io/scaling-book/transformers/
Вся основа трансформеров на уровне вычислений. Где какие операции, как считать флопсы и параметры, MoE, Gradient checkpointing, KV caching, Flash Attention.
5. How to Parallelize a Transformer for Training
https://jax-ml.github.io/scaling-book/training/
Обсуждение разных видов параллелизма на примере трансформера: data parallelism, fully-sharded data parallelism (FSDP), tensor parallelism, pipeline parallelism.
6. Training LLaMA 3 on TPUs
https://jax-ml.github.io/scaling-book/applied-training/
Как применить все эти знания к обучению реальной модели (Llama 3) на TPU v5p. Что такое Llama 3, как отшардить модель LLaMA 3-70B.
7. All About Transformer Inference
https://jax-ml.github.io/scaling-book/inference/
В чём особенности инференса для трансформеров, где боттлнеки, что с памятью, что с latency. MHA, MQA, GQA (про MLA ещё нет: https://news.1rj.ru/str/gonzo_ML/3292). KV cache, распределение инференса по разным ускорителям, фазы инференса (prefill, generation), шардирование KV-кэша, _много_ оптимизаций инференса.
8. Serving LLaMA 3-70B on TPUs
https://jax-ml.github.io/scaling-book/applied-inference/
Как применить все эти знания к инференсу реальной модели, той же самой Llama 3-70B.
9. How to Profile TPU Programs
https://jax-ml.github.io/scaling-book/profiling/
Как профилировать код на TPU и искать боттлнеки. Как работает компилятор XLA, что такое HLO (я много это разбираю в главе 5 своей книги, про компиляцию), что такое JAX TPU profiler, Trace Viewer, Graph Viewer, как делать профилирование памяти.
10. Programming TPUs in JAX
https://jax-ml.github.io/scaling-book/jax-stuff/
👍2
Вышел Sonnet 3.7. Доступен на всех тарифах в т.ч. бесплатно
http://claude.ai
http://claude.ai
claude.ai
Talk with Claude, an AI assistant from Anthropic
Large Reasoning Models: How o1 Replications Turned into Real Competition
https://synthesis.ai/2025/02/25/large-reasoning-models-how-o1-replications-turned-into-real-competition/
https://synthesis.ai/2025/02/25/large-reasoning-models-how-o1-replications-turned-into-real-competition/
Synthesis AI - The data generation platform for computer vision
Large Reasoning Models: How o1 Replications Turned into Real Competition - Synthesis AI
Some of the most important AI advances in 2024 were definitely test-time reasoning LLMs, or large reasoning models (LRM), that is, LLMs that are trained to write down and reuse their chains of thought for future reference. Reasoning LLMs started with the…
👍1
Forwarded from Градиент обреченный (Sergei Averkiev)
🔺 Phi-4-multimodal-instruct
MS выложили мультимодальную (картинки-аудио-текст) модель в открытый доступ.
5.6B параметров, поддерживает русский язык в тексте, в картинках только английский, в аудио — 7 европейских языков + китайский.
Также выложили Phi-4-mini 3.8B. У обеих моделей контекст до 128k токенов.
Основной фишкой моделей такого размера является возможность их встраивания на устройства типа смартфонов, поэтому качественная end-2-end мультимодальность (а не обработка данных несколькими специализированными моделями) такого размера очень в тему.
👉 Пост | HF | Tech. Report | Чат
MS выложили мультимодальную (картинки-аудио-текст) модель в открытый доступ.
5.6B параметров, поддерживает русский язык в тексте, в картинках только английский, в аудио — 7 европейских языков + китайский.
Также выложили Phi-4-mini 3.8B. У обеих моделей контекст до 128k токенов.
Основной фишкой моделей такого размера является возможность их встраивания на устройства типа смартфонов, поэтому качественная end-2-end мультимодальность (а не обработка данных несколькими специализированными моделями) такого размера очень в тему.
👉 Пост | HF | Tech. Report | Чат
Microsoft Azure Blog
Empowering innovation: The next generation of the Phi family | Microsoft Azure Blog
We are excited to announce Phi-4-multimodal and Phi-4-mini, the newest models in Microsoft’s Phi family of small language models. Learn more.
❤3
Forwarded from Tips AI | IT & AI
В прошлый раз он объяснял, как [устроены] модели ChatGPT, а теперь делится реальными кейсами из своей жизни.
Что в ролике:
• Разбор популярных моделей и их возможности
• Как выбирать модель под задачу (и не переплачивать)
• Инструменты: поиск, код, графики, работа с файлами
• Голос, изображения, видео и даже Custom GPTs
2 часа контента с таймкодами. Отличное времяпровождение на выходные
@tips_ai #news
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5🔥3👍2
Forwarded from Градиент обреченный (Sergei Averkiev)
🔺 GigaChat 2
Друзья, день релиза! Сегодня потихоньку выкатываем новую версию Гигачата. В API он уже доступен, также его можно попробовать в разделе Playground в консоли.
Про улучшения коллеги написали на Хабре. Из прикольного там, например, то, как у ребят получилось приручить DPO, финальный этап обучения, на котором мы пытаемся увеличить вероятность качественного ответа.
Персонажность тоже улучшили, как и вызов функций (появились множественные вызовы) и работу с кодом.
Стало ощутимо лучше, коллеги молодцы.
В обычный чат, думаю, тоже скоро доедет. Пока можете потыкать в API (ключик мой личный, там еще есть немного токенов) и в своем ЛК.
👉 Хабр | Playground | GitHub
Друзья, день релиза! Сегодня потихоньку выкатываем новую версию Гигачата. В API он уже доступен, также его можно попробовать в разделе Playground в консоли.
Про улучшения коллеги написали на Хабре. Из прикольного там, например, то, как у ребят получилось приручить DPO, финальный этап обучения, на котором мы пытаемся увеличить вероятность качественного ответа.
Персонажность тоже улучшили, как и вызов функций (появились множественные вызовы) и работу с кодом.
Стало ощутимо лучше, коллеги молодцы.
В обычный чат, думаю, тоже скоро доедет. Пока можете потыкать в API (ключик мой личный, там еще есть немного токенов) и в своем ЛК.
#pip install gigachat
from gigachat import GigaChat
from gigachat.models import Chat, Messages, MessagesRole
key = "NDFjYTQwOWYtYmRjZi00NzE0LTk3MTQtNWQyOWVjODBjYWU0OjU3YzhkMDgxLTgwZjMtNDQyYS05MWRjLTEyZjg0MzU4NTIyYg=="
payload = Chat(
messages=[Messages(
role=MessagesRole.SYSTEM,
content="Отвечай как пришелец с Венеры"
)],
temperature=0.8,
max_tokens=100,
)
with GigaChat(credentials=key, verify_ssl_certs=False, model="GigaChat-2-Max") as giga:
query = "Как у вас там дела?"
payload.messages.append(Messages(role=MessagesRole.USER, content=query))
response = giga.chat(payload)
print(response.choices[0].message.content)
👉 Хабр | Playground | GitHub
👍5
Forwarded from Гречневые мысли
Курс молодого ресёрчера
Меня в последнее время уж слишком часто спрашивают, чё почитать, чтобы вкатиться в нлп, а я каждый раз пересылаю целую батарею из ссылок, которую я создал год назад. Пришло время обновить ссылки, организовать их в аккуратненький пост и потом кидать уже его.
Ссылки для обучения базе:
- HF NLP Course — Платиновая база. Это надо прочитать, чтобы научиться делать свои минимальные штуки на уровне инженера. Курс больше прикладной, не теоретический, учит взаимодействию с transformers. Он постоянно обновляется и там появляются туториалы по next big thing — например, там уже есть глава про reasoning models.
- Плейлист с лекциями Карпатого и его же гитхаб — Ещё более платиновая и ещё более база. Я очень плохо воспринимаю лекции и обычно смотрю их на х2, но тут и очень понятные объяснения, и иллюстрации в виде питоновского кода в тетрадках, и скорость изложения ровно такая, какая надо. В описаниях к видео есть домашки, если чувствуете, что надо получше разобраться, делайте их :)
- Зоопарк трансформеров — Чуть устаревшая статья на хабре, где описываются разные модификации трансформеров. Для каждой архитектуры и модели кратко описаны ключевые изменения. Новых моделей за последние пару лет тут, к сожалению, нет, но чтобы понять как всё развивалось, этого будет достаточно.
- Attention is all you need — Самая главная статья из современного NLP. Стоит прочитать, осознать и запомнить, потому что по сути с тех пор языковые модели практически не менялись.
- NLP Course For You — Классический курс по базе NLP, есть много про дотрансформерные методы. Мне кажется, что он уже не так актуален, но ознакомиться всё равно стоит.
- NLP чат — Уютненький чятик, где обсуждают новости и задают вопросы. Ваш покорный слуга выступает там в роли бесплатной добровольной техподдержки.
Ссылки для "уже смешариков", чтобы читать новости и развиваться дальше
- LocalLLaMA — Самый популярный сабреддит про локальный инференс ллмок. Все новости обычно появляются там.
- HF Daily Papers — Рассылка свежих статей по DL. Очень советую подписаться по почте, чтобы утром просматривать заголовки и читать интересующее. Помогает очень сильно расширить кругозор.
- lmarena.ai — Тут можно потыкать разные модельки руками, сравнить их и посмотреть, как они отвечают. Удобно, если надо быстро сделать сбс или проверить какую-то гипотезу.
- openrouter.ai — Сайт, где можно использовать модели через апи. Очень дёшево (по сравнению с аналогами), очень удобно. Оплачивается криптой, иностранной картой или через платиру/ggsel.
- 5 Levels of Text Splitting и RAG Techniques — Всё, что вы хотели знать про RAG, других ссылок, по сути, не нужно. В первой разбираются, как правильно сплитить текст для базы знаний, во второй рассматривают все типичные архитектуры и трюки, связанные с рагом.
- MTEB — Рейтинг эмбеддеров. Чем выше, тем лучше. Не спрашивайте в нлп чате, что выбрать, если предварительно не посмотрели сюда!
- HF Cookbook — Список готовых советов и рецептов для решения прикладных задач. Есть и код, и описание задачи, оформлено в виде блогпостов.
- vLLM, llama.cpp, TGI, sglang, exllamav2, Infinity Embeddings, CTranslate2 — Движки для инференса. vLLM, TGI, exllamav2 и sglang для быстрого инференса декодеров на гпу, llama.cpp на цпу. Infinity Embeddings это движок для энкодеров, CTranslate2 для энкодер-декодеров.
Ссылки для совсем опытных Кар-Карычей
- Quantization Deep Dive — офигенный хабрапост от Яндекса, где расписывают математическую базу квантизации и про типы данных
- Ускорение LLM: универсальные методы для популярных архитектур — тоже офигенный хабрапост и тоже от Яндекса, где расписывают варианты ускорения инференса
- Статьи от Давида Дале на Хабре — все очень увлекательны и прекрасны. Мои любимые — про декодирование из эмбеддингов LaBSE, про прунинг токенизатора у mt5 и про дистилляцию берта.
- 100 questions about NLP — универсальный список вопросов для подготовки к собесам. Не на все вопросы есть ответы, но все вопросы хорошие.
Этот список, конечно же, неполный, но как база для вката работает на ура. Если есть что-то ещё полезного — кидайте в комменты.
Меня в последнее время уж слишком часто спрашивают, чё почитать, чтобы вкатиться в нлп, а я каждый раз пересылаю целую батарею из ссылок, которую я создал год назад. Пришло время обновить ссылки, организовать их в аккуратненький пост и потом кидать уже его.
Ссылки для обучения базе:
- HF NLP Course — Платиновая база. Это надо прочитать, чтобы научиться делать свои минимальные штуки на уровне инженера. Курс больше прикладной, не теоретический, учит взаимодействию с transformers. Он постоянно обновляется и там появляются туториалы по next big thing — например, там уже есть глава про reasoning models.
- Плейлист с лекциями Карпатого и его же гитхаб — Ещё более платиновая и ещё более база. Я очень плохо воспринимаю лекции и обычно смотрю их на х2, но тут и очень понятные объяснения, и иллюстрации в виде питоновского кода в тетрадках, и скорость изложения ровно такая, какая надо. В описаниях к видео есть домашки, если чувствуете, что надо получше разобраться, делайте их :)
- Зоопарк трансформеров — Чуть устаревшая статья на хабре, где описываются разные модификации трансформеров. Для каждой архитектуры и модели кратко описаны ключевые изменения. Новых моделей за последние пару лет тут, к сожалению, нет, но чтобы понять как всё развивалось, этого будет достаточно.
- Attention is all you need — Самая главная статья из современного NLP. Стоит прочитать, осознать и запомнить, потому что по сути с тех пор языковые модели практически не менялись.
- NLP Course For You — Классический курс по базе NLP, есть много про дотрансформерные методы. Мне кажется, что он уже не так актуален, но ознакомиться всё равно стоит.
- NLP чат — Уютненький чятик, где обсуждают новости и задают вопросы. Ваш покорный слуга выступает там в роли бесплатной добровольной техподдержки.
Ссылки для "уже смешариков", чтобы читать новости и развиваться дальше
- LocalLLaMA — Самый популярный сабреддит про локальный инференс ллмок. Все новости обычно появляются там.
- HF Daily Papers — Рассылка свежих статей по DL. Очень советую подписаться по почте, чтобы утром просматривать заголовки и читать интересующее. Помогает очень сильно расширить кругозор.
- lmarena.ai — Тут можно потыкать разные модельки руками, сравнить их и посмотреть, как они отвечают. Удобно, если надо быстро сделать сбс или проверить какую-то гипотезу.
- openrouter.ai — Сайт, где можно использовать модели через апи. Очень дёшево (по сравнению с аналогами), очень удобно. Оплачивается криптой, иностранной картой или через платиру/ggsel.
- 5 Levels of Text Splitting и RAG Techniques — Всё, что вы хотели знать про RAG, других ссылок, по сути, не нужно. В первой разбираются, как правильно сплитить текст для базы знаний, во второй рассматривают все типичные архитектуры и трюки, связанные с рагом.
- MTEB — Рейтинг эмбеддеров. Чем выше, тем лучше. Не спрашивайте в нлп чате, что выбрать, если предварительно не посмотрели сюда!
- HF Cookbook — Список готовых советов и рецептов для решения прикладных задач. Есть и код, и описание задачи, оформлено в виде блогпостов.
- vLLM, llama.cpp, TGI, sglang, exllamav2, Infinity Embeddings, CTranslate2 — Движки для инференса. vLLM, TGI, exllamav2 и sglang для быстрого инференса декодеров на гпу, llama.cpp на цпу. Infinity Embeddings это движок для энкодеров, CTranslate2 для энкодер-декодеров.
Ссылки для совсем опытных Кар-Карычей
- Quantization Deep Dive — офигенный хабрапост от Яндекса, где расписывают математическую базу квантизации и про типы данных
- Ускорение LLM: универсальные методы для популярных архитектур — тоже офигенный хабрапост и тоже от Яндекса, где расписывают варианты ускорения инференса
- Статьи от Давида Дале на Хабре — все очень увлекательны и прекрасны. Мои любимые — про декодирование из эмбеддингов LaBSE, про прунинг токенизатора у mt5 и про дистилляцию берта.
- 100 questions about NLP — универсальный список вопросов для подготовки к собесам. Не на все вопросы есть ответы, но все вопросы хорошие.
Этот список, конечно же, неполный, но как база для вката работает на ура. Если есть что-то ещё полезного — кидайте в комменты.
huggingface.co
Introduction - Hugging Face LLM Course
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
❤7
Forwarded from Neural Shit
Там гугол выкатил новую Gemini 2.5 Pro для бесплатных пользователей.
Из интересного: можно загрузить сразу папку с кодом, чтобы модель понимала весь контекст и структуру проекта.
Попробовать можно тут (естественно, нужен забугорный VPN)
Из интересного: можно загрузить сразу папку с кодом, чтобы модель понимала весь контекст и структуру проекта.
Попробовать можно тут (естественно, нужен забугорный VPN)
Forwarded from Machinelearning
🦙 Встречайте, дамы и господа, LLaMA 4: мультимодальные MoE модели!
Llama 4 Omni разработана для понимания и обработки информации модальностей, а не только текста.
Доступна в 3х вариантах: Llama 4 Scout и Llama 4 Maverick, Llama 4 Behemoth.
У Llama 4 Scout (109B) контекстное окно размером 10 М, 17B активных параметров, 16 экспертов, может быть запущена на 1ом GPU!
Llama 4 Maverick (400B) окно в 1M, 128 экспертов, 17B активных параметров.
У зверюги бегемота обещают окно в 2T!!! 16 экспертов, 288B активных параметров.
Сейчас выпущены только Scout и Maverick.
- Model Card
- Веса
- Релиз
@ai_machinelearning_big_data
Llama 4 Omni разработана для понимания и обработки информации модальностей, а не только текста.
Доступна в 3х вариантах: Llama 4 Scout и Llama 4 Maverick, Llama 4 Behemoth.
У Llama 4 Scout (109B) контекстное окно размером 10 М, 17B активных параметров, 16 экспертов, может быть запущена на 1ом GPU!
Llama 4 Maverick (400B) окно в 1M, 128 экспертов, 17B активных параметров.
У зверюги бегемота обещают окно в 2T!!! 16 экспертов, 288B активных параметров.
Сейчас выпущены только Scout и Maverick.
- Model Card
- Веса
- Релиз
@ai_machinelearning_big_data
❤3
Forwarded from Роман с данными
LLM моделей становится все больше и больше, разобраться в таком зоопарке становится все сложнее и сложнее.
Openrouter придумал интересный способ навести порядок - они проклассифицировали запросы своих клиентов по типам задач (programming, legal, finance и т.д) - и посмотрели в каких случаях какие модели используются.
Как говорится - все гениальное просто 🙃
Ознакомиться с инфографикой можно по ссылке https://openrouter.ai/rankings
Openrouter придумал интересный способ навести порядок - они проклассифицировали запросы своих клиентов по типам задач (programming, legal, finance и т.д) - и посмотрели в каких случаях какие модели используются.
Как говорится - все гениальное просто 🙃
Ознакомиться с инфографикой можно по ссылке https://openrouter.ai/rankings
❤2👍1
Forwarded from Data Secrets
Там Стэнфорд выложили на YouTube свой свежий курс CS336: Language Modeling from Scratch
Это практический курс, в котором вся теория по LLM подается в процессе разработки собственной модели. Получается изучение end-to-end: от обработки данных и архитектуры трансформера до RL и эвала.
Ведет курс опытный профессор университета и сооснователь TogetherAI Перси Лианг.
Ну и главное: курс новый и вся информация актуальна на сегодняшний день. Он даже в самом Стэнфорде еще идет прямо сейчас, так что лекции и код продолжат выкладывать по ходу.
Репозиторий с дз и ноутбуками
Сайт курса
YouTube
Это практический курс, в котором вся теория по LLM подается в процессе разработки собственной модели. Получается изучение end-to-end: от обработки данных и архитектуры трансформера до RL и эвала.
Ведет курс опытный профессор университета и сооснователь TogetherAI Перси Лианг.
Ну и главное: курс новый и вся информация актуальна на сегодняшний день. Он даже в самом Стэнфорде еще идет прямо сейчас, так что лекции и код продолжат выкладывать по ходу.
Репозиторий с дз и ноутбуками
Сайт курса
YouTube
🔥5
«Погружение в технологии: Мой опыт обучения ML на Stepik»
https://habr.com/ru/articles/904012/
https://habr.com/ru/articles/904012/
Хабр
«Погружение в технологии: Мой опыт обучения ML на Stepik»
В этой заметке я хотел бы поделиться опытом вхождения в тему машинного обучения, будучи далеко не студентом, но сохраняя интерес ко всему новому и перспективному. Много лет я работал в областях...
👍2
Как мы учили Алису видеть мир с помощью мультимодальной нейросети Яндекса
https://habr.com/ru/companies/yandex/articles/904584/
https://habr.com/ru/companies/yandex/articles/904584/
Хабр
Как мы учили Алису видеть мир с помощью мультимодальной нейросети Яндекса
Недавно пользователям приложения «Алиса» стал доступен Live-режим, который работает на базе мультимодальной нейросети (VLM), созданной в Яндексе. В этом режиме Алиса распознаёт объекты, показанные ей...
❤3
Forwarded from Tips AI | IT & AI
Media is too big
VIEW IN TELEGRAM
YouLearn — персональный ИИ-репетитор.
Это неплохой конкурент Notebooklm, но с акцентом на обучении.
Сервис превращает любой материал в учебный: делает саммари, отвечает на вопросы по содержанию, генерирует викторины для проверки знаний и флешкарты для закрепления материала.
Также есть голосовой режим и поддержка русского языка.
Можно закинуть файл, аудио, видео, ссылку на сайт, текст или Youtube-видео.
В бесплатном тарифе за всё отвечает Gemini 2.0 Flash, но есть и Claude 3.5 Sonnet, GPT-4o и DeepSeek V3, но за них уже придется заплатить $20/мес.
Работает довольно шустро даже в бесплатном тарифе, и вроде даже без лимитов. С часовым видео справился за пару минут.
• Ссылка [тут].
@tips_ai #tools
Это неплохой конкурент Notebooklm, но с акцентом на обучении.
Сервис превращает любой материал в учебный: делает саммари, отвечает на вопросы по содержанию, генерирует викторины для проверки знаний и флешкарты для закрепления материала.
Также есть голосовой режим и поддержка русского языка.
Можно закинуть файл, аудио, видео, ссылку на сайт, текст или Youtube-видео.
В бесплатном тарифе за всё отвечает Gemini 2.0 Flash, но есть и Claude 3.5 Sonnet, GPT-4o и DeepSeek V3, но за них уже придется заплатить $20/мес.
Работает довольно шустро даже в бесплатном тарифе, и вроде даже без лимитов. С часовым видео справился за пару минут.
• Ссылка [тут].
@tips_ai #tools
❤4
Forwarded from Pavel Zloi
🇷🇺 FRIDA теперь в GGUF и Ollama
Модель FRIDA от SberDevices - это мощный эмбеддер на базе T5, обученный для универсального представления текста в задачах вроде парафразирования, классификации и поиска.
Однако, из-за того что её токенизатор - Roberta, а веса - T5Encoder её было затруднительно конвертировать в GGUF, но мне таки удалось это сделать.
Поэтому теперь FRIDA доступна:
- на Hugging Face в формате GGUF
- в Ollama для локального инференса
Подробнее о самой модели можно почитать в публикации "Знакомьтесь, FRIDA. Открытая эмбеддинг-модель для русского языка" на Хабр и в посте на Телеграм-канале Александра Абрамова (@dealerAI).
Качаем так:
Пример запроса к Ollama:
Обратите внимание: на данный момент в Ollama (v0.7.0) возможны баги при обработке некоторых строк (например, длинные русские тексты с query/document), но с
PS. Подробную инструкцию о том как выполнять конвертацию выложу отдельно.
Модель FRIDA от SberDevices - это мощный эмбеддер на базе T5, обученный для универсального представления текста в задачах вроде парафразирования, классификации и поиска.
Однако, из-за того что её токенизатор - Roberta, а веса - T5Encoder её было затруднительно конвертировать в GGUF, но мне таки удалось это сделать.
Поэтому теперь FRIDA доступна:
- на Hugging Face в формате GGUF
- в Ollama для локального инференса
Подробнее о самой модели можно почитать в публикации "Знакомьтесь, FRIDA. Открытая эмбеддинг-модель для русского языка" на Хабр и в посте на Телеграм-канале Александра Абрамова (@dealerAI).
Качаем так:
ollama pull evilfreelancer/FRIDA
Пример запроса к Ollama:
curl http://localhost:11434/api/embed -d '{
"model": "evilfreelancer/FRIDA",
"input": "search_query: Где находится НИИ ЧАВО?"
}'Обратите внимание: на данный момент в Ollama (v0.7.0) возможны баги при обработке некоторых строк (например, длинные русские тексты с query/document), но с
llama-embedding модель работает стабильно.PS. Подробную инструкцию о том как выполнять конвертацию выложу отдельно.
huggingface.co
evilfreelancer/FRIDA-GGUF · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
❤5
Forwarded from эйай ньюз
Стенфордский курс по внутреннему устройству LLM
CS336, Language Modeling from Scratch, показывает, как сделать полноценную LLM с нуля: от сбора и очистки датасета до тренировки, профайлинга и развёртывания модели. Все конспекты, ноутбуки и код сразу публикуют в открытой репе, так что можно повторять эксперименты дома хоть на одной-двух карточках или в колабе.
Курс сделан с большим упором на практику — в качестве пяти домашних заданий предлагают имплементировать сначала чистый Transformer с нуля, затем кастомный FlashAttention 2 на Triton, распределённую тренировку, разобраться со scaling laws, фильтрацей датасета и применением RL в LLM. Требования — уверенный Python и PyTorch.
Лекции на ютубе
Материалы к лекциям
Сайт курса
@ai_newz
CS336, Language Modeling from Scratch, показывает, как сделать полноценную LLM с нуля: от сбора и очистки датасета до тренировки, профайлинга и развёртывания модели. Все конспекты, ноутбуки и код сразу публикуют в открытой репе, так что можно повторять эксперименты дома хоть на одной-двух карточках или в колабе.
Курс сделан с большим упором на практику — в качестве пяти домашних заданий предлагают имплементировать сначала чистый Transformer с нуля, затем кастомный FlashAttention 2 на Triton, распределённую тренировку, разобраться со scaling laws, фильтрацей датасета и применением RL в LLM. Требования — уверенный Python и PyTorch.
Лекции на ютубе
Материалы к лекциям
Сайт курса
@ai_newz
❤1👍1
Forwarded from Vikhr models
Выложили QVikhr-3-1.7B на основе Qwen-3-1.7B, лучшая в классе и обгоняет лучшие модели. Ризонинг прямо сейчас выключен, будет позже. Но и без него модель обходит стандартную модель с включенным ризонингом. А самое главное, можно запустить на CPU и не страдать от низкой скорости TPS (Token per second).
🔗 Карточка модели: https://huggingface.co/Vikhrmodels/QVikhr-3-1.7B-Instruction-noreasoning
🔗 GGUF (скоро): https://huggingface.co/Vikhrmodels/QVikhr-3-1.7B-Instruction-noreasoning-GGUF
⚖️ Лицензия: apache-2.0
👥 Авторы: @LakoMoorDev @nlpwanderer
🔗 Карточка модели: https://huggingface.co/Vikhrmodels/QVikhr-3-1.7B-Instruction-noreasoning
🔗 GGUF (скоро): https://huggingface.co/Vikhrmodels/QVikhr-3-1.7B-Instruction-noreasoning-GGUF
⚖️ Лицензия: apache-2.0
👥 Авторы: @LakoMoorDev @nlpwanderer
👍1
Forwarded from Всеволод Викулин | AI разбор
Какую модель применять в NLP.pdf
110.8 KB
Какую модель применять в NLP?
Написал гайд по выбору модели, который сильно упростит вам жизнь. Не только про LLM, но и про другие модели нейронных сетей.
Пользуйтесь, делитесь с друзьями, задавайте вопросы в комментариях.
Все вопросы разберем.
Написал гайд по выбору модели, который сильно упростит вам жизнь. Не только про LLM, но и про другие модели нейронных сетей.
Пользуйтесь, делитесь с друзьями, задавайте вопросы в комментариях.
Все вопросы разберем.
🔥2
Forwarded from Data Secrets
Новая лекция от Андрея Карпаты: «Разработка в эпоху ИИ»
На этой неделе в Сан-Франциско прошло крупное мероприятие AI Startup School от очень известного венчурного фонда Y Combinator.
На нем со своей свежей лекцией выступил легендарный Андрей Карпаты. Запись уже можно найти здесь. Внутри:
В общем, советуем посмотреть. Лекции Карпаты, как всегда, на высоте
На этой неделе в Сан-Франциско прошло крупное мероприятие AI Startup School от очень известного венчурного фонда Y Combinator.
На нем со своей свежей лекцией выступил легендарный Андрей Карпаты. Запись уже можно найти здесь. Внутри:
➖ Куда движется software разработка, и к чему мы придем через пару лет➖ Как выглядит вайб-кодинг здорового человека сегодня и что такое partial autonomy apps➖ Как будут работать операционные системы на основе LLM➖ В чем основные проблемы современных LLM и почему они на самом деле возникают➖ Чему обязательно нужно учиться современному программисту
В общем, советуем посмотреть. Лекции Карпаты, как всегда, на высоте
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1