Forwarded from Дата канальи — про «специалистов» в данных / ML / AI
Число постов в канале упало не просто так (о, великий султан, на то была тысяча причин).
И основная — нам с ребятами очень хотелось систематизировать наработки по мультиагентным системам (мы строим их уже полтора года) и поделиться этими знаниями с миром.
Мы запустили курс по ИИ-агентам, не супер большой, но, надеюсь, достаточно емкий.
Я расскажу (и покажу) базу — токенизация, LLM, SFT, PEFT, локальный инференс + RAG и как оценивать его качество.
Диана — как строят мультиагентные системы, какие есть паттерны проектирования и библиотеки.
Макс — про инференс в проде + разберет CoPilot, соберет с вами из кусочков свой копайлот, а затем его сломает через prompt injection. // Макс фанат autogen (а если нет -- он вас разубедит в своем классном канале)
Финальным аккордом Дима углубится в MCP и соберет несколько кейсов повзрослее. // Дима юзает qwen-agent
Надеюсь, мы смогли поймать баланс между обзорным курсом на 5 живых вебинаров, базой, практикой и способностью студента на выходе не просто собрать очередной прототип, а выстроить систему, которая в каждой точке оценивается и понятно как ее развивать, масштабировать, делать точнее.
Если вдруг кто захочет поучиться — есть промокод, datarascals
И основная — нам с ребятами очень хотелось систематизировать наработки по мультиагентным системам (мы строим их уже полтора года) и поделиться этими знаниями с миром.
Мы запустили курс по ИИ-агентам, не супер большой, но, надеюсь, достаточно емкий.
Я расскажу (и покажу) базу — токенизация, LLM, SFT, PEFT, локальный инференс + RAG и как оценивать его качество.
Диана — как строят мультиагентные системы, какие есть паттерны проектирования и библиотеки.
Макс — про инференс в проде + разберет CoPilot, соберет с вами из кусочков свой копайлот, а затем его сломает через prompt injection. // Макс фанат autogen (а если нет -- он вас разубедит в своем классном канале)
Финальным аккордом Дима углубится в MCP и соберет несколько кейсов повзрослее. // Дима юзает qwen-agent
Надеюсь, мы смогли поймать баланс между обзорным курсом на 5 живых вебинаров, базой, практикой и способностью студента на выходе не просто собрать очередной прототип, а выстроить систему, которая в каждой точке оценивается и понятно как ее развивать, масштабировать, делать точнее.
Если вдруг кто захочет поучиться — есть промокод, datarascals
proglib.academy
Курс| Разработка AI-агентов
Курс про контролируемую разработку AI-агентов: качество, стоимость, наблюдаемость и тестирование. С первого занятия — практическая работа.
👍3
Forwarded from Data Secrets
This media is not supported in your browser
VIEW IN TELEGRAM
Вау: Google выпустили опенсорсного агента Gemini CLI для использования ИИ прямо из терминала
Из командной строки можно будет пользоваться всеми возможностями Gemini 2.5 Pro: поиск в Интернете, обработка любых файлов, автоматизация рабочих процессов (типа отправки PR), написание кода и прочее и прочее. Контекст – 1 миллион токенов, так что вместится большинство даже самых больших проектов.
При желании можно прикрутить любой MCP. Например, генерировать прямо из терминала картинки или видео, привязать Notion/Jira или что-то еще.
Ну и самое главное – это лимиты. Абсолютно бесплатно доступно 60 запросов в минуту и 1000 в день. Приятно 🍯
github.com/google-gemini/gemini-cli
Из командной строки можно будет пользоваться всеми возможностями Gemini 2.5 Pro: поиск в Интернете, обработка любых файлов, автоматизация рабочих процессов (типа отправки PR), написание кода и прочее и прочее. Контекст – 1 миллион токенов, так что вместится большинство даже самых больших проектов.
При желании можно прикрутить любой MCP. Например, генерировать прямо из терминала картинки или видео, привязать Notion/Jira или что-то еще.
Ну и самое главное – это лимиты. Абсолютно бесплатно доступно 60 запросов в минуту и 1000 в день. Приятно 🍯
github.com/google-gemini/gemini-cli
❤4
Forwarded from Data Science by ODS.ai 🦜
в сообществе ODS начинается новый проект - Дата-капитаны, его делают Валентин Малых и Дмитрий Колодезев; в рамках этого проекта запланировано обсуждение свежих новостей про ИИ в режиме подкаста под условным названием "Капитанский мостик"
первый подкаст будет выпущен в воскресенье, до пятницы можно присылать новости и статьи для обсуждения в канал data_captain в Mattermost (если еще не заходили, авторизуйтесь через ODS)
первый подкаст будет выпущен в воскресенье, до пятницы можно присылать новости и статьи для обсуждения в канал data_captain в Mattermost (если еще не заходили, авторизуйтесь через ODS)
👍1😁1
Forwarded from ODS Events
Всем привет!
Представляем вашему внимаю первый выпуск подкаста "Капитанский мостик", он посвящен важным новостям прошедшей недели; ведущие - Валентин Малых и Дмитрий Колодезев; видео тут:
VK Video
YouTube
Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизируйтесь через ODS.ai)
Представляем вашему внимаю первый выпуск подкаста "Капитанский мостик", он посвящен важным новостям прошедшей недели; ведущие - Валентин Малых и Дмитрий Колодезев; видео тут:
VK Video
YouTube
Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизируйтесь через ODS.ai)
👍4
Forwarded from Data Secrets
О, новый релиз от Андрея Карпаты
Сразу ссылка: github.com/karpathy/nanochat
nanochat – это что-то типа продолжения легендарного nanoGPT. Но если nanoGPT – это, по сути, только предобучение, то здесь у нас полностью готовый конвейер для обучения и инференса целого мини-клона ChatGPT.
В лучших традициях кода Карпаты – совсем немного строк (всего 8к) и минимальное количество зависимостей. Вы просто открываете проект на любом облачном GPU-сервере, запускаете один скрипт, и уже через 4 часа можете общаться с LLM-кой в собственном ChatGPT.
В пересчете на аренду GPU это будет стоить примерно 100 долларов. Если готовы потратить больше, то можно масштабировать и получать лучшие результаты.
Технические детали о том, что просходит внутри проекта, можно почитать здесь.
Огонь же?
Это один из самых безумных репозиториев, которые я когда-либо писал
Сразу ссылка: github.com/karpathy/nanochat
nanochat – это что-то типа продолжения легендарного nanoGPT. Но если nanoGPT – это, по сути, только предобучение, то здесь у нас полностью готовый конвейер для обучения и инференса целого мини-клона ChatGPT.
В лучших традициях кода Карпаты – совсем немного строк (всего 8к) и минимальное количество зависимостей. Вы просто открываете проект на любом облачном GPU-сервере, запускаете один скрипт, и уже через 4 часа можете общаться с LLM-кой в собственном ChatGPT.
В пересчете на аренду GPU это будет стоить примерно 100 долларов. Если готовы потратить больше, то можно масштабировать и получать лучшие результаты.
Моя цель – собрать весь «сильный базовый» стек в один связный, минималистичный, читаемый и максимально форкаемый репозиторий. nanochat станет итоговым проектом LLM101n <мы об этом курсе писали тут>. Думаю, у него также есть потенциал стать исследовательским инструментом или бенчмарком, подобным ранее существовавшему nanoGPT.
Технические детали о том, что просходит внутри проекта, можно почитать здесь.
Огонь же?
🔥3❤1
Forwarded from Data Secrets
HuggingFace релизнули замечательную свежую книгу про обучение LLM
200+ страниц, 7 больших глав. Содержание примерно следующее:
– Архитектуры, их особенности и оптимизация гиперпараметров
– Работа с данными
– Предобучение и какие в нем есть подводные камни
– Пост-трейнинг: все современные подходы и как их применять
– Инфраструктура, как ее правильно строить и оптимизировать
По сути, это готовое хардовое пособие по тому, как с нуля обучить и захостить LLM.
Написано все на довольно простом английском и читается легко + есть куча схем и примеров. В общем, выглядит годно.
huggingface.co/spaces/HuggingFaceTB/smol-training-playbook
200+ страниц, 7 больших глав. Содержание примерно следующее:
– Архитектуры, их особенности и оптимизация гиперпараметров
– Работа с данными
– Предобучение и какие в нем есть подводные камни
– Пост-трейнинг: все современные подходы и как их применять
– Инфраструктура, как ее правильно строить и оптимизировать
По сути, это готовое хардовое пособие по тому, как с нуля обучить и захостить LLM.
Написано все на довольно простом английском и читается легко + есть куча схем и примеров. В общем, выглядит годно.
huggingface.co/spaces/HuggingFaceTB/smol-training-playbook
👍6
Forwarded from КПД
На этой неделе ребята из команды YandexGPT совместно c ШАДом (Школа анализа данных) провели интенсив по работе с LLM, где были затронуты вопросы обучения, инференса, и коммуникаций.
Материал довольно подробный и интересный, но требует определенной базы для вхождения.
В общем, рекомендую к просмотру всем интересующимся и желающим освежить знания.
Лекция 1: https://youtube.com/live/JMUWSdSD1Uk
Лекция 2: https://youtube.com/live/IAeAKcdMtsw
Лекция 3: https://youtube.com/live/BYiFv5PoMBw
Лекция 3.1: https://youtube.com/live/-52RgKQENl0
Лекция 4: https://youtube.com/live/VXI41kyQTPs
Лекция 5: https://youtube.com/live/AHMJICS2JQ0
Лекция 5.1: https://www.youtube.com/live/3v43mnx31OQ
Материал довольно подробный и интересный, но требует определенной базы для вхождения.
В общем, рекомендую к просмотру всем интересующимся и желающим освежить знания.
Лекция 1: https://youtube.com/live/JMUWSdSD1Uk
Лекция 2: https://youtube.com/live/IAeAKcdMtsw
Лекция 3: https://youtube.com/live/BYiFv5PoMBw
Лекция 3.1: https://youtube.com/live/-52RgKQENl0
Лекция 4: https://youtube.com/live/VXI41kyQTPs
Лекция 5: https://youtube.com/live/AHMJICS2JQ0
Лекция 5.1: https://www.youtube.com/live/3v43mnx31OQ
YouTube
LLM Scaling Week 2025 | Лекция 1. Арифметика глубокого обучения
Спикер: Михаил Хрущев, руководитель группы претрейна YandexGPT.
На лекции поговорим про эффективное обучение больших DL-моделей. Мы ответим на вопросы:
- Что мешает загрузить GPU в кластере на 100%?
- Как устроена логистика данных внутри GPU, хоста и кластера?…
На лекции поговорим про эффективное обучение больших DL-моделей. Мы ответим на вопросы:
- Что мешает загрузить GPU в кластере на 100%?
- Как устроена логистика данных внутри GPU, хоста и кластера?…
🔥6
Forwarded from Институт AIRI
Институт AIRI презентовал Maestro на AIJ 🔖
Maestro — фреймворк для создания интеллектуальных ИИ-агентов, которые мыслят и работают как настоящие эксперты. Он строит цепочки рассуждений на основе реальных кейсов и разбивает сложные задачи на мини-агентов, каждый из которых отвечает за свой навык.
Платформа обеспечивает полный технологический стандарт: от авторизации и хранения контекста до оркестрации агентов и модерации контента с защитой от jailbreak-атак. Maestro подходит для критически важных сфер, где важна точность и безопасность. Качество подтверждено тестами и реальным внедрением в СберЗдоровье, СберМедИИ и ЦРТ Сбера.
Страница фреймворка | Forbes
Maestro — фреймворк для создания интеллектуальных ИИ-агентов, которые мыслят и работают как настоящие эксперты. Он строит цепочки рассуждений на основе реальных кейсов и разбивает сложные задачи на мини-агентов, каждый из которых отвечает за свой навык.
Платформа обеспечивает полный технологический стандарт: от авторизации и хранения контекста до оркестрации агентов и модерации контента с защитой от jailbreak-атак. Maestro подходит для критически важных сфер, где важна точность и безопасность. Качество подтверждено тестами и реальным внедрением в СберЗдоровье, СберМедИИ и ЦРТ Сбера.
Страница фреймворка | Forbes
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1👎1
Forwarded from Math cool. Олимпиадная математика
Бесплатные курсы по ИИ
В преддверии нашего зимнего выезда по ИИ-направлению поделимся бесплатными курсами, которые могут помочь войти в курс дела:)
1️⃣ База – подойдет для тех, кто только знакомится с ИИ
➡️ Основы статистики https://stepik.org/course/76/
➡️ Курс по машинному обучению. Проект «ИИ Старт» https://stepik.org/course/125587/
➡️ Курс по машинному обучению «ИИ Старт» — продвинутый уровень https://stepik.org/course/134942/
➡️ ML курс Соколова – отличный курс для того, чтобы усвоить классический ML https://github.com/esokolov/ml-course-hse
➡️ Сириус. Курсы https://edu.sirius.online/ai-navigator/
2️⃣ DLS – подойдет для тех, кто уже имеет более продвинутый уровень
Есть возможность выбрать курс по интересам: Classic ML, Computer Vision, Natural Language Processing, Audio
https://dls.samcs.ru/
В придачу прикладываем вам ссылку на статью, где вы сможете найти 10 курсов от Google по ИИ. Но чтобы открыть её - потребуется впн.
Интересно изучать ИИ и хотели бы это делать этому приобрести и практический и теоретический опыт?
Приезжайте в нашу зимнюю школу на 👉ИИ-направление:)
В преддверии нашего зимнего выезда по ИИ-направлению поделимся бесплатными курсами, которые могут помочь войти в курс дела:)
Есть возможность выбрать курс по интересам: Classic ML, Computer Vision, Natural Language Processing, Audio
https://dls.samcs.ru/
Интересно изучать ИИ и хотели бы это делать этому приобрести и практический и теоретический опыт?
Приезжайте в нашу зимнюю школу на 👉ИИ-направление:)
Please open Telegram to view this post
VIEW IN TELEGRAM
Stepik: online education
Основы статистики
Курс знакомит слушателей с основными понятиями и методами математической статистики. В течение трех недель мы рассмотрим наиболее широко используемые статистические методы и принципы, стоящие за ними. Полученных знаний будет достаточно для решения широкого…
👍1
Forwarded from Neural Kovalskii
Лучшие практики и подходы для RAG
(буду наполнять)
Очередной раз спросили в чате канала что почитать про RAG (https://news.1rj.ru/str/neuraldeepchat)
Соберем тут все лучшее присылайте и ваши статьи и разборы
Тут материалы предыдущих ответов
1) https://news.1rj.ru/str/neuraldeepchat/3176
2) https://news.1rj.ru/str/neuraldeepchat/2953
1) Чанкование (sliding window) можно подглядеть концепты от langchain
2) Векторные бд от pgvector до qdrant можно начать с chroma (IVF_Flat или HNSW)
3) Векторные модели для ру
ai-sage/Giga-Embeddings-instruct
ai-forever/FRIDA
BAAI/bge-m3
intfloat/multilingual-e5-large
Qwen3-Embedding-8B
4) Реранкер после чанков векторный отсортировать еще раз
BAAI/bge-reranker-v2-m3
Qwen3-Reranker-8B
5) LLM (база qwen-2.5-7b-instruct)
RefalMachine/RuadaptQwen2.5-14B-Instruct
t-tech/T-lite-it-1.0
t-tech/T-pro-it-2.0
Agentic RAG(Qwen3-30B-A3B-Instruct-2507)
РЕПО(https://github.com/vamplabAI/sgr-agent-core/tree/tool-confluence)
Хорошо описанные подходы от Богдана
https://news.1rj.ru/str/bogdanisssimo/2047
Лучшее решение РАГ по документации от Ильи(@IlyaRice) которое выиграло первое место на ERC2
https://github.com/IlyaRice/RAG-Challenge-2/tree/main
Пару готовых фрейворков
https://github.com/langgenius/dify/
https://github.com/Marker-Inc-Korea/AutoRAG
Кейс red_mad_robot по RAG (DCD) для строительной компании (t-lite)
https://habr.com/ru/companies/redmadrobot/articles/892882/
#RAG
#best_rag_practice
Сохраняй в избранное чтобы не потерять
(буду наполнять)
Очередной раз спросили в чате канала что почитать про RAG (https://news.1rj.ru/str/neuraldeepchat)
Соберем тут все лучшее присылайте и ваши статьи и разборы
Тут материалы предыдущих ответов
1) https://news.1rj.ru/str/neuraldeepchat/3176
2) https://news.1rj.ru/str/neuraldeepchat/2953
1) Чанкование (sliding window) можно подглядеть концепты от langchain
2) Векторные бд от pgvector до qdrant можно начать с chroma (IVF_Flat или HNSW)
3) Векторные модели для ру
ai-sage/Giga-Embeddings-instruct
ai-forever/FRIDA
BAAI/bge-m3
intfloat/multilingual-e5-large
Qwen3-Embedding-8B
4) Реранкер после чанков векторный отсортировать еще раз
BAAI/bge-reranker-v2-m3
Qwen3-Reranker-8B
5) LLM (база qwen-2.5-7b-instruct)
RefalMachine/RuadaptQwen2.5-14B-Instruct
t-tech/T-lite-it-1.0
t-tech/T-pro-it-2.0
Agentic RAG(Qwen3-30B-A3B-Instruct-2507)
РЕПО(https://github.com/vamplabAI/sgr-agent-core/tree/tool-confluence)
Хорошо описанные подходы от Богдана
https://news.1rj.ru/str/bogdanisssimo/2047
Лучшее решение РАГ по документации от Ильи(@IlyaRice) которое выиграло первое место на ERC2
https://github.com/IlyaRice/RAG-Challenge-2/tree/main
Пару готовых фрейворков
https://github.com/langgenius/dify/
https://github.com/Marker-Inc-Korea/AutoRAG
Кейс red_mad_robot по RAG (DCD) для строительной компании (t-lite)
https://habr.com/ru/companies/redmadrobot/articles/892882/
#RAG
#best_rag_practice
Сохраняй в избранное чтобы не потерять
Telegram
Чат Kovalskii Варианты?
Ask about ALL
Чат канала @neuraldeep
Kovalskii на все ответит!
Никакой политики
Мат, первое предупреждение, потом бан
Уважайте друг друга
Реклама/Вакансии/Рефы через @VaKovaLskii или @mixaill76
Чат канала @neuraldeep
Kovalskii на все ответит!
Никакой политики
Мат, первое предупреждение, потом бан
Уважайте друг друга
Реклама/Вакансии/Рефы через @VaKovaLskii или @mixaill76
Forwarded from Борис опять
Очень хороший практический гайд по всем трюкам, велосипедам и костылям для построения RAG систем:
https://habr.com/ru/articles/893356/
В продакшне часть из описанного можно упростить (с точки зрения реализации) подключив любимый агентский фреймворк, но суть особо не меняется
https://habr.com/ru/articles/893356/
В продакшне часть из описанного можно упростить (с точки зрения реализации) подключив любимый агентский фреймворк, но суть особо не меняется
Хабр
Как я победил в RAG Challenge: от нуля до SoTA за один конкурс
Автор - DarkBones Предисловие В этом посте я расскажу про подход, благодаря которому я занял первое место в обеих призовых номинациях и в общем SotA рейтинге. В чём суть RAG Challenge? Нужно создать...
👍1
Forwarded from max.sh
Когда-то давно, во времена учебы в ШАДе, нам читали интенсив по основам архитектуры GPU и разработки на CUDA. Обещали рассказать, как устроены видеокарты и почему они эффективны для машинного обучения. Я тогда дальше
Лекции читали разработчики из Nvidia. Да, это было такое время, когда у компании был Московский офис и они периодически нанимали DL-инженеров, а иногда и стажеров (марафон технических раундов и глубоких вопросов на понимание, чтобы побороться за 2 стажерские позиции).
Курс, по моему мнению, получился ужасным. Материал стремительно усложнялся без какой-либо оглядки на аудиторию и тот факт, что ко второй лекции половина слушателей уже отвалилась. Я потерял суть происходящего уже минуте на 20-30 первой лекции, в момент когда термины вида SM, warp schedulers, cuda cores заполняли каждый слайд, а повествование превратилось во внутренний митап для инженеров Nvidia.
Худо-бедно интенсив я закрыл, решая задачи методом проб и ошибок. От курса в голове не осталось почти ничего. Разве что боязнь копаться в деталях работы с GPU.
Позже, уже в 2022-2023 году, модели перестали влазить в память одной ГПУ и нужно было учиться паралелить, оценивать эффективность инфраструктуры в поисках ответа на вопрос: а почему все так медленно? are we compute bound or communication bound? Снова я столкнулся с GPU акселераторами лицом к лицу. Документации от Nvidia было не очень много, так что неподготовленному читателю входить было не просто. Но дело двигалось тем же путем проб и ошибок и общением с коллегами по работе.
А хороших гайдов на понимание все еще не было. Мне кажется их и сейчас не очень много. ( Как и специалистов в этой области. Performance Engineer крайне актуальная роль в области DL на ближайшие годы)
Недавно наткнулся на "книгу" от ребят из DeepMind, они проделали невероятную методологическую работу. И выпустили онлайн-учебник How to Scale Your Model. Центральный предмет книги о том, как учить трансформеры на больших кластерах, арифметику моделей (откуда набегает так много гигабайтов памяти, чтобы сделать один forward pass) и что такое TPU/GPU. К каждой главе идет еще набор квизов, чтобы посчитать что-нибудь руками.
Крайне Рекомендую!
https://jax-ml.github.io/scaling-book/
model.to('cuda:0') в этом вопросе ничего не знал, поэтому с интересом записался.Лекции читали разработчики из Nvidia. Да, это было такое время, когда у компании был Московский офис и они периодически нанимали DL-инженеров, а иногда и стажеров (марафон технических раундов и глубоких вопросов на понимание, чтобы побороться за 2 стажерские позиции).
Курс, по моему мнению, получился ужасным. Материал стремительно усложнялся без какой-либо оглядки на аудиторию и тот факт, что ко второй лекции половина слушателей уже отвалилась. Я потерял суть происходящего уже минуте на 20-30 первой лекции, в момент когда термины вида SM, warp schedulers, cuda cores заполняли каждый слайд, а повествование превратилось во внутренний митап для инженеров Nvidia.
Худо-бедно интенсив я закрыл, решая задачи методом проб и ошибок. От курса в голове не осталось почти ничего. Разве что боязнь копаться в деталях работы с GPU.
Позже, уже в 2022-2023 году, модели перестали влазить в память одной ГПУ и нужно было учиться паралелить, оценивать эффективность инфраструктуры в поисках ответа на вопрос: а почему все так медленно? are we compute bound or communication bound? Снова я столкнулся с GPU акселераторами лицом к лицу. Документации от Nvidia было не очень много, так что неподготовленному читателю входить было не просто. Но дело двигалось тем же путем проб и ошибок и общением с коллегами по работе.
А хороших гайдов на понимание все еще не было. Мне кажется их и сейчас не очень много. ( Как и специалистов в этой области. Performance Engineer крайне актуальная роль в области DL на ближайшие годы)
Недавно наткнулся на "книгу" от ребят из DeepMind, они проделали невероятную методологическую работу. И выпустили онлайн-учебник How to Scale Your Model. Центральный предмет книги о том, как учить трансформеры на больших кластерах, арифметику моделей (откуда набегает так много гигабайтов памяти, чтобы сделать один forward pass) и что такое TPU/GPU. К каждой главе идет еще набор квизов, чтобы посчитать что-нибудь руками.
Крайне Рекомендую!
https://jax-ml.github.io/scaling-book/
jax-ml.github.io
How To Scale Your Model
Training LLMs often feels like alchemy, but understanding and optimizing the performance of your models doesn't have to. This book aims to demystify the science of scaling language models: how TPUs (and GPUs) work and how they communicate with each other…
👍6🔥3