ERC3-DEV
И так я взял 100% качества на своих подходах
Давайте сравним DEV со STORE (agentic commerce бенчмарку по затратам и сложности)
erc3-dev
Здесь развернута демо-среда компании "Aetherion Analytics GmbH" с определенным набором API (например, по сотрудникам, проектам и внутренней вики), моделирующих типичные процессы в корпоративной ИТ-системе
1) Сложность около 7/10 (есть хэши/задания меняются на лету при получении таски изменнеия в параметрах), усложняет простой перебор
2) Задания стали сложнее когнитивно при этом требуют менше перебора апишек по этому 6/10 но подождем офф старта там будут цепочки длинее (а значит надо будет умело работать с контекстом)
Полученный опыт за 2 недели теста нашего с вами фреймворка 100/10
В голове теперь идей на целый год по улучшению фрейворка и адаптивности
Затраченное время примерно 3 часа имея опыт в STORE для адаптации под новое АПИ
Нашел багу сразу зарепортил Ринату!
gpt-4.1 ~ $70
Cursor(Sonnet 4.5) ~ $56
Cпасибо Ринату за такой опыт!
И так я взял 100% качества на своих подходах
Давайте сравним DEV со STORE (agentic commerce бенчмарку по затратам и сложности)
erc3-dev
Здесь развернута демо-среда компании "Aetherion Analytics GmbH" с определенным набором API (например, по сотрудникам, проектам и внутренней вики), моделирующих типичные процессы в корпоративной ИТ-системе
1) Сложность около 7/10 (есть хэши/задания меняются на лету при получении таски изменнеия в параметрах), усложняет простой перебор
2) Задания стали сложнее когнитивно при этом требуют менше перебора апишек по этому 6/10 но подождем офф старта там будут цепочки длинее (а значит надо будет умело работать с контекстом)
Полученный опыт за 2 недели теста нашего с вами фреймворка 100/10
В голове теперь идей на целый год по улучшению фрейворка и адаптивности
Затраченное время примерно 3 часа имея опыт в STORE для адаптации под новое АПИ
Нашел багу сразу зарепортил Ринату!
gpt-4.1 ~ $70
Cursor(Sonnet 4.5) ~ $56
Cпасибо Ринату за такой опыт!
🔥31👍16👏8❤2
Дошел до конфы, выступаю по теме Agentic RAG
Ссылка на трансляцию https://jazz.sberbank.ru/sber-ijucll?type=webinar&role=VIEWER&psw=OEEWHQtXBAIHURELVEMTEQhbDA
Скоро не буду влезать в кадр😅
Ссылка на трансляцию https://jazz.sberbank.ru/sber-ijucll?type=webinar&role=VIEWER&psw=OEEWHQtXBAIHURELVEMTEQhbDA
Скоро не буду влезать в кадр
Please open Telegram to view this post
VIEW IN TELEGRAM
5🔥50😁6👏3
Codewiki google
Смотрите что нашёл
Наконец репо sgr-agent-core проиндексировали!
https://codewiki.google/github.com/vamplabai/sgr-agent-core
Наконец то есть документация
Смотрите что нашёл
Наконец репо sgr-agent-core проиндексировали!
https://codewiki.google/github.com/vamplabai/sgr-agent-core
Наконец то есть документация
🔥36👍6❤1
Neural Kovalskii
Всем привет! OpenAI снова меняет правила игры: вышла GPT- (∞) Turbo MAX (AGI Reality) Пока мы спали реальность выкатила то чего ждал весь рынок а именно обновление физики и экономики без багов Что произошло? Теперь твой код в Курсоре пишет сам себя пока…
Kovalskii Stream
Мы посмеялись над бесконечной гонкой и успешным успехом
Но сатира это лишь защитная реакция психики на перегруз
А настоящий ответ этому хаосу это создание собственной точки опоры (ну и сказанул конечно)
Попробуем с вами создать инструмент который вернет нам контроль над потоком информации
Я решил перейти от философии к инженерии
И сделать то что давно откладывал
Мы соберем собственного AI-агента который станет расширением нашей памяти
Он будет жить там где мы проводим большую часть времени в телеграме
Но его мозги будут работать по принципам Obsidian создавая базу знаний с перекрестными ссылками и выделением сущностей
В этот вторник мы проведем практический стрим
Никаких слайдов и теории об AGI
Только код архитектура и сборка своими руками
Мы научим агента слышать нас через Whisper
Работать с документами чтобы не читать их глазами
И сделаем это на gpt-4.1-mini чтобы это было доступно каждому
Это моя попытка выйти из крысиных бегов
И начать строить свою личную систему эффективности (опять?)
Приходите смотреть как я буду строить своего цифрового двойника
Весь код будет в гитхаб
Вторник 2 декабря
18:00 – 21:00
Добавляйте в календарь чтобы не пропустить
Включайте уведомления из тг
https://calendar.google.com/calendar/u/0/r/eventedit/copy/NXQwcHA5aWNsYmkxdmZzdjU1bGxrYjg5cHQgdmFsZXJvbmRlc3RvZXJAbQ/dmFsZXJvbmRlc3RvZXJAZ21haWwuY29t
Мы посмеялись над бесконечной гонкой и успешным успехом
Но сатира это лишь защитная реакция психики на перегруз
А настоящий ответ этому хаосу это создание собственной точки опоры (ну и сказанул конечно)
Попробуем с вами создать инструмент который вернет нам контроль над потоком информации
Я решил перейти от философии к инженерии
И сделать то что давно откладывал
Мы соберем собственного AI-агента который станет расширением нашей памяти
Он будет жить там где мы проводим большую часть времени в телеграме
Но его мозги будут работать по принципам Obsidian создавая базу знаний с перекрестными ссылками и выделением сущностей
В этот вторник мы проведем практический стрим
Никаких слайдов и теории об AGI
Только код архитектура и сборка своими руками
Мы научим агента слышать нас через Whisper
Работать с документами чтобы не читать их глазами
И сделаем это на gpt-4.1-mini чтобы это было доступно каждому
Это моя попытка выйти из крысиных бегов
И начать строить свою личную систему эффективности (опять?)
Приходите смотреть как я буду строить своего цифрового двойника
Весь код будет в гитхаб
Вторник 2 декабря
18:00 – 21:00
Добавляйте в календарь чтобы не пропустить
Включайте уведомления из тг
https://calendar.google.com/calendar/u/0/r/eventedit/copy/NXQwcHA5aWNsYmkxdmZzdjU1bGxrYjg5cHQgdmFsZXJvbmRlc3RvZXJAbQ/dmFsZXJvbmRlc3RvZXJAZ21haWwuY29t
Google Workspace
Google Calendar - Easier Time Management, Appointments & Scheduling
Learn how Google Calendar helps you stay on top of your plans - at home, at work and everywhere in between.
5🔥81❤13 9
Лучшие практики и подходы для RAG
Сборка от нашего сообщества @neuraldeep
(Пост все еще наполняется…)
Очередной раз спросили в чате канала что почитать про RAG (https://news.1rj.ru/str/neuraldeepchat)
Соберем тут все лучшее, присылайте ваши статьи и разборы
Ссылки на предыдущие запросы и разборы
1. https://news.1rj.ru/str/neuraldeepchat/3176
2. Стрим про RAG от меня https://news.1rj.ru/str/neuraldeep/1124
Best RAG Practices
https://arxiv.org/abs/2407.01219
0) ETL
DATA>LLM (подготовить данные для RAG)
https://github.com/microsoft/markitdown
https://github.com/datalab-to/marker
https://github.com/docling-project/docling
1) Чанкование (sliding window) можно подглядеть концепты от langchain
https://github.com/langchain-ai/langchain/tree/master/libs/text-splitters
Tired of making your gazillionth chunker? Sick of the overhead of large libraries? Want to chunk your texts quickly and efficiently? Chonkie the mighty hippo is here to help!
https://github.com/chonkie-inc/chonkie
Статья
https://habr.com/ru/companies/raft/articles/954158/
2) Векторные бд от pgvector до qdrant можно начать с chroma (IVF_Flat или HNSW)
3) Векторные модели для ру
ai-forever/FRIDA
BAAI/bge-m3
intfloat/multilingual-e5-large
Qwen3-Embedding-8B
4) Реранкер после KNN сделать доп ранжирование
BAAI/bge-reranker-v2-m3
Qwen3-Reranker-8B
5) LLM + vLMM (база qwen-2.5-7b-instruct)
RefalMachine/RuadaptQwen2.5-14B-Instruct
По моему мнению лучшие модели для ру сегмента по соотношению (цена/качество/размер)
t-tech/T-lite-it-1.0
t-tech/T-pro-it-2.0
Релизы анонсы, Head of AI Витя Тарнавский(https://news.1rj.ru/str/singularityfm)
Затраты на разработку(https://news.1rj.ru/str/singularityfm/298)
6) Agentic RAG(Qwen3-30B-A3B-Instruct-2507)
РЕПО(https://github.com/vamplabAI/sgr-agent-core/tree/tool-confluence)
7) Eval
RAGAS
https://docs.ragas.io/en/stable/
ARES
https://github.com/stanford-futuredata/ARES
8) Security (собрал @artembakradze)
NVIDIA NeMo Guardrails (помогает удержать бота в рамках темы, даже если его пытаются сломать)
Lakera / Rebuff (детекторы инъекций - хорошо работают, если прогонять через них не только вопрос юзера, но и сами чанки документов перед отправкой в LLM)
Garak (сканер уязвимостей)
Дополнительные материалы
Презентация от Дяди
Построение RAG систем от исследований до индустрии
Создатель ERC (Rinat Abdullin https://news.1rj.ru/str/llm_under_hood)
https://abdullin.com/erc/ (Тут вы найдете кучу кейсов)
Хорошо описанные подходы от Богдана
https://news.1rj.ru/str/bogdanisssimo/2047
Лучшее решение РАГ по документации от Ильи(@IlyaRice) которое выиграло первое место на ERC2
https://github.com/IlyaRice/RAG-Challenge-2/tree/main
Статья
https://habr.com/ru/articles/893356/
Готовые фреймворки одобренные нашим сообществом
https://github.com/langgenius/dify/
https://github.com/Marker-Inc-Korea/AutoRAG
https://github.com/run-llama/llama_index
https://github.com/mastra-ai/mastra
Кейс red_mad_robot по RAG (DCD) для строительной компании (t-lite)
https://habr.com/ru/companies/redmadrobot/articles/892882/
Серия про file first от Рефата
https://news.1rj.ru/str/nobilix/182
Классика (Запись эфира по RAGу без эмбеддингов)
https://news.1rj.ru/str/oestick/397
#RAG
#best_rag_practice
Сохраняй в избранное чтобы не потерять
Сборка от нашего сообщества @neuraldeep
(Пост все еще наполняется…)
Очередной раз спросили в чате канала что почитать про RAG (https://news.1rj.ru/str/neuraldeepchat)
Соберем тут все лучшее, присылайте ваши статьи и разборы
Ссылки на предыдущие запросы и разборы
1. https://news.1rj.ru/str/neuraldeepchat/3176
2. Стрим про RAG от меня https://news.1rj.ru/str/neuraldeep/1124
Best RAG Practices
https://arxiv.org/abs/2407.01219
0) ETL
DATA>LLM (подготовить данные для RAG)
https://github.com/microsoft/markitdown
https://github.com/datalab-to/marker
https://github.com/docling-project/docling
1) Чанкование (sliding window) можно подглядеть концепты от langchain
https://github.com/langchain-ai/langchain/tree/master/libs/text-splitters
Tired of making your gazillionth chunker? Sick of the overhead of large libraries? Want to chunk your texts quickly and efficiently? Chonkie the mighty hippo is here to help!
https://github.com/chonkie-inc/chonkie
Статья
https://habr.com/ru/companies/raft/articles/954158/
2) Векторные бд от pgvector до qdrant можно начать с chroma (IVF_Flat или HNSW)
3) Векторные модели для ру
ai-forever/FRIDA
BAAI/bge-m3
intfloat/multilingual-e5-large
Qwen3-Embedding-8B
4) Реранкер после KNN сделать доп ранжирование
BAAI/bge-reranker-v2-m3
Qwen3-Reranker-8B
5) LLM + vLMM (база qwen-2.5-7b-instruct)
RefalMachine/RuadaptQwen2.5-14B-Instruct
По моему мнению лучшие модели для ру сегмента по соотношению (цена/качество/размер)
t-tech/T-lite-it-1.0
t-tech/T-pro-it-2.0
Релизы анонсы, Head of AI Витя Тарнавский(https://news.1rj.ru/str/singularityfm)
Затраты на разработку(https://news.1rj.ru/str/singularityfm/298)
6) Agentic RAG(Qwen3-30B-A3B-Instruct-2507)
РЕПО(https://github.com/vamplabAI/sgr-agent-core/tree/tool-confluence)
7) Eval
RAGAS
https://docs.ragas.io/en/stable/
ARES
https://github.com/stanford-futuredata/ARES
8) Security (собрал @artembakradze)
NVIDIA NeMo Guardrails (помогает удержать бота в рамках темы, даже если его пытаются сломать)
Lakera / Rebuff (детекторы инъекций - хорошо работают, если прогонять через них не только вопрос юзера, но и сами чанки документов перед отправкой в LLM)
Garak (сканер уязвимостей)
Дополнительные материалы
Презентация от Дяди
Построение RAG систем от исследований до индустрии
Создатель ERC (Rinat Abdullin https://news.1rj.ru/str/llm_under_hood)
https://abdullin.com/erc/ (Тут вы найдете кучу кейсов)
Хорошо описанные подходы от Богдана
https://news.1rj.ru/str/bogdanisssimo/2047
Лучшее решение РАГ по документации от Ильи(@IlyaRice) которое выиграло первое место на ERC2
https://github.com/IlyaRice/RAG-Challenge-2/tree/main
Статья
https://habr.com/ru/articles/893356/
Готовые фреймворки одобренные нашим сообществом
https://github.com/langgenius/dify/
https://github.com/Marker-Inc-Korea/AutoRAG
https://github.com/run-llama/llama_index
https://github.com/mastra-ai/mastra
Кейс red_mad_robot по RAG (DCD) для строительной компании (t-lite)
https://habr.com/ru/companies/redmadrobot/articles/892882/
Серия про file first от Рефата
https://news.1rj.ru/str/nobilix/182
Классика (Запись эфира по RAGу без эмбеддингов)
https://news.1rj.ru/str/oestick/397
#RAG
#best_rag_practice
Сохраняй в избранное чтобы не потерять
Telegram
Чат Kovalskii Варианты?
Ask about ALL
Чат канала @neuraldeep
Kovalskii на все ответит!
Прошу общаться вежливо и дружелюбно, без политики
Реклама/Вакансии/Рефы через @VaKovaLskii или @mixaill76
Чат канала @neuraldeep
Kovalskii на все ответит!
Прошу общаться вежливо и дружелюбно, без политики
Реклама/Вакансии/Рефы через @VaKovaLskii или @mixaill76
9🔥83❤18👍5 2
Neural Kovalskii pinned «Лучшие практики и подходы для RAG Сборка от нашего сообщества @neuraldeep (Пост все еще наполняется…) Очередной раз спросили в чате канала что почитать про RAG (https://news.1rj.ru/str/neuraldeepchat) Соберем тут все лучшее, присылайте ваши статьи и разборы Ссылки…»
Тестирую стрим на 3 площадки будет чутка уведомлений (это тест)
Twitch
https://www.twitch.tv/neural_kovalskii
Youtube
https://www.youtube.com/live/GWxZwXcYFq0?si=S0fhODroQLvGnMP_
Telegram
https://news.1rj.ru/str/neuraldeep?livestream
Twitch
https://www.twitch.tv/neural_kovalskii
Youtube
https://www.youtube.com/live/GWxZwXcYFq0?si=S0fhODroQLvGnMP_
Telegram
https://news.1rj.ru/str/neuraldeep?livestream
2👍9🔥2
Neural Kovalskii
Kovalskii Stream Мы посмеялись над бесконечной гонкой и успешным успехом Но сатира это лишь защитная реакция психики на перегруз А настоящий ответ этому хаосу это создание собственной точки опоры (ну и сказанул конечно) Попробуем с вами создать инструмент…
Neural Kovalskii Stream
А мы плавно начинаем, посмотрим мемчики и потом поработаем)!
Забегай на стрим!
Запись будет
Есть чат со всех 3 площадок(пиши где хочешь тебя увидят!)
Twitch
https://www.twitch.tv/neural_kovalskii
Youtube
https://www.youtube.com/live/GWxZwXcYFq0?si=S0fhODroQLvGnMP_
Telegram
https://news.1rj.ru/str/neuraldeep?livestream
А мы плавно начинаем, посмотрим мемчики и потом поработаем)!
Забегай на стрим!
Запись будет
Есть чат со всех 3 площадок(пиши где хочешь тебя увидят!)
Twitch
https://www.twitch.tv/neural_kovalskii
Youtube
https://www.youtube.com/live/GWxZwXcYFq0?si=S0fhODroQLvGnMP_
Telegram
https://news.1rj.ru/str/neuraldeep?livestream
Twitch
neural_kovalskii - Twitch
Neural Kovalskii
1🔥10
Neural Kovalskii
Neural Kovalskii Stream А мы плавно начинаем, посмотрим мемчики и потом поработаем)! Забегай на стрим! Запись будет Есть чат со всех 3 площадок(пиши где хочешь тебя увидят!) Twitch https://www.twitch.tv/neural_kovalskii Youtube https://www.youtube.…
Обсуждаем агентов и SGR
Youtube
https://www.youtube.com/live/GWxZwXcYFq0?si=S0fhODroQLvGnMP_
Telegram
https://news.1rj.ru/str/neuraldeep?livestream
Youtube
https://www.youtube.com/live/GWxZwXcYFq0?si=S0fhODroQLvGnMP_
Telegram
https://news.1rj.ru/str/neuraldeep?livestream
🔥11
Gemini 3 Pro (сценарий создания саммари по каналу)
Выгрузил посты в json (telegram desktop, export chat history)
Написал парсер в composer-1
Выгрузил просто в чат к gemini (600 постов 210к токенов)
Что странно не влезло в чат в Claude в интерфейсе
Загрузил старый пост и получил новый (в пару итераций)
Спасибо gemini3 pro(топ для такого сценария) влезли все посты, и даже сделал сортировку по лайкам
https://news.1rj.ru/str/neuraldeep/10
Выгрузил посты в json (telegram desktop, export chat history)
Написал парсер в composer-1
Выгрузил просто в чат к gemini (600 постов 210к токенов)
Что странно не влезло в чат в Claude в интерфейсе
Загрузил старый пост и получил новый (в пару итераций)
Спасибо gemini3 pro(топ для такого сценария) влезли все посты, и даже сделал сортировку по лайкам
https://news.1rj.ru/str/neuraldeep/10
Telegram
Neural Kovalskii
Всем привет! Меня зовут Валерий Ковальский
В 25 лет пришел в IT без опыта. За 6 лет дошел до Head of AI в red_mad_robot Специализируюсь на AI Infrastructure: от железа до production (DevOps/LLMops/Network/Local inference)
Что построил из крупного: Рекомендательную…
В 25 лет пришел в IT без опыта. За 6 лет дошел до Head of AI в red_mad_robot Специализируюсь на AI Infrastructure: от железа до production (DevOps/LLMops/Network/Local inference)
Что построил из крупного: Рекомендательную…
🔥19👍9❤4
Forwarded from Pavel Zloi
Один мой коллега как-то сказал такой вот #meme
low-code система это просто недоделанная no-code система, которую не смогли довести до ума
🤣35💯7🔥3👏3
Мы в rnd red_mad_robot чуть-чуть глубже(чем пару запусков тут https://news.1rj.ru/str/neuraldeep/1718 )протестировали qwen guard, и вот что вышло
https://habr.com/ru/companies/redmadrobot/articles/971388/
Лайк шер, коммент приветствуется
Кстати теперь с нами пингвин🖥
https://habr.com/ru/companies/redmadrobot/articles/971388/
Лайк шер, коммент приветствуется
Кстати теперь с нами пингвин
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Neural Kovalskii
Qwen3Guard-Stream: real-time модерация которая реально работает
Новый день новый тест Qwen!
Если вы пропустили специализированные модели для safety moderation, то вот есть три размера (0.6B, 4B, 8B) обученные на 1.19 млн промптов с разметкой на безопасность…
Новый день новый тест Qwen!
Если вы пропустили специализированные модели для safety moderation, то вот есть три размера (0.6B, 4B, 8B) обученные на 1.19 млн промптов с разметкой на безопасность…
Forwarded from red_mad_robot
Qwen3Guard: следующий шаг в модерации и контроле контента
Когда в продукте появляется открытый ввод, вопрос модерации становится неизбежным. Даже при штатном использовании в поток попадают формулировки на грани или попытки обойти ограничения вроде «объясни, как взломать соседа».
В новой статье на Habr разбираем Qwen3Guard — модель, построенную как отдельный класс модерационных систем. Она определяет риск на уровне токенов ещё в момент генерации и может остановить ответ до отправки пользователю.
#AI_moment #роботайм
↗️ red_mad_robot
Когда в продукте появляется открытый ввод, вопрос модерации становится неизбежным. Даже при штатном использовании в поток попадают формулировки на грани или попытки обойти ограничения вроде «объясни, как взломать соседа».
В новой статье на Habr разбираем Qwen3Guard — модель, построенную как отдельный класс модерационных систем. Она определяет риск на уровне токенов ещё в момент генерации и может остановить ответ до отправки пользователю.
#AI_moment #роботайм
Please open Telegram to view this post
VIEW IN TELEGRAM
1 17❤8👍6🔥3
Neural Kovalskii
Kovalskii Stream Мы посмеялись над бесконечной гонкой и успешным успехом Но сатира это лишь защитная реакция психики на перегруз А настоящий ответ этому хаосу это создание собственной точки опоры (ну и сказанул конечно) Попробуем с вами создать инструмент…
Cоздаём агента с памятью на базе SGR Agent Core
Дошли ручки выложить запись 1 части
Посмотреть фул можно тут ютуб (поправил доступность) https://youtube.com/live/GWxZwXcYFq0
Гит решения https://github.com/vamplabAI/sgr-agent-core/tree/sgr-memory-agent
Промпт и агент https://news.1rj.ru/str/neuraldeepchat/28559
Запись файлом будет в комментариях
Приятного просмотра!
Кстати подписывайтесь на ютуб (там будет иногда выходить эксклюзивный контент про LLM)
Дошли ручки выложить запись 1 части
Посмотреть фул можно тут ютуб (поправил доступность) https://youtube.com/live/GWxZwXcYFq0
Гит решения https://github.com/vamplabAI/sgr-agent-core/tree/sgr-memory-agent
Промпт и агент https://news.1rj.ru/str/neuraldeepchat/28559
Запись файлом будет в комментариях
Приятного просмотра!
Кстати подписывайтесь на ютуб (там будет иногда выходить эксклюзивный контент про LLM)
54🔥42 8 6❤1
Guardrails/Defend/LLM
Защита защита защита и еще раз защита
Дядя не только показал мне пару интересных решений на основе нашел статьи про Guard Qwen Stream, но и сразу раздал базы как надо!
Читаем
Мотаем на ус
Теперь и Вы уже знаете где у вас дыра в вашем чатботе/агенте!
1) https://news.1rj.ru/str/dealerAI/1590
2) https://news.1rj.ru/str/dealerAI/1591
Защита защита защита и еще раз защита
Дядя не только показал мне пару интересных решений на основе нашел статьи про Guard Qwen Stream, но и сразу раздал базы как надо!
Читаем
Мотаем на ус
Теперь и Вы уже знаете где у вас дыра в вашем чатботе/агенте!
1) https://news.1rj.ru/str/dealerAI/1590
2) https://news.1rj.ru/str/dealerAI/1591
Telegram
Dealer.AI
Про мониторы, модераторы, защитники и прочие модели цензоры в вашем продакшене.
После прочтения лекции в Agora club, про базированный RAG, ко мне пришло много желающих из корпоративной среды, чтобы я прочитал тоже самое для их сотрудников. Потом, на неделе…
После прочтения лекции в Agora club, про базированный RAG, ко мне пришло много желающих из корпоративной среды, чтобы я прочитал тоже самое для их сотрудников. Потом, на неделе…
❤9👍5🔥4 3