EasyData – Telegram
EasyData
1.1K subscribers
167 photos
12 videos
22 files
92 links
Добро пожаловать!
Меня зовут Мария Жарова, и это мой блог про науку о данных

Лайфхаки из будней MLщика, полезности по Data Science и ответы на вопросы, которые волнуют новичков и не только🌝

Автор @NaNCat
Download Telegram
Привет, друзья!
На горизонте появляется новый тип инструментов - “базы данных для AI-агентов”.
Недавно вышел сервис AgentDB - облачная СУБД, которая создаёт базы буквально “на лету”.

🫤 Что это такое?
Итак, AgentDB - это облачная база-данных-как-сервис, ориентированная на AI-приложения. Главная идея: каждый агент, сессия или запрос может получить собственную базу данных, без поднятия серверов, настройки схем и деплоя инфраструктуры.
Под капотом используются SQLite и DuckDB, но всё управляется через облачный API: за пару команд можно легко и просто создать базу (в официальной документации есть примеры для JavaScript, для питона нужно оформлять через REST/cURL).

🫤 Чем это отличается от обычных баз?
В классическом мире у нас одна PostgreSQL/MySQL база и куча агентов, которые ходят в неё параллельно. Это создаёт узкое место - контексты, временные таблицы, коллизии и синхронизация. А AgentDB решает это радикально:
- каждая сессия получает изолированную, “одноразовую” базу;
- создание базы занимает миллисекунды;
- не нужно администрировать, масштабировать и следить за соединениями;
- есть поддержка векторных операций (для эмбеддингов, RAG-сценариев);
- поддерживает SQL + семантические запросы.

🫤 Когда это реально полезно?
- Мультиагентные системы: когда каждый агент должен иметь свой контекст или память (например, своя история диалога, векторы, параметры).
- RAG-платформы: можно хранить отдельные индексы и эмбеддинги для разных источников данных, пользователей или запросов.
- Временные песочницы для анализа: когда нужно создать временную БД для быстрой агрегации данных или обучения.
- Облачные приложения с пользовательскими базами: можно давать каждому пользователю “его базу” без головной боли по её настройке.

🫤 Как попробовать?
- Зайдите на https://agentdb.dev
- Зарегистрируйтесь, есть бесплатный план (до 1 ГБ)
- Попробуйте создать тестовую базу в пару строк кода или через REST-вызов (документация https://api.agentdb.dev)
- А ещё можно загрузить файлы напрямую, превратив их в БД + в веб-интерфейсе доступен встроенный ИИ-помощник, который может выполнять анализ данных по вашему запросу и покажет SQL-скрипты всех шагов.
Сама документация простая и напоминает Supabase.

Будущее data-архитектуры для AI наступило 🧩

#mlops@data_easy
#nlp@data_easy
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥75❤‍🔥2👍2
Привет, друзья!
Вдогонку к подборкам ресурсов для подготовки к собеседованиям (тык и тык) ещё одна полезная коллекция. Здесь только практические упражнения и примеры по Python, SQL, EDA, визуализации и ML. Всё бесплатно и подходит как новичкам, так и тем, кто хочет держать себя в тонусе.

❤️ Kaggle Learn
Это учебный раздел с туториалами в формате jupyter-ноутбуков и заданий к ним. Тут представлены почти все инструменты работы с данными: Python, Pandas, SQL, визуализация, а также геоданные, тайм-серии и немного DL. Материалы короткие и практические: ноутбуки можно использовать как шпаргалки, а упражнения со встроенной системой проверки помогут закрепить все на практике.
➡️ ссылка

❤️LeetCode SQL
Раздел с задачами по SQL существует уже несколько лет, но часто остается в тени основного контента. А здесь можно найти сотни нескучных задач от базовых SELECT до сложных запросов. Формат также помогает: большие наборы данных, строгие тесты и подсказки, где решение не прошло.
➡️ ссылка

❤️HackerRank
Один из самых известных тренажёров по самым разным направлениям программирования. И здесь есть задачи по Python, SQL и даже основам “AI”. Уровень выше, чем на других ресурсах: задачи более объёмные и требуют погружения в нюансы условий.
➡️ ссылка

❤️w3resource
ОГРОМНАЯ подборка упражнений по самым разным разделам Python со встроенным редактором кода. Из особенно интересного: есть множество задач по Pandas и Numpy, в том числе с математическим подтекстом.
➡️ ссылка

Пишите, какие задания покажутся самыми интересными. И удачи в борьбе с автотестами😉


#карьера@data_easy
Please open Telegram to view this post
VIEW IN TELEGRAM
3🔥15❤‍🔥7🥰4👍1🙏1🕊1
Привет, друзья! 👋
ML сейчас переживает насыщенный период: одни технологии становятся must-have, другие уходят на второй план, а бизнес всё чаще ждёт от инженеров не «магии», а обоснованных и прикладных решений. Это меняет и задачи, и требования, и саму роль ML-специалистов - как для тех, кто только входит в профессию, так и для тех, кто уже давно в ней.

В эту среду мы как раз соберёмся обсудить, какие задачи сейчас формируют работу ML-инженеров и что реально ценится на рынке - на открытом вебинаре от Simulative, к которому я присоединюсь в качестве спикера.

Поговорим о самом важном:
➡️ почему ML-инженеры нужны почти в любом бизнесе - от маркетплейсов до логистики;
➡️ какие реальные задачи нам прилетают и что приходится решать на практике;
➡️ какие навыки действительно требуют работодатели;
➡️ и, конечно, будет мини-практика: рассмотрим простой, но показательный кейс сегментации клиентов интернет-магазина.

Словом, разберёмся в тонкостях профессии, посмотрим на актуальные тренды и просто пообщаемся 😉

➡️ Зарегистрироваться можно здесь
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥8👍633🔥1
Привет, друзья!
Хочу поделиться свежим и очень мощным обзором на индустрию ИИ - State of AI Report 2025. Это их восьмой ежегодный отчёт, и, кажется, он важнее, чем когда-либо.

Ключевые инсайты
🤩Открытые модели из Китая усиливаются. Модели вроде DeepSeek, Qwen и особенно Kimi K2 (1 трлн параметров, MoE-архитектура) становятся серьёзной альтернативой закрытым системам. Однако в ТОПе всё ещё модели от OpenAI/Google.
🤩Оптимизация Muon. В отчёте отмечен переход на более эффективный класс оптимизаторов - Muon, который ортогонализирует матричные градиенты, что экономит ресурсы при тренировке моделей и повышает эффективность по сравнению с Adam.
🤩ИИ как инфраструктура. Как недавно писала, ИИ уже не просто инструмент - это "платформенный" слой, на котором строятся приложения и системы. В ТОПе инструментов LangChain, LlamaIndex, фреймворки вроде AutoGPT.
🤩Безопасность - слабое звено. Модели стали настолько умными, что научились "вести себя хорошо" на тестах, но в реальности обходить собственные ограничения. Это делает безопасность одним из самых слабых звеньев индустрии.
🤩Экономика ИИ растёт. По данным отчёта, крупные ИИ-компании приближаются к $20 млрд доходов; бизнес всё активнее платит за ИИ-инструменты.
🤩Агенты + tooling = тренд года. Главная технологическая гонка - не просто модели, а агенты, которые могут действовать, а также инструменты для мониторинга, дебага и оценки таких систем.
🤩Мировоззрение и оптимизм. В ряде стран (Китай, Юго-Восточная Азия) люди более оптимистично оценивают ИИ ("больше пользы, чем вреда"), чем в США и Европе, хотя позитив растёт и там.

Чем это важно для нас?
😨 Тренд на agentic ИИ означает, что скоро модели будут не просто отвечать - они будут действовать, проверять гипотезы и решать задачи автономно. Это открывает новые возможности, но и риски.
😨 Более дешёвая и эффективная тренировка (через Muon и др.) может сделать продвинутые модели доступнее для исследователей и стартапов, а не только для крупных лабораторий.
😨 Рост open-weight моделей == шанс для open-source-сообщества: участвовать, дообучать, интегрировать.
😨 Безопасность ИИ - всё ещё серьезная проблема: нужно думать не только о "что можно сделать", но и о "что может пойти не так".

Полная версия отчёта на 313 слайдов доступна по ссылке.

Хорошей недели!☃️

#полезный_ии@data_easy
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9❤‍🔥53🕊21🆒1
Привет, друзья!
Держите классный ресурс, который может стать одним из лучших учебников для всех, кто строит ML-продукты, занимается MLOps, оптимизацией моделей или просто хочет понимать, как устроены реальные машинно-обучающие-системы под капотом.

Речь про Machine Learning Systems от профессора Гарварда Vijay Janapa Reddi с участием инженеров Google и исследователей из MIT/Harvard. Создатели формулируют идею книги так:
"Сегодня студентов в основном учат тому, как обучать модели машинного обучения — но лишь немногие получают знания о том, как создавать системы, делающие эти модели реально полезными в жизни. По мере того как возможности искусственного интеллекта стремительно растут, дальнейший прогресс будет всё меньше зависеть от появления новых алгоритмов — ведь сам ИИ всё чаще сможет их совершенствовать, — и всё больше от появления инженеров, которые способны разрабатывать масштабируемые, эффективные и ответственные системы, воплощающие эти алгоритмы в реальность."

И это действительно точное попадание в то, что происходит с индустрией сейчас. Книга - полноценный учебник об инженерных аспектах ML-систем: архитектуры моделей, производительность, компиляция, оптимизация, развертывание, edge-вычисления, аппаратные ускорители и всё, что делает ML индустриальным инструментом, а не набором ноутбуков.

Более того, материалы полностью open-source и бесплатны, а также активно поддерживаются и обновляются сообществом. Репозиторий собрал уже более 10k и более 1k fork-ов!

🔗 ссылка на GitHub-репозиторий: тык
🔗 актуальная онлайн-версия в pdf тут


#mlops@data_easy
2🔥28❤‍🔥92🤩2🙏1
Привет, друзья!
Сегодня небольшой обзор на свежую статью азиатских собратьев по кодогенерации и AI-агентам для разработки. Это, пожалуй, самый полный гайд по тому, как ИИ сейчас пишет код, тестирует его и превращается во "второго разработчика".

Работа называется "From Code Foundation Models to Agents and Applications: A Comprehensive Survey and Practical Guide to Code Intelligence" и в ней более 70 авторов!

Ключевые мысли:

😵‍💫 LLM превращается из "подсказчиков кода" в полноценных разработчиков.
Современные code-модели уже не просто дописывают строчки - они читают большие проекты, предлагают архитектуру, создают файлы, пишут тесты и выполняют многошаговые задачи... Попробуйте Kiro, если ещё не - она теперь открыта для всех👀

😵‍💫 Но в реальных проектах всё ещё боль.
Бенчмарки показывают почти идеальные результаты - 90–95%, но всё же это искусственные задачи. В настоящих репозиториях всё, как правило, сложнее, и ИИ всё ещё путается, ломает логику и "галлюцинирует" - поэтому детальная валидация человеком необходима.

😵‍💫 Самая большая проблема - проверка качества.
Прохождение тестов != хороший код.
Нужны метрики надёжности, стиля, уязвимостей, совместимости - и индустрия пока не договорилась, как оценивать такие модели.

😵‍💫 Python проигрывает.
Авторы системно изучили, как code-LLM обучаются при разных размерах моделей, объёмах данных и настройках, и показали, что "трудность" обучения зависит от языка.
По их выводам, строгие и структурированные вроде Java, C#, Rust требуют меньше параметров и данных, тогда как Python из-за динамической типизации и большого разнообразия стилей оказывается самым сложным для эффективного обучения 🫢


Так что AI-инструменты быстро эволюционируют, появляется даже новая роль - AI Software Operator: человек, который управляет ИИ-инструментами, задаёт рамки и проверяет результат. Разработчиков не заменяют, просто меняется их набор инструментов.
При этом важно помнить об ограничениях: ИИ отлично закрывает рутину, но ошибается там, где нужна архитектура, понимание продукта и глубокий контекст. БОльшая часть работы всё ещё должна проходить через человека, хоть процессы и существенно ускоряются.

Помимо Kiro держите ещё одного полезного агента, который подключается к GitHub-репозиторию и автоматически генерирует, визуализирует и поддерживает в актуальном состоянии документацию, позволяя общаться с кодовой базой как с чат-ассистентом.

➡️ Ссылка на оригинал статьи

На ИИ (не)надейся, и сам не плошай😎
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥117👍61😐1
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10🤣9😁3👍1🙏1
Привет, друзья!
В небольшом интервью поделилась, каково быть ML-инженером в WB✌️
А физтехов приглашаем сегодня на лекцию по приёмам-ускорения-обработки-больших-данных 💜
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4❤‍🔥33
Forwarded from WB Level Up
Как попасть на позицию ML-инженера в Wildberries & Russ: рассказывает Мария Жарова

Кстати, кто из МФТИ? Мария выступает у вас с темой «приемы ускорения обработки больших данных» 15 декабря в 16:00, подключайтесь 🩷
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8❤‍🔥7🔥42