Apple выкатили мощный опенсорс-инструмент для визуализации эмбеддингов — Embedding Atlas — и он неожиданно крут для всех, кто работает с большими датасетами текст + метаданные

Это очень напоминает Atlas от Nomic, но до него я так и не дошёл 😅

Тут у нас: поиск в реальном времени, рендеринг миллионов точек и автоматическая кластеризация с автолейблингом.

В одном из примеров они визуализируют ~200 000 отзывов на вино, используя эмбеддинги + метаданные вроде цены, страны и дегустационных заметок. И всё это летает даже в браузере, никакого дополнительного кода!

Инструмент закрывает ровно те потребности, которые большинство LLM-разработчиков обычно колхозят вручную:

- UMAP-проекции
- Фасетный поиск по метаданным (например, «страна vs. цена»)
- Ховер + тултип по сырым точкам
- Интерактивные фильтры, гистограммы и оверлеи кластеров
- Кросс-линк между scatterplot и таблицей

Под капотом:
• Быстрый рендер через WebGPU (с фолбеком на WebGL)
• Поиск по семантической близости в пространстве эмбеддингов
• Контуры плотности (kernel density) для поиска кластеров и аномалий

Всё просто: загружаешь .jsonl или .csv с текстом + вектором + метаданными — остальное он сделает сам: кластеризация, автолейблы, UI-лейаут и всё остальное.

По ощущениям, это как Tableau, но LLM-нативный — заточенный под текст, чат и современные дата-задачи.

Если вы делаете RAG-оценку, тюнинг поиска, объяснимость кластеризации или даже аудит датасетов, то это может стать вашим новым любимым инструментом.

https://apple.github.io/embedding-atlas/overview.html

👉 @DataSciencegx

Бесплатные Google Colab-ноутбуки для реализации каждого алгоритма машинного обучения с нуля

https://udlbook.github.io/udlbook/

👉 @DataSciencegx

Создай свою собственную модель ИИ

Этот репозиторий содержит код для разработки, предобучения и fine-tuning’а LLM наподобие GPT с нуля: https://github.com/rasbt/LLMs-from-scratch

Недавно там появился новый раздел: Gemma 3 с нуля

Является официальным репозиторием к книге Build a Large Language Model (From Scratch).

👉 @DataSciencegx

Понимание LLM с нуля

Статья с нуля и на арифметике уровня средней школы объясняет, как работают LLM: от ручной «генеративки на бумаге» до современной архитектуры Transformer

Читаем здесь

👉 @DataSciencegx