Всем привет, на выходных пилил RAG-систему, и при векторизации данных для векторной базы данных Qdrant наткнулся на проблему плохой подготовки данных для векторизации, поискал в интернете, что-то толкового ничего не нашел, платные не рассматривал. Решил свой написать)

В итоге родился пакет ollama_embedder — CLI-инструмент на Dart для создания векторных представлений текста с помощью локального Ollama-сервера.

✨ Что умеет:
🔹 Генерирует эмбеддинги для файлов и целых директорий (рекурсивно).
🔹 Работает с локальным Ollama — проверяет установку, доступность сервера и наличие модели. Для векторизации по умолчанию использует модель nomic-embed-text.
🔹 Два режима предобработки: technical — сохраняет код как есть и textual — фокусируется на тексте, код заменяется на [CODE].
🔹 Умная очистка — удаляет HTML-шум, cookie-баннеры, навигацию, футеры, эмодзи.
🔹 Умное разбиение на чанки:
• Автоматически определяет оптимальный размер (до 1500 символов)
• Создает перекрытия между чанками (200 символов) для сохранения контекста (как же я задолбался это делать 🤯)
• Документы до 3000 символов остаются одним чанком
• Разбиение по границам параграфов, предложений и слов
• Автоматическая маркировка секций (intro, code, lists, urls, auto)

🔹 Надежные запросы — автоматические повторы при ошибках Ollama
🔹 Гибкая настройка — URL сервера, модель, таймауты, размер файлов, пути ввода/вывода
🔹 Структурированный итоговый JSON — готов для векторных БД и RAG-систем
🔹 Покрытие тестами — 78% покрытия кода

Пилил все выходные, но в итоге добился классной подготовки текста и кода для векторизации и, собственно, саму векторизацию.

Так что, если кому интересно про векторизацию данных, ставьте лайк, запилю видео, как оно работает.
Итоговый point в Qdrant на скрине...

Пример чанка:

[
  {
    "doc_id": "source/test.md",
    "chunk_id": 0,
    "clean_content": "Cleaned single-line chunk text without line breaks...",
    "vector": [0.123, 0.456, "..."],
    "metadata": {
      "source": "source/test.md",
      "section": "full_doc",
      "type": "text",
      "created_at": "2025-01-01T12:00:00.000Z"
    }
  }
]

Хорошее, аналитическое обсуждение с HR-специалистом. Со многим согласен. 👍, особенно с инженерией внешнего мира.

https://vkvideo.ru/video-191115425_456239660?t=1h16m42s

Тут Стас поделился опытом по созданию стартапа, занимательно. Я думаю многим ребятам будет интересно 😎

https://youtu.be/qxUtf64dOj4

С наступающим Новым годом, друзья!

Этот год для меня был очень тяжелым...

Многое пришлось пережить и идти дальше. Но, как бы банально это ни звучало, когда есть семья и друзья, пережить многие невзгоды намного проще.

Мой вам совет на Новый год. Цените родителей, семью, друзей, которые с вами идут по жизни. Все остальное — это фасад, за которым пустота. Не бойтесь начинать что-то новое. Самое страшное в жизни — это сожаление, что что-то не сделал, уберите навсегда из вашей жизни частицу «БЫ» — вот если бы... Не было никаких других вариантов, что было, то было, другого быть не могло. Идите вперед к своей мечте, становитесь лучше с каждым днем.

И помните главное: The future belongs to those who believe in the beauty of their dreams.

https://sub-agents.directory/

Антропик выкатила более 200 различных инструкций для суб-агентов.

Можете глянуть промт для Flutter.

https://sub-agents.directory/flutter-expert

Совсем недавно вышел инструмент redstone_dart, с помощью которого можно писать моды для Minecraft. То есть вы можете писать моды не на Java, а на Dart, и самая киллер-фича в том, что изменения вносятся моментально в реальном времени, а не после перезагрузки мода. Я думаю, многие заработают на данном фреймворке))

Модееры — забирайте)) https://github.com/Norbert515/redstone_dart

Всем хорошего дня 😊

Очень мощный репозиторий с готовыми навыками для агентов.
Superpowers - это полный рабочий процесс разработки программного обеспечения, основанный на наборе составных "навыков" и некоторых начальных инструкциях, которые помогут вашему агенту их использовать.

SKILLS:

1. Мозговая атака: уточнение идей и сохранение проекта 
2. Использование-git-worktrees: создание изолированного рабочего пространства 
3. Письменные планы: разбивка работы на задания 
4. Разработка, осуществляемая субагентами: отправка субагентов для выполнения задач 
5. Разработка на основе тестирования: КРАСНО-ЗЕЛЕНЫЙ РЕФАКТОРИНГ 
6. Запрашивающий проверку кода: проверка соответствия плану 
7. Завершающий этап разработки: проверка тестов и принятие решений о слиянии 

Забираем, и не благодарим 😁

P.S. Кто не знает, что такое SKILLS, читаем тут

https://claude.com/blog/skills?ref=testingcatalog.com

Ну и можете наш SKILL Flutter разработчика использовать) Чтобы не напортачить в коде, агент за вами будет присматривать.

https://github.com/smmarty/friflex_flutter_starter/tree/main/.agent/skills/flutter_dev