Новый феймворк Congnita для RAG систем

🤔 Системы RAG (Поисковая дополненная генерация) — это мощные инструменты, но их создание и развертывание может оказаться сложной задачей.
🚀 Cognita стремится стать удобным и модульным решением, решающим общие проблемы RAG.

Проблемы с текущими фреймворками:
⚙️ Задания по фрагментированию и внедрению часто требуют отдельной настройки, но не встроены в существующие платформы, известные мне на данный момент.
💻 Развертывание сервисов запросов для производства может оказаться сложной задачей.
🤖 Для управления развертыванием моделей (языковых моделей, моделей внедрения) отсутствует встроенная поддержка.
🗄 Векторные базы данных могут оказаться сложными для масштабирования.
Нет единого готового шаблона, который можно было бы легко адаптировать.

Как Cognita решает эти проблемы
🎯 Cognita сочетает в себе настройку и простоту использования.
🧠 Масштабируемый дизайн для интеграции прорывных решений по мере их возникновения.

Cognita — библиотека для создания модульных приложений RAG с открытым исходным кодом для производства.
Модульная конструкция: разбейте RAG на этапы для упрощения управления и обновлений.
♻️ Многоразовые компоненты: парсеры, загрузчики и т. д. для экономии времени в проектах.
🚀 Оптимизированное развертывание: Cognita справляется со всеми тонкостями производственных систем.
⚖️ Масштабируемость: компоненты масштабируются независимо, чтобы справиться с возросшим трафиком.
✨ Удобный интерфейс: даже нетехнические пользователи могут играть с настройками RAG.
🔌 На основе API: Cognita хорошо работает с другими системами.

Компоненты Когниты

Индексирование задания

1) Загрузчики данных 🚚
Что: Извлекать данные из разных мест (папок, баз данных и т. д.).
Почему: RAG нуждается в данных для работы!

2) Парсеры 🗂️
Что: Преобразовать различные типы файлов в общий формат.
Почему: упрощает обработку всей информации системой RAG.

3) Эмбеддеры 🔎
Что: создавать кодовые представления текста для быстрого сравнения.
Зачем: помогает найти наиболее актуальную информацию по вашему вопросу.

Хранилище метаданных 🧠
Что: «мозг» системы, хранящий детали конфигурации.
Зачем: сохраняет вашу RAG организованной и простой в управлении.

LLM Gateway 💬
Что: «Переводчик» для разных языковых моделей.
Почему: позволяет переключаться между моделями, не перекодируя все.

Векторные БД 🗄️
Что: хранит встроенные файлы для сверхбыстрого поиска данных.
Почему: Эффективный поиск имеет решающее значение для больших наборов данных.

API-сервер ⚙️
Что: Координатор, который обрабатывает вопросы пользователей и генерирует ответы.
Почему: Он соединяет все части системы RAG вместе.

Опа!

Дуров открыл российским телеграм-каналам монетизацию. Вот же красавчик!

Найти её можно в разделе «Статистика» — если у вас такой вкладки нет, обновите приложение. Выводить прибыть с рекламы можно во внутренней валюте ⭐️.

Монетизация доступна каналам от 1к подписчиков 👀 Прям жутко интересно стало, как это все будет

Т-Банк открыл доступ к собственной русскоязычной языковой модели T-lite

Статья уже на Хабре

Моделька бьет третью ламу (Llama3-8b-instruct). Чекайте

Ссылка на HuggingFace 🤗

🦙 Опубликована мощнейшая опенсорс модель Llama-3

Статья уже на Хабре

🔥Судя по бенчмаркам, Llama 3.1 даже лучше GPT-4o (!)

Ссылка на HuggingFace

Фейлы Спикадоры или как я занимался благотворительностью

Основная работа забрала мой фокус, поэтому мы немного забросили интенсивную разработку.

Пока тушил пожары на работе и продолжал фиксировать убытки, Спикадора почти два месяца не принимала оплату и разговаривала с пользователям без ограничений. Вот умничка! 😭

🥲 Мы это заметили и починили. Попросил Спикадорушку больше так не делать. Платежи начали медленно капать.

😐 Потом заметили, что платежи подключены только карточные. Включили все варианты. Типо SberPay/T-Pay и тп. Оплаты резко выросли .

🙂 Далее мы заметили, что не списываем повторные платежи. Починили и тоже немного вернули платежей.

😃 Тут же дошли руки подрубить скидки за покупку подписки в первый день. И это тоже добавило платежей.

И так, реклама внезапно начала окупаться. Вот же магия 🙌

Пока мы тут с вами делаем IT продукты, пишем код, кто-то делает бизнес на промптах. Чисто по приколу выкупил сборник из 165 промптов для генерации маркетинговых текстов.

Стоило 35$ 😎

Есть неочевидные 😳
Например для генерации текстовых хуков к видео.

Давайте обмен? 10 бустов и я скинул этот pdf файл сюда

https://news.1rj.ru/str/datafeeling?boost

Красавцы! Теперь в этом канале стало уютнее)

🚀 Вы мне бусты, а я вам гайд по маркетинговым промптам 📝

Пользуйтесь!

Этот личный блог потеряет душу, если я не поделюсь этим.

Месяц назад мы всем юнитом из Додо слетелись в Казахстане из 4-х стран, чтоб встретиться вживую на неделю.

В блокноте у меня сохранилась заметка:

Я бы никогда не смог придумать себе такую поездку. А если бы придумал, то не смог бы купить, а если смог, то маловероятно, что там были б все эти 40 замечательных человек.

Конвоем из 10 внедорожников мы катались по дикому Казахстану. Я видел миражи, табуны коней, редких птиц, артефакты истории. Мы ночевали в палатках в горах под звездным небом. Даже парились в бане, ныряя после в горную ледяную реку 😅

Такой опыт мне не дарила ранее ни одна компания 😍

Теперь вы знаете, как можно с умом и кайфом коллективно потратить часть бюджета компании.

За взрывным ростом LLM моделей следует активный рост методов оптимизаций инференса моделей.

🫸🫷Исследователи из Yandex Research предложили новый способ сжатия нейросетей посредством комбинации инструментов AQLM и PV-tuning. Метод позволяет сократить расходы на вычислительные мощности до 8 (!) раз, при этом качество ответов не снижается благодаря упомянутому PV-tuning. Для справки: другие аналоги сейвят для тех же моделей от 59% до 90% качества, а здесь сохраняется в среднем 95%. Впечатляет.

🏎️ То есть LMM-модели теперь можно запускать не только на топовых видюхах, но и на обычных картах. И ответы они будут давать быстро, не теряя в качестве. Как итог, новый метод сжатия значительно сэкономит ресурсы компаний и исследователей, которые разрабатывают или внедряют собственные нейронки.

✅ Я все чаще и чаще имею дело с запуском LLM на железе и считаю этот результат от Яндекса очень прикладным т.к без эффективного сжатия на обычные карты уже ничего не влезает.

⚡️ Айти-ипотеку продлили до 2030 года.

Спойлер, возможно придется переехать в Сочи)

Немного изменили условия: предельная ставка составит 6% годовых (раньше было 5%), а максимальная сумма ипотеки составит 9 млн рублей (было 18 млн). Кроме того, программа не распространяется на Москву и Санкт-Петербург.

Айтишники сегодня празднуют.

@datafeeling

С недавних пор Телеграм пишет MAU у каждого бота. Наконец-то!

Теперь можно еще больше проектов запустить. Например парсить и делать свой similarweb.

Прогнозирую, что это сильнее бустанет рынок рекламы в ботах. Утром я купил первую такую рекламу, увидев метрику.

Увидел у Дани