⭐️ 10 способов повысить эффективность RAG-системы

LLM  —  удивительное изобретение, но с одной ключевой проблемой. Эти модели придумывают всякую ерунду. RAG (Retrieval Augmented Generation  —  генерация ответа, дополненная результатами поиска) повышает эффективность модели, предоставляя ей фактический контекст, необходимый при ответах на запросы.

Используя краткое руководство по запуску таких фреймворков, как LangChain и LlamaIndex, каждый может создать простую RAG-систему (например, чат-бота для работы с документами) с помощью примерно пяти строк кода.

Но бот, сконструированный с помощью этих пяти строк кода, не будет работать ожидаемо хорошо. RAG легко прототипировать, но очень трудно внедрить в производство, т. е. довести до состояния, которым будут довольны пользователи.

В базовой учебной версии RAG может работать на 80%. Но чтобы обеспечить недостающие 20%, часто требуются серьезные эксперименты. Лучшие практики еще не отработаны и могут варьироваться в зависимости от конкретной ситуации. Но ознакомление с ними стоит вашего времени, поскольку RAG  —  пожалуй, единственный наиболее эффективный способ применения LLM.

В этой статье рассматриваются стратегии повышения качества RAG-систем. Она предназначена для тех, кто создает RAG, стремясь преодолеть разрыв между базовыми настройками и достижением эффективности производственного уровня. В рамках данной статьи под оптимизацией понимается увеличение доли запросов, для которых система находит нужный контекст и генерирует соответствующий ответ.

Предполагаю, что читатель уже имеет представление о RAG-процессе и знаком со стандартными фреймворками, используемыми для реализации подобных стратегий: LangChain и LlamaIndex. Тем не менее обсуждаемые здесь идеи не зависят от фреймворка.

⚡️Читать дальше

@bigdatai

💥 Оcновные функции Pandas!

#pandas #datascience

@bigdatai

Новый Florence 2 от Microsoft имеет большое значение для компьютерного зрения.
Это слияние текста и зрения.

С помощью одного запроса вы можете поручить модели выполнение таких задач, как создание надписей, обнаружение объектов, выделение и сегментация.

Самое приятное, что для всего этого используется только одна основа.

▸ Превосходная производительность
▸ Единая модель для обнаружения, создания титров и т. д.
▸ Набор данных FLD-5B: 5B+ аннотаций, 126M изображений
▸ Новые бенчмарки (>5.5+) на COCO, ADE20K

https://arxiv.org/abs/2311.06242

@bigdatai

🔥 Practical_RL

В этом репозитории вы найдете открытый курс по обучению с подкреплением в дикой природе. Этот курс уже преподается на кампусе ВШЭ и YSDA.

https://github.com/yandexdataschool/Practical_RL

@bigdatai

🔥 LLM могут почти идеально восстанавливать предложения

-GPT-4 почти безупречно обрабатывает входные данные с неестественными ошибками и восстанавливает оригиналы.
-Даже если все буквы в каждом слове зашифрованы, а токенизация радикально изменена.
-Сложная задача для других LLM и людей

arxiv.org/abs/2311.18805

Что такое MLX?

MLX - это фреймворк, выпущенный компанией Apple для эффективного обучения и вывода ML-моделей. MLX имеет Python API, который очень похож на NumPy.

pip install mlx - это все, что вам нужно! ✨

Фреймворк нем поддерживает Mixtral MoE, Llama, Whisper, Stable Diffusion и многое другое!

В видео запускаем его локально на M2 MBP Pro (24 ГБ).

Краткое руководство:
1. Создайте виртуальную среду

python -m venv mlx_experiments

2. активируйте виртуальную среду

source mlx_experiments/bin/activate

3. клонируйте репозиторий mlx-examples
git clone https://github.com/ml-explore/mlx-examples/

4. установите все requirements

pip install -r mlx-examples/whisper/requirements.txt

5. Используйте whisper в бэкенде mlx ✨

import whisper
whisper.transcribe(<file_name>, model="large-v2")

Код: Github

@bigdatai

⚡️ Production Machine Learning

Этот репозиторий содержит список замечательных библиотек с открытым исходным кодом, которые помогут вам развертывать, отслеживать, версионировать, масштабировать и защищать производственное машинное обучение.

🔗 https://github.com/EthicalML/awesome-production-machine-learning

@bigdatai

🔥 Дайджест полезных материалов из мира Больших данных за неделю

Почитать:
— Разметка данных: неочевидные затраты на голосовые технологии
— Используем MLOps-конвейер: пример работы с Cloud ML Platform для построения сервиса распознавания лиц
— Наиболее часто используемые команды Linux
— 79 Ресурсов, которые следует прочитать, чтобы улучшить свои навыки в области проектирования систем:
— Бесплатные сертификационные курсы для специалистов по данным
— RFM-сегментация в оптимизации CRM-стратегий
— MDM и CDP: различия систем. Как сделать выбор
— Бесконечные проверки – к успешному развитию: как мы обеспечиваем качество данных
— Как мы наводим порядок с данными в столичном транспортном институте
— Survey: Retrieving Supporting Evidence for Generative Question Answering
— Introduction to NannyML: Model Evaluation without labels
— Revolutionizing Data Integration: The Role of AI and ML
— How to Use Pandas for Data Analysis
— Open Source Advent
— Bulk Text Analytics with Azure AI Language
— Top 10 Benefits of Artificial Intelligence (AI)
— Deciphering the EU's AI Act - A Technical Perspective
— Harness the power of multiple LLMs 🤝
— Google Gemini and Face Recognition

Посмотреть:

🌐 Mixtral 8x7B - это сет из 8 нейронок, которые работают вместе
🌐 How to use Llama2 locally (⏱ 09:00)
🌐 Ollama — модель уровня GPT. Используй GPT без ограничений и абсолютно бесплатно. (⏱ 07:40)
🌐 Shutil: лучший инструмент для управления файлами Python. (⏱ 17:05)
🌐 Как использовать API ChatGpt. Работа с Api c нуля (⏱ 12:42)
🌐 💡Задача Python: Максимальное среднее подмассива (⏱ 01:00)
🌐 Нахождение позиций в отсортированном массиве #python #array #shorts #сортировка (⏱ 00:40)
🌐 Lightning Interview "Catastrophic AI Risks" (⏱ 01:04:57)
🌐 Finetuning, Serving, and Evaluating LLMs in the Wild - Hao Zhang, PhD (⏱ 29:20)
🌐 New AI: 6,000,000,000 Steps In 24 Hours! (⏱ 08:28)
🌐 NVIDIA’s New AI: Virtual Worlds From Nothing! + Gemini Update! (⏱ 09:40)

Хорошего дня!

@bigdatai

Учёным и преподавателям в области Machine Learning вручили премию Yandex ML Prize

Это пятая премия Яндекса, направленная на развитие области машинного обучения. В этом году лауреатами стали 11 исследователей, среди их научных работ — разработка новых алгоритмов для решения задачи Шрёдингера, генеративные модели для компьютерного зрения и синтеза речи и решение проблемы архитектуры глубоких нейронных сетей. Исследования лауреатов расширяют возможности для прикладного применения ML-технологий.

📝 Путешествие данных. От источника к потребителю.

#BigData #Analytics #BI #DataScience #DataCleaning #DataProfiling #DataStrategy #SQL #MachineLearning #DataScientists #DataLake #DataWarehouse #CDO

@bigdatai

🔥 Дайджест полезных материалов из мира Больших данных за неделю

Почитать:
— Разметка данных в 2023 году: текущие тренды и требования будущего
— Полный отчет Github за 2023 о состоянии проектов.
— 100 вопросов для подготовки к собесу Python
— 10 лучших библиотек Python для графического интерфейса в 2024 году
— fsspec и вообще зачем оно нам нужно
— Заблуждения о семантической сегментации
— Расчетная архитектура платформы для A/B-тестов Mail.Ru
— Фреймворк для дизайна A/B-теста
— Методы балансировки в А/Б тестировании
— Зачем Программисту Микроконтроллеров Математическая Статистика? (или так ли хороши UWB трансиверы?)
— Automate the boring stuff with Julia
— Как выпустить ML-сервис в прод малыми силами: кейс работы в облаке
— АБ тесты и подводные камни при их автоматизации
— A Beginner’s Guide to Neural Networks
— How many stages are there for Amazon’s SQL interview?
— Unleashing Generative AI Capabilities: The Power of Large Language Models Explained
— Removing comments from code-based data source
— Revolutionizing Healthcare: Expanding Ultrasound Access with the Power of AI
— Data Scientist turned Dev Advocate
— AWS Reinvent 2023: Unleashing the Power of ML and Generative AI
— Adaptive Traffic Signal Control System
— Understanding Neuromorphic Chips: Revolutionizing Machine Learning
— Microsoft PHI-2 + Huggine Face + Langchain = Super Tiny Chatbot

Посмотреть:
🌐 Mixtral 8x7B - новый ИИ. Нейросети, которые ДОМИНИРУЮТ на другими моделями (⏱ 08:04)
🌐 100 вопросов с собеседований Python. Полный разбор реальных вопросов. (⏱ 34:27)
🌐 💡Крутая задача #Python: #python #программирование #код #yotube #youtube #питон (⏱ 00:49)
🌐 💡Задача #Python:Комбинация сумм II #python #программирование #код #yotube #youtube #пито (⏱ 00:54)
🌐 ODSC Webinar | Preparing for your First Enterprise Large Language Model (LLM) Application (⏱ 48:16)
🌐 Adversarial Validation and Training in Stock Market Price Prediction (⏱ 28:09)
🌐 NVIDIA’s New AI Is 20x Faster…But How? (⏱ 08:16)
🌐 Here’s How ChatGPT is Changing The World! (⏱ 08:33)

Хорошего дня!

@bigdatai

📱 Inpaint-iOS

Бесплатное приложение для рисования с открытым исходным кодом на базе coreml для iPhone / iPad / MacBook с процессором M.

https://github.com/wudijimao/Inpaint-iOS

@bigdatai