This media is not supported in your browser
VIEW IN TELEGRAM
🔍 MagicLens: Self-Supervised Image Retrieval with Open-Ended Instructions
MagicLens: новое семейство моделей для поиска изображений от Google.
Они обучены на 36,7 млн высококачественных триплетов (исходное изображение, запрос, целевое изображение)с богатыми семантическими связями.
Самое интересное, что MagicLens превосходят предыдущую SOTA на 10 различных бенчмарках по поиску изображений, при этом сами модели в 50 раз меньше.
▪Project: https://open-vision-language.github.io/MagicLens/
▪Paper: https://arxiv.org/abs/2403.19651
▪HF: https://huggingface.co/papers/2403.19651
@ai_machinelearning_big_data
MagicLens: новое семейство моделей для поиска изображений от Google.
Они обучены на 36,7 млн высококачественных триплетов (исходное изображение, запрос, целевое изображение)с богатыми семантическими связями.
Самое интересное, что MagicLens превосходят предыдущую SOTA на 10 различных бенчмарках по поиску изображений, при этом сами модели в 50 раз меньше.
▪Project: https://open-vision-language.github.io/MagicLens/
▪Paper: https://arxiv.org/abs/2403.19651
▪HF: https://huggingface.co/papers/2403.19651
@ai_machinelearning_big_data
👍20❤5🔥5❤🔥1
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍29❤11🥰4❤🔥1
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11❤6🔥3😁3🤓1
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
❤18👍8🔥2
🏎 Ускоряем инференс LLM
На Хабре вышла статья ML-разработчика из команды YandexGPT с разбором задачи ускорения инференса больших языковых моделей. Подробно описаны как популярные методы (дистилляция и квантизация), так и более специфичные Speculative Decoding и Continuous Batching.
Автор показал на примере, с какими сложностями сталкиваются команды при внедрении LLM-ок в реальные продукты.
Habr: https://habr.com/ru/companies/yandex/articles/801119/
@ai_machinelearning_big_data
На Хабре вышла статья ML-разработчика из команды YandexGPT с разбором задачи ускорения инференса больших языковых моделей. Подробно описаны как популярные методы (дистилляция и квантизация), так и более специфичные Speculative Decoding и Continuous Batching.
Автор показал на примере, с какими сложностями сталкиваются команды при внедрении LLM-ок в реальные продукты.
Habr: https://habr.com/ru/companies/yandex/articles/801119/
@ai_machinelearning_big_data
👍19❤3🥰2😁1🗿1
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁25👍13🤣4❤3🔥3🤨1
⚡️ LLocalSearch: completely locally running meta search engine using LLM Agents
Это полностью локально работающая система метапоиска, использующая LLM-агентов.
Пользователь может задать вопрос, и система будет использовать цепочку ИИ-агентов для поиска ответа. Пользователь может видеть прогресс работы и окончательный ответ. Ключи OpenAI или Google API не требуются.
▪Github
@ai_machinelearning_big_data
Это полностью локально работающая система метапоиска, использующая LLM-агентов.
Пользователь может задать вопрос, и система будет использовать цепочку ИИ-агентов для поиска ответа. Пользователь может видеть прогресс работы и окончательный ответ. Ключи OpenAI или Google API не требуются.
▪Github
@ai_machinelearning_big_data
👍25🔥12❤2
🦖 DINO-Tracker: Taming DINO for Self-Supervised Point Tracking in a Single Video
👉 Институт Вейцмана только что выпустил код для новой SOTA для отслеживания объектов.
▪Github: https://github.com/AssafSinger94/dino-tracker
▪Project: https://dino-tracker.github.io/
▪Paper: https://arxiv.org/abs/2403.14548
@ai_machinelearning_big_data
👉 Институт Вейцмана только что выпустил код для новой SOTA для отслеживания объектов.
▪Github: https://github.com/AssafSinger94/dino-tracker
▪Project: https://dino-tracker.github.io/
▪Paper: https://arxiv.org/abs/2403.14548
@ai_machinelearning_big_data
👍12❤8🔥8
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍45🔥27❤5
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥31👍13❤7
This media is not supported in your browser
VIEW IN TELEGRAM
🎥 Camera control for text-to-video.
CameraCtrl - модель, котороая обеспечивает точное управление положением камеры, что позволяет точно контролировать ракурсы и движения камеры при генерации виде.
▪Github: https://github.com/hehao13/CameraCtrl
▪Paper: http://arxiv.org/abs/2404.02101
▪Project: https://hehao13.github.io/projects-CameraCtrl/
▪Weights: https://huggingface.co/hehao13/CameraCtrl/tree/main
@ai_machinelearning_big_data
CameraCtrl - модель, котороая обеспечивает точное управление положением камеры, что позволяет точно контролировать ракурсы и движения камеры при генерации виде.
▪Github: https://github.com/hehao13/CameraCtrl
▪Paper: http://arxiv.org/abs/2404.02101
▪Project: https://hehao13.github.io/projects-CameraCtrl/
▪Weights: https://huggingface.co/hehao13/CameraCtrl/tree/main
@ai_machinelearning_big_data
❤13👍6🔥6
🔥 RAG From Scratch🔥
RAG (Retrieval Augmented Generation) — метод работы с LLM, при котором пользователь пишет свой вопросы, а разработчик программно дополняет информацию из внешних источников и подает все целиком на вход языковой модели. Другими словами, в контекст запроса к языковой модели добавляется информация, на основе которой языковая модель может дать пользователю более полный и точный ответ.
Это огромный список материалов, который помогут вам лучше понять RAG с нуля, начиная с основ индексации, поиска и генерации. В плелисте короткие видео (5-10 минут) и блокноты с кодом.
📌 Rag с нуля.
▪Репозиторий:
https://github.com/langchain-ai/rag-from-scratch
▪Плейлист с видео:
https://youtube.com/playlist?list=PLfaIDFEXuae2LXbO1_PKyVJiQ23ZztA0x&feature=shared
📌 Как RAG может измениться с помощью LLMS с длинным контекстом.
▪Видео: https://youtube.com/watch?v=SsHUNfhF32s
📌Адаптивный Rag
▪Видео:
https://youtu.be/04ighIjMcAI
▪Код:
https://github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_adaptive_rag_cohere .ipynb
▪Статья: https://arxiv.org/abs/2403.14403
📌 Проверки актуальности документов и возврата к поиску.
▪Видео:
https://youtube.com/watch?v=E2shqsYwxck
▪Код:
https://github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_crag.ipynb
▪Статья: https://arxiv.org/pdf/2401.15884.pdf
📌 Исправление ошибок в RAG:
▪Код: https://github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_self_rag.ipynb
Статья: https://arxiv.org/abs/2310.11511.pdf
📌Различные подходы для направления вопросов к нужному источнику данных:
▪Видео: https://youtu.be/pfpIndq7Fi8
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_10_and_11.ipynb
📌 Структурирование запросов
▪Видео: https://youtu.be/kl6NwWYxvbM
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_10_and_11.ipynb
▪Блог: https://blog.langchain.dev/query-construction/
2/ Глубокое погружение в graphDBs
: https://blog.langchain.dev/enhancing-rag-based-applications-accuracy-by-constructing-and-leveraging-knowledge-graphs/
3/ Структурирование запросов: https://python.langchain.com/docs/use_cases/query_analysis/techniques/structuring
4/ Самостоятельный поиск запросов: https://python.langchain.com/docs/modules/data_connection/retrievers/self_query
📌 Multi-Representation Indexing
▪Видео: https://youtu.be/gTCU9I6QqCE
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_12_to_14.ipynb
▪Статья: https://arxiv.org/pdf/2312.06648.pdf
📌 Группировка документов по схожести.
▪Видео: https://youtu.be/z_6EeA2LDSw
▪Код: https://github.com/langchain-ai/langchain/blob/master/cookbook/RAPTOR.ipynb
▪Статья: https://arxiv.org/pdf/2401.18059.pdf
📌 ColBERT
▪Видео: https://youtu.be/cN6S0Ehm7_8
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_12_to_14.ipynb
▪Статья: https://arxiv.org/abs/2004.12832
📌 Query Translation -- Multi Query
▪Видео: https://youtube.com/watch?v=JChPi0CRnDY
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Статья: https://arxiv.org/pdf/2305.14283.pdf
📌RAG Fusion
▪Видео: https://youtube.com/watch?v=77qELPbNgxA
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Код: https://github.com/Raudaschl/rag-fusion
📌 Query Translation -- Decomposition
▪Видео: https://youtube.com/watch?v=h0OPWlEOank
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Статьи: https://arxiv.org/pdf/2205.10625.pdf https://arxiv.org/pdf/2212.10509.pdf
📌 Query Translation -- Step Back
▪Видео: https://youtube.com/watch?v=xn1jEjRyJ2U
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Статья: https://arxiv.org/pdf/2310.06117.pdf
📌 Query Translation -- HyDE
▪Видео:
https://youtube.com/watch?v=SaDzIVkYqyY
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Статья: https://arxiv.org/abs/2212.10496
@ai_machinelearning_big_data
RAG (Retrieval Augmented Generation) — метод работы с LLM, при котором пользователь пишет свой вопросы, а разработчик программно дополняет информацию из внешних источников и подает все целиком на вход языковой модели. Другими словами, в контекст запроса к языковой модели добавляется информация, на основе которой языковая модель может дать пользователю более полный и точный ответ.
Это огромный список материалов, который помогут вам лучше понять RAG с нуля, начиная с основ индексации, поиска и генерации. В плелисте короткие видео (5-10 минут) и блокноты с кодом.
📌 Rag с нуля.
▪Репозиторий:
https://github.com/langchain-ai/rag-from-scratch
▪Плейлист с видео:
https://youtube.com/playlist?list=PLfaIDFEXuae2LXbO1_PKyVJiQ23ZztA0x&feature=shared
📌 Как RAG может измениться с помощью LLMS с длинным контекстом.
▪Видео: https://youtube.com/watch?v=SsHUNfhF32s
📌Адаптивный Rag
▪Видео:
https://youtu.be/04ighIjMcAI
▪Код:
https://github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_adaptive_rag_cohere .ipynb
▪Статья: https://arxiv.org/abs/2403.14403
📌 Проверки актуальности документов и возврата к поиску.
▪Видео:
https://youtube.com/watch?v=E2shqsYwxck
▪Код:
https://github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_crag.ipynb
▪Статья: https://arxiv.org/pdf/2401.15884.pdf
📌 Исправление ошибок в RAG:
▪Код: https://github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_self_rag.ipynb
Статья: https://arxiv.org/abs/2310.11511.pdf
📌Различные подходы для направления вопросов к нужному источнику данных:
▪Видео: https://youtu.be/pfpIndq7Fi8
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_10_and_11.ipynb
📌 Структурирование запросов
▪Видео: https://youtu.be/kl6NwWYxvbM
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_10_and_11.ipynb
▪Блог: https://blog.langchain.dev/query-construction/
2/ Глубокое погружение в graphDBs
: https://blog.langchain.dev/enhancing-rag-based-applications-accuracy-by-constructing-and-leveraging-knowledge-graphs/
3/ Структурирование запросов: https://python.langchain.com/docs/use_cases/query_analysis/techniques/structuring
4/ Самостоятельный поиск запросов: https://python.langchain.com/docs/modules/data_connection/retrievers/self_query
📌 Multi-Representation Indexing
▪Видео: https://youtu.be/gTCU9I6QqCE
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_12_to_14.ipynb
▪Статья: https://arxiv.org/pdf/2312.06648.pdf
📌 Группировка документов по схожести.
▪Видео: https://youtu.be/z_6EeA2LDSw
▪Код: https://github.com/langchain-ai/langchain/blob/master/cookbook/RAPTOR.ipynb
▪Статья: https://arxiv.org/pdf/2401.18059.pdf
📌 ColBERT
▪Видео: https://youtu.be/cN6S0Ehm7_8
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_12_to_14.ipynb
▪Статья: https://arxiv.org/abs/2004.12832
📌 Query Translation -- Multi Query
▪Видео: https://youtube.com/watch?v=JChPi0CRnDY
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Статья: https://arxiv.org/pdf/2305.14283.pdf
📌RAG Fusion
▪Видео: https://youtube.com/watch?v=77qELPbNgxA
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Код: https://github.com/Raudaschl/rag-fusion
📌 Query Translation -- Decomposition
▪Видео: https://youtube.com/watch?v=h0OPWlEOank
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Статьи: https://arxiv.org/pdf/2205.10625.pdf https://arxiv.org/pdf/2212.10509.pdf
📌 Query Translation -- Step Back
▪Видео: https://youtube.com/watch?v=xn1jEjRyJ2U
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Статья: https://arxiv.org/pdf/2310.06117.pdf
📌 Query Translation -- HyDE
▪Видео:
https://youtube.com/watch?v=SaDzIVkYqyY
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Статья: https://arxiv.org/abs/2212.10496
@ai_machinelearning_big_data
🔥38👍13❤5🥰1