@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁25👍13🤣4❤3🔥3🤨1
⚡️ LLocalSearch: completely locally running meta search engine using LLM Agents
Это полностью локально работающая система метапоиска, использующая LLM-агентов.
Пользователь может задать вопрос, и система будет использовать цепочку ИИ-агентов для поиска ответа. Пользователь может видеть прогресс работы и окончательный ответ. Ключи OpenAI или Google API не требуются.
▪Github
@ai_machinelearning_big_data
Это полностью локально работающая система метапоиска, использующая LLM-агентов.
Пользователь может задать вопрос, и система будет использовать цепочку ИИ-агентов для поиска ответа. Пользователь может видеть прогресс работы и окончательный ответ. Ключи OpenAI или Google API не требуются.
▪Github
@ai_machinelearning_big_data
👍25🔥12❤2
🦖 DINO-Tracker: Taming DINO for Self-Supervised Point Tracking in a Single Video
👉 Институт Вейцмана только что выпустил код для новой SOTA для отслеживания объектов.
▪Github: https://github.com/AssafSinger94/dino-tracker
▪Project: https://dino-tracker.github.io/
▪Paper: https://arxiv.org/abs/2403.14548
@ai_machinelearning_big_data
👉 Институт Вейцмана только что выпустил код для новой SOTA для отслеживания объектов.
▪Github: https://github.com/AssafSinger94/dino-tracker
▪Project: https://dino-tracker.github.io/
▪Paper: https://arxiv.org/abs/2403.14548
@ai_machinelearning_big_data
👍12❤8🔥8
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍45🔥27❤5
Всё об опенсорсе: мастер-классы, круглый стол, задачки и призы
Когда: 23 апреля
Где: Москва, «Агломерат» + онлайн-трансляция
О чем: вы узнаете, как сделать документацию и лендинг, выбрать правильную лицензию для опенсорс-проекта и выйти в открытый доступ.
А еще познакомитесь с разработчиками из Яндекса и других компаний, победителями Программы грантов Yandex Open Source, порешаете задачки и получите за них призы.
Регистрация на Yandex Open Source Jam по ссылке.
Когда: 23 апреля
Где: Москва, «Агломерат» + онлайн-трансляция
О чем: вы узнаете, как сделать документацию и лендинг, выбрать правильную лицензию для опенсорс-проекта и выйти в открытый доступ.
А еще познакомитесь с разработчиками из Яндекса и других компаний, победителями Программы грантов Yandex Open Source, порешаете задачки и получите за них призы.
Регистрация на Yandex Open Source Jam по ссылке.
❤10🔥5👍2🥰1🫡1
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥31👍13❤7
This media is not supported in your browser
VIEW IN TELEGRAM
🎥 Camera control for text-to-video.
CameraCtrl - модель, котороая обеспечивает точное управление положением камеры, что позволяет точно контролировать ракурсы и движения камеры при генерации виде.
▪Github: https://github.com/hehao13/CameraCtrl
▪Paper: http://arxiv.org/abs/2404.02101
▪Project: https://hehao13.github.io/projects-CameraCtrl/
▪Weights: https://huggingface.co/hehao13/CameraCtrl/tree/main
@ai_machinelearning_big_data
CameraCtrl - модель, котороая обеспечивает точное управление положением камеры, что позволяет точно контролировать ракурсы и движения камеры при генерации виде.
▪Github: https://github.com/hehao13/CameraCtrl
▪Paper: http://arxiv.org/abs/2404.02101
▪Project: https://hehao13.github.io/projects-CameraCtrl/
▪Weights: https://huggingface.co/hehao13/CameraCtrl/tree/main
@ai_machinelearning_big_data
❤13👍6🔥6
🔥 RAG From Scratch🔥
RAG (Retrieval Augmented Generation) — метод работы с LLM, при котором пользователь пишет свой вопросы, а разработчик программно дополняет информацию из внешних источников и подает все целиком на вход языковой модели. Другими словами, в контекст запроса к языковой модели добавляется информация, на основе которой языковая модель может дать пользователю более полный и точный ответ.
Это огромный список материалов, который помогут вам лучше понять RAG с нуля, начиная с основ индексации, поиска и генерации. В плелисте короткие видео (5-10 минут) и блокноты с кодом.
📌 Rag с нуля.
▪Репозиторий:
https://github.com/langchain-ai/rag-from-scratch
▪Плейлист с видео:
https://youtube.com/playlist?list=PLfaIDFEXuae2LXbO1_PKyVJiQ23ZztA0x&feature=shared
📌 Как RAG может измениться с помощью LLMS с длинным контекстом.
▪Видео: https://youtube.com/watch?v=SsHUNfhF32s
📌Адаптивный Rag
▪Видео:
https://youtu.be/04ighIjMcAI
▪Код:
https://github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_adaptive_rag_cohere .ipynb
▪Статья: https://arxiv.org/abs/2403.14403
📌 Проверки актуальности документов и возврата к поиску.
▪Видео:
https://youtube.com/watch?v=E2shqsYwxck
▪Код:
https://github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_crag.ipynb
▪Статья: https://arxiv.org/pdf/2401.15884.pdf
📌 Исправление ошибок в RAG:
▪Код: https://github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_self_rag.ipynb
Статья: https://arxiv.org/abs/2310.11511.pdf
📌Различные подходы для направления вопросов к нужному источнику данных:
▪Видео: https://youtu.be/pfpIndq7Fi8
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_10_and_11.ipynb
📌 Структурирование запросов
▪Видео: https://youtu.be/kl6NwWYxvbM
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_10_and_11.ipynb
▪Блог: https://blog.langchain.dev/query-construction/
2/ Глубокое погружение в graphDBs
: https://blog.langchain.dev/enhancing-rag-based-applications-accuracy-by-constructing-and-leveraging-knowledge-graphs/
3/ Структурирование запросов: https://python.langchain.com/docs/use_cases/query_analysis/techniques/structuring
4/ Самостоятельный поиск запросов: https://python.langchain.com/docs/modules/data_connection/retrievers/self_query
📌 Multi-Representation Indexing
▪Видео: https://youtu.be/gTCU9I6QqCE
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_12_to_14.ipynb
▪Статья: https://arxiv.org/pdf/2312.06648.pdf
📌 Группировка документов по схожести.
▪Видео: https://youtu.be/z_6EeA2LDSw
▪Код: https://github.com/langchain-ai/langchain/blob/master/cookbook/RAPTOR.ipynb
▪Статья: https://arxiv.org/pdf/2401.18059.pdf
📌 ColBERT
▪Видео: https://youtu.be/cN6S0Ehm7_8
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_12_to_14.ipynb
▪Статья: https://arxiv.org/abs/2004.12832
📌 Query Translation -- Multi Query
▪Видео: https://youtube.com/watch?v=JChPi0CRnDY
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Статья: https://arxiv.org/pdf/2305.14283.pdf
📌RAG Fusion
▪Видео: https://youtube.com/watch?v=77qELPbNgxA
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Код: https://github.com/Raudaschl/rag-fusion
📌 Query Translation -- Decomposition
▪Видео: https://youtube.com/watch?v=h0OPWlEOank
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Статьи: https://arxiv.org/pdf/2205.10625.pdf https://arxiv.org/pdf/2212.10509.pdf
📌 Query Translation -- Step Back
▪Видео: https://youtube.com/watch?v=xn1jEjRyJ2U
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Статья: https://arxiv.org/pdf/2310.06117.pdf
📌 Query Translation -- HyDE
▪Видео:
https://youtube.com/watch?v=SaDzIVkYqyY
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Статья: https://arxiv.org/abs/2212.10496
@ai_machinelearning_big_data
RAG (Retrieval Augmented Generation) — метод работы с LLM, при котором пользователь пишет свой вопросы, а разработчик программно дополняет информацию из внешних источников и подает все целиком на вход языковой модели. Другими словами, в контекст запроса к языковой модели добавляется информация, на основе которой языковая модель может дать пользователю более полный и точный ответ.
Это огромный список материалов, который помогут вам лучше понять RAG с нуля, начиная с основ индексации, поиска и генерации. В плелисте короткие видео (5-10 минут) и блокноты с кодом.
📌 Rag с нуля.
▪Репозиторий:
https://github.com/langchain-ai/rag-from-scratch
▪Плейлист с видео:
https://youtube.com/playlist?list=PLfaIDFEXuae2LXbO1_PKyVJiQ23ZztA0x&feature=shared
📌 Как RAG может измениться с помощью LLMS с длинным контекстом.
▪Видео: https://youtube.com/watch?v=SsHUNfhF32s
📌Адаптивный Rag
▪Видео:
https://youtu.be/04ighIjMcAI
▪Код:
https://github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_adaptive_rag_cohere .ipynb
▪Статья: https://arxiv.org/abs/2403.14403
📌 Проверки актуальности документов и возврата к поиску.
▪Видео:
https://youtube.com/watch?v=E2shqsYwxck
▪Код:
https://github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_crag.ipynb
▪Статья: https://arxiv.org/pdf/2401.15884.pdf
📌 Исправление ошибок в RAG:
▪Код: https://github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_self_rag.ipynb
Статья: https://arxiv.org/abs/2310.11511.pdf
📌Различные подходы для направления вопросов к нужному источнику данных:
▪Видео: https://youtu.be/pfpIndq7Fi8
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_10_and_11.ipynb
📌 Структурирование запросов
▪Видео: https://youtu.be/kl6NwWYxvbM
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_10_and_11.ipynb
▪Блог: https://blog.langchain.dev/query-construction/
2/ Глубокое погружение в graphDBs
: https://blog.langchain.dev/enhancing-rag-based-applications-accuracy-by-constructing-and-leveraging-knowledge-graphs/
3/ Структурирование запросов: https://python.langchain.com/docs/use_cases/query_analysis/techniques/structuring
4/ Самостоятельный поиск запросов: https://python.langchain.com/docs/modules/data_connection/retrievers/self_query
📌 Multi-Representation Indexing
▪Видео: https://youtu.be/gTCU9I6QqCE
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_12_to_14.ipynb
▪Статья: https://arxiv.org/pdf/2312.06648.pdf
📌 Группировка документов по схожести.
▪Видео: https://youtu.be/z_6EeA2LDSw
▪Код: https://github.com/langchain-ai/langchain/blob/master/cookbook/RAPTOR.ipynb
▪Статья: https://arxiv.org/pdf/2401.18059.pdf
📌 ColBERT
▪Видео: https://youtu.be/cN6S0Ehm7_8
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_12_to_14.ipynb
▪Статья: https://arxiv.org/abs/2004.12832
📌 Query Translation -- Multi Query
▪Видео: https://youtube.com/watch?v=JChPi0CRnDY
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Статья: https://arxiv.org/pdf/2305.14283.pdf
📌RAG Fusion
▪Видео: https://youtube.com/watch?v=77qELPbNgxA
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Код: https://github.com/Raudaschl/rag-fusion
📌 Query Translation -- Decomposition
▪Видео: https://youtube.com/watch?v=h0OPWlEOank
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Статьи: https://arxiv.org/pdf/2205.10625.pdf https://arxiv.org/pdf/2212.10509.pdf
📌 Query Translation -- Step Back
▪Видео: https://youtube.com/watch?v=xn1jEjRyJ2U
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Статья: https://arxiv.org/pdf/2310.06117.pdf
📌 Query Translation -- HyDE
▪Видео:
https://youtube.com/watch?v=SaDzIVkYqyY
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Статья: https://arxiv.org/abs/2212.10496
@ai_machinelearning_big_data
🔥38👍13❤5🥰1
🚀 Yandex Cloud запустил программу сертификации по облачным технологиям, соответствующую российским и международным стандартам. Экзамен на сертификат включает вопросы из 6 доменов: облачные технологии, хранение данных, DevOps, безсерверные вычисления, информационная безопасность и биллинг.
💼 Специалисты по облачным технологиям смогут подтвердить свои знания и получить преимущество при найме, а компании — проверить компетенции сотрудников.
🔍 Экзамен проводится онлайн и состоит из 65 вопросов. Для получения сертификата нужно ответить правильно на 70%. Процесс контролируется ИИ-прокторингом (чтобы все было честно и никто не списывал).
📅 Первый экзамен назначен на 11 апреля. Для подготовки можно пройти курс "Инженер облачных сервисов".
🌟 В дальнейшем Yandex Cloud планирует расширять линейку сертификаций для облачных профессий. У компании уже запущены обучающие программы по DevOps, информационной безопасности и другим специализациям.
💼 Специалисты по облачным технологиям смогут подтвердить свои знания и получить преимущество при найме, а компании — проверить компетенции сотрудников.
🔍 Экзамен проводится онлайн и состоит из 65 вопросов. Для получения сертификата нужно ответить правильно на 70%. Процесс контролируется ИИ-прокторингом (чтобы все было честно и никто не списывал).
📅 Первый экзамен назначен на 11 апреля. Для подготовки можно пройти курс "Инженер облачных сервисов".
🌟 В дальнейшем Yandex Cloud планирует расширять линейку сертификаций для облачных профессий. У компании уже запущены обучающие программы по DevOps, информационной безопасности и другим специализациям.
👍10❤4🔥3
⚡️ Awesome CVPR 2024 Papers, Workshops, Challenges, and Tutorials!
На конференцию 2024 года по компьютерному зрению и распознаванию образов (CVPR) поступило 11 532 статей, из которых только 2 719 были приняты, что составляет около 23,6% от общего числа.
Ниже приведен список лучших докладов, гайдов, статей, семинаров и датасетов с CVPR 2024.
▪Github
@ai_machinelearning_big_data
На конференцию 2024 года по компьютерному зрению и распознаванию образов (CVPR) поступило 11 532 статей, из которых только 2 719 были приняты, что составляет около 23,6% от общего числа.
Ниже приведен список лучших докладов, гайдов, статей, семинаров и датасетов с CVPR 2024.
▪Github
@ai_machinelearning_big_data
👍14🔥7❤6
This media is not supported in your browser
VIEW IN TELEGRAM
🌟 Open-Sora-Plan v1.0.0, which significantly enhances video generation quality and text control capabilities.
Open-Sora-Plan версии 1.0.0 - модель генерации, которая может генерировать 10-секундное видео с разрешением 1024 × 1024 со скоростью 24 кадра в секунду.
Кроме того, она способна генерировать изображения с высоким разрешением.
▪Github
@ai_machinelearning_big_data
Open-Sora-Plan версии 1.0.0 - модель генерации, которая может генерировать 10-секундное видео с разрешением 1024 × 1024 со скоростью 24 кадра в секунду.
Кроме того, она способна генерировать изображения с высоким разрешением.
▪Github
@ai_machinelearning_big_data
🔥48👍8⚡3❤1
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ MiniGPT4-Video: Advancing Multimodal LLMs for Video Understanding with Interleaved Visual-Textual Tokens
➡️ MiniGPT4-Video: новый мультимодальный LLM для понимания видео с помощью чередующихся визуально-текстовых токенов.
В MiniGPT4 учитывается не только визуальный контент, но и диалоги в видео, это позволяет модели эффективно отвечать на запросы, включающие как визуальные, так и текстовые компоненты.
Модель превосходит существующие современные модели, достигаяв 4,22%, 1,13%, 20,82% и 13,1% в тестах MSVD, MSRVTT, TGIF и TVQA соответственн
Во время логического вывода для создания субтитров к видео используется модель преобразования речи в текст - Whisper model. Затем и видео, и субтитры подаются на вход в модель MiniGPT4-Video с промптами, и модель выводит ответы на ваш запрос.
▪code: https://github.com/Vision-CAIR/MiniGPT4-video
▪page: https://vision-cair.github.io/MiniGPT4-video/
▪paper: https://arxiv.org/abs/2404.03413
▪jupyter: https://github.com/camenduru/MiniGPT4-video-jupyter
ai_machinelearning_big_data
➡️ MiniGPT4-Video: новый мультимодальный LLM для понимания видео с помощью чередующихся визуально-текстовых токенов.
В MiniGPT4 учитывается не только визуальный контент, но и диалоги в видео, это позволяет модели эффективно отвечать на запросы, включающие как визуальные, так и текстовые компоненты.
Модель превосходит существующие современные модели, достигаяв 4,22%, 1,13%, 20,82% и 13,1% в тестах MSVD, MSRVTT, TGIF и TVQA соответственн
Во время логического вывода для создания субтитров к видео используется модель преобразования речи в текст - Whisper model. Затем и видео, и субтитры подаются на вход в модель MiniGPT4-Video с промптами, и модель выводит ответы на ваш запрос.
git clone https://github.com/Vision-CAIR/MiniGPT4-video.git
▪code: https://github.com/Vision-CAIR/MiniGPT4-video
▪page: https://vision-cair.github.io/MiniGPT4-video/
▪paper: https://arxiv.org/abs/2404.03413
▪jupyter: https://github.com/camenduru/MiniGPT4-video-jupyter
ai_machinelearning_big_data
👍17❤4🔥4🥰1
🦾 Made With ML: Learn how to combine machine learning with software engineering to design, develop, deploy and iterate on production-grade ML applications.
100% бесплатный курс, который поможет вам научиться писать код производственного уровня MLOps.
Курс научит вас всему, начиная с проектирования, моделирования, тестирования, работу с моделями обучения и многому другому бесплатно!
Более 35 тысяч звезд на Github
Узнайте, как проектировать, разрабатывать, развертывать и работать с ML приложеними производственного уровня.
▪Course
▪Overview
▪ Jupyter notebook
ai_machinelearning_big_data
100% бесплатный курс, который поможет вам научиться писать код производственного уровня MLOps.
Курс научит вас всему, начиная с проектирования, моделирования, тестирования, работу с моделями обучения и многому другому бесплатно!
Более 35 тысяч звезд на Github
Узнайте, как проектировать, разрабатывать, развертывать и работать с ML приложеними производственного уровня.
▪Course
▪Overview
▪ Jupyter notebook
ai_machinelearning_big_data
❤21👍15🔥7👏2