🪞 Mirror: A Universal Framework for Various Information Extraction Tasks
Мощный инструмент для решения практически всех задач извлечения и унификации информации.
Предварительно обученная модель Mirror в настоящее время поддерживает задачи IE на английском языке.
🖥 Github: https://github.com/Spico197/Mirror
📕Paper: https://arxiv.org/abs/2311.05419v1
🌐 Dataset: https://paperswithcode.com/dataset/glue
@Devsp — Подписаться
Мощный инструмент для решения практически всех задач извлечения и унификации информации.
Предварительно обученная модель Mirror в настоящее время поддерживает задачи IE на английском языке.
🖥 Github: https://github.com/Spico197/Mirror
📕Paper: https://arxiv.org/abs/2311.05419v1
🌐 Dataset: https://paperswithcode.com/dataset/glue
@Devsp — Подписаться
🚀 Whisper-V3 / Consistency Decoder
Whisper — это предварительно обученная модель автоматического распознавания речи (ASR) и перевода речи.
Модели Whisper, обученные на 680 тысячах часов размеченных данных, демонстрируют сильную способность обобщать множество наборов данных и областей без необходимости тонкой настройки.
Модели, говорящие только на английском языке, были обучены задаче распознавания речи.
Для распознавания речи модель прогнозирует транскрипцию на том же языке, что и звук.
- Whisper paper: https://arxiv.org/abs/2212.04356
- Whisper-V3 checkpoint: https://github.com/openai/whisper/discussions/1762
- Consistency Models: https://arxiv.org/abs/2303.01469
- Consistency Decoder release: https://github.com/openai/consistencydecoder
@Devsp — Подписаться
Whisper — это предварительно обученная модель автоматического распознавания речи (ASR) и перевода речи.
Модели Whisper, обученные на 680 тысячах часов размеченных данных, демонстрируют сильную способность обобщать множество наборов данных и областей без необходимости тонкой настройки.
Модели, говорящие только на английском языке, были обучены задаче распознавания речи.
Для распознавания речи модель прогнозирует транскрипцию на том же языке, что и звук.
- Whisper paper: https://arxiv.org/abs/2212.04356
- Whisper-V3 checkpoint: https://github.com/openai/whisper/discussions/1762
- Consistency Models: https://arxiv.org/abs/2303.01469
- Consistency Decoder release: https://github.com/openai/consistencydecoder
@Devsp — Подписаться
🔥 Text Generation Inference v2.0.0 — готовый сервер для инференса LLM, написанный на Rust, Python и gRPC.
Text Generation Inference (TGI) — это набор инструментов для развертывания и обслуживания моделей большого языка (LLM).
TGI обеспечивает высокопроизводительную генерацию текста для самых популярных LLM с открытым исходным кодом, включая Llama, Falcon, StarCoder, BLOOM, GPT-NeoX и других.
В новую версию Text Generation Inference добавлена поддержка модели Command R+.
Используя возможности Medusa heads, на тестах достигается беспрецедентная скорость с задержкой всего в 9 мс на токен для модели 104B!
• Github
• Установка
@Devsp — Подписаться
Text Generation Inference (TGI) — это набор инструментов для развертывания и обслуживания моделей большого языка (LLM).
TGI обеспечивает высокопроизводительную генерацию текста для самых популярных LLM с открытым исходным кодом, включая Llama, Falcon, StarCoder, BLOOM, GPT-NeoX и других.
В новую версию Text Generation Inference добавлена поддержка модели Command R+.
Используя возможности Medusa heads, на тестах достигается беспрецедентная скорость с задержкой всего в 9 мс на токен для модели 104B!
• Github
• Установка
@Devsp — Подписаться
🔥Создание 3D-моделей из плоской картинки с помощью DUSt3R
DUSt3R — новый подход геометрического конструирования 3D на основе 2D (Dense and Unconstrained Stereo 3D Reconstruction).
DUSt3R не требует калибровки камеры или данных о точке обзора.
🖥GitHub
@Devsp — Подписаться
DUSt3R — новый подход геометрического конструирования 3D на основе 2D (Dense and Unconstrained Stereo 3D Reconstruction).
DUSt3R не требует калибровки камеры или данных о точке обзора.
🖥GitHub
@Devsp — Подписаться
🚀 Introducing YOLO-NAS Pose : A Game-Changer in Pose Estimation
YOLO-NAS обеспечивает современную производительность с непревзойденной точностью и скоростью, превосходя другие модели, такие как YOLOv5, YOLOv6, YOLOv7 и YOLOv8.
Для решения различных задач модель выпускается в четырех вариантах, каждый из которых имеет свой размер и время задержки.
Также доступна модель YOLO-NAS-POSE для оценки позы, обеспечивающая современный компромисс между точностью и производительностью.
🖥 Github: https://github.com/Deci-AI/super-gradients
📕Notebook: https://colab.research.google.com/drive/1O4N5Vbzv0rfkT81LQidPktX8RtoS5A40
🚀 Demo: https://huggingface.co/spaces/Deci/YOLO-NAS-Pose-Demo
🌐 Colab: https://colab.research.google.com/drive/1agLj0aGx48C_rZPrTkeA18kuncack6lF
@Devsp — Подписаться
YOLO-NAS обеспечивает современную производительность с непревзойденной точностью и скоростью, превосходя другие модели, такие как YOLOv5, YOLOv6, YOLOv7 и YOLOv8.
Для решения различных задач модель выпускается в четырех вариантах, каждый из которых имеет свой размер и время задержки.
Также доступна модель YOLO-NAS-POSE для оценки позы, обеспечивающая современный компромисс между точностью и производительностью.
🖥 Github: https://github.com/Deci-AI/super-gradients
📕Notebook: https://colab.research.google.com/drive/1O4N5Vbzv0rfkT81LQidPktX8RtoS5A40
🚀 Demo: https://huggingface.co/spaces/Deci/YOLO-NAS-Pose-Demo
🌐 Colab: https://colab.research.google.com/drive/1agLj0aGx48C_rZPrTkeA18kuncack6lF
@Devsp — Подписаться
👍1
⚡️ EntitySeg Toolbox: Towards open-world and high-quality image segmentation
EntitySeg — это набор инструментов с открытым исходным кодом, предназначенный для сегментации изображений в открытом мире и высокого качества.
🖥 Github: https://github.com/qqlu/entity
📕Paper: https://arxiv.org/abs/2311.03352v1
🌐 Dataset: https://paperswithcode.com/dataset/coco
@Devsp — Подписаться
EntitySeg — это набор инструментов с открытым исходным кодом, предназначенный для сегментации изображений в открытом мире и высокого качества.
🖥 Github: https://github.com/qqlu/entity
📕Paper: https://arxiv.org/abs/2311.03352v1
🌐 Dataset: https://paperswithcode.com/dataset/coco
@Devsp — Подписаться
🖥TORCH UNCERTAINTY
TorchUncertainty — это пакет, разработанный, чтобы помочь вам использовать методы количественной оценки неопределенности и сделать ваши глубокие нейронные сети более надежными.
TorchUncertainty в настоящее время поддерживает классификацию, вероятностную и точечную регрессию и сегментацию.
🖥 Github: https://github.com/ensta-u2is/torch-uncertainty
📕Paper: https://arxiv.org/abs/2311.01434v1
⏩Project: https://llmrec.github.io/
👣Api: https://torch-uncertainty.github.io/api.html
🌐 Dataset: https://paperswithcode.com/dataset/cifar-10
@Devsp — Подписаться
TorchUncertainty — это пакет, разработанный, чтобы помочь вам использовать методы количественной оценки неопределенности и сделать ваши глубокие нейронные сети более надежными.
TorchUncertainty в настоящее время поддерживает классификацию, вероятностную и точечную регрессию и сегментацию.
🖥 Github: https://github.com/ensta-u2is/torch-uncertainty
📕Paper: https://arxiv.org/abs/2311.01434v1
⏩Project: https://llmrec.github.io/
👣Api: https://torch-uncertainty.github.io/api.html
🌐 Dataset: https://paperswithcode.com/dataset/cifar-10
@Devsp — Подписаться
⚡️ LLMRec: Large Language Models with Graph Augmentation for Recommendation
LLMRec — это новая структура, которая расширяет возможности рекомендателей за счет применения трех простых, но эффективных стратегий расширения графов на основе LLM к системе рекомендаций.
🖥 Github: https://github.com/hkuds/llmrec
📕Paper: https://arxiv.org/abs/2311.00423v1
⏩Project: https://llmrec.github.io/
🌐 Dataset: https://llmrec.github.io/#
@Devsp — Подписаться
LLMRec — это новая структура, которая расширяет возможности рекомендателей за счет применения трех простых, но эффективных стратегий расширения графов на основе LLM к системе рекомендаций.
🖥 Github: https://github.com/hkuds/llmrec
📕Paper: https://arxiv.org/abs/2311.00423v1
⏩Project: https://llmrec.github.io/
🌐 Dataset: https://llmrec.github.io/#
@Devsp — Подписаться
Приглашаем выпускников и студентов старших курсов программ бакалавриата по математике и IT испытать себя сложными математическими задачами машинного обучения в рамках олимпиады «Математика машинного обучения».
Победители олимпиады получат призы и могут быть зачислены на совместную магистратуру Сколтеха и НИУ ВШЭ «Математика машинного обучения» (победа в олимпиаде приравнивается к успешному прохождению конкурсного отбора).
Регистрация открыта до 5 мая, успейте подать заявку и загрузить все документы
Победители олимпиады получат призы и могут быть зачислены на совместную магистратуру Сколтеха и НИУ ВШЭ «Математика машинного обучения» (победа в олимпиаде приравнивается к успешному прохождению конкурсного отбора).
Регистрация открыта до 5 мая, успейте подать заявку и загрузить все документы
💻 AutoCodeRover: Autonomous Program Improvement
AutoCodeRover — это полностью автоматизированный подход к решению проблем GitHub (исправление ошибок и добавление функций), в котором LLM сочетается с возможностями анализа и отладки для определения приоритетности местоположений исправлений, которые в конечном итоге приводят к созданию исправления.
AutoCodeRover решает ~ 16 % проблем SWE-bench (всего 2294 проблем GitHub) и ~ 22 % проблем SWE-bench lite (всего 300 проблем GitHub), улучшая текущую эффективность инженеров-программистов искусственного интеллекта.
▪️Github
▪️Paper
@Devsp — Подписаться
AutoCodeRover — это полностью автоматизированный подход к решению проблем GitHub (исправление ошибок и добавление функций), в котором LLM сочетается с возможностями анализа и отладки для определения приоритетности местоположений исправлений, которые в конечном итоге приводят к созданию исправления.
AutoCodeRover решает ~ 16 % проблем SWE-bench (всего 2294 проблем GitHub) и ~ 22 % проблем SWE-bench lite (всего 300 проблем GitHub), улучшая текущую эффективность инженеров-программистов искусственного интеллекта.
▪️Github
▪️Paper
@Devsp — Подписаться
Студенты из России выиграли ICPC
ICPC — самая престижная международная олимпиада по программированию в мире. Соревнования проходили в Египте, причем было проведено сразу два финала олимпиады — за 2022 и 2023 годы.
За 2023 год абсолютными чемпионами стала команда FFTilted. В ее составе — Фёдор Ромашов, Александр Бабин и Кирилл Кудряшов. Ребята обошли команду из Пекинского университета, которая была чемпионом 2022 года.
Третье место в абсолютном зачете 2022 года заняла команда Undertrained+Overpressured. Ее представляли Максим Гороховский, Иван Сафонов и Тимофей Федосеев.
Обе команды состоят из студентов факультета компьютерных наук ВШЭ, а команда, занявшая первое место – студенты программы Прикладной математики и информатики (ПМИ), созданной Яндексом в момент основания факультета. Всего в международной олимпиаде приняли участие студенты из 170 университетов и 50 стран мира.
Победа в ICPC — это очень круто. Знаем, что крупнейшие технологические компании активно хантят победителей соревнований. Респект от всего сообщества программистов.
Читать…
ICPC — самая престижная международная олимпиада по программированию в мире. Соревнования проходили в Египте, причем было проведено сразу два финала олимпиады — за 2022 и 2023 годы.
За 2023 год абсолютными чемпионами стала команда FFTilted. В ее составе — Фёдор Ромашов, Александр Бабин и Кирилл Кудряшов. Ребята обошли команду из Пекинского университета, которая была чемпионом 2022 года.
Третье место в абсолютном зачете 2022 года заняла команда Undertrained+Overpressured. Ее представляли Максим Гороховский, Иван Сафонов и Тимофей Федосеев.
Обе команды состоят из студентов факультета компьютерных наук ВШЭ, а команда, занявшая первое место – студенты программы Прикладной математики и информатики (ПМИ), созданной Яндексом в момент основания факультета. Всего в международной олимпиаде приняли участие студенты из 170 университетов и 50 стран мира.
Победа в ICPC — это очень круто. Знаем, что крупнейшие технологические компании активно хантят победителей соревнований. Респект от всего сообщества программистов.
Читать…
👑Introducing Meta Llama 3: The most capable openly available LLM to date
В этом выпуске представлены предварительно обученные и точно настроенные языковые модели с параметрами 8B и 70B, которые могут поддерживать широкий спектр вариантов использования.
Следующее поколение Llama демонстрирует современную производительность в широком диапазоне отраслевых тестов и предлагает новые возможности, включая улучшенное мышление.
Новые модели Llama 3 с параметрами 8B и 70B являются большим шагом вперед по сравнению с Llama 2 и устанавливают новый уровень развития моделей LLM в этих масштабах.
•HF: https://huggingface.co/spaces/ysharma/Chat_with_Meta_llama3_8b
•Blog: https://ai.meta.com/blog/meta-llama-3/
@Devsp — Подписаться
В этом выпуске представлены предварительно обученные и точно настроенные языковые модели с параметрами 8B и 70B, которые могут поддерживать широкий спектр вариантов использования.
Следующее поколение Llama демонстрирует современную производительность в широком диапазоне отраслевых тестов и предлагает новые возможности, включая улучшенное мышление.
Новые модели Llama 3 с параметрами 8B и 70B являются большим шагом вперед по сравнению с Llama 2 и устанавливают новый уровень развития моделей LLM в этих масштабах.
•HF: https://huggingface.co/spaces/ysharma/Chat_with_Meta_llama3_8b
•Blog: https://ai.meta.com/blog/meta-llama-3/
@Devsp — Подписаться
✨ HairFastGAN: Realistic and Robust Hair Transfer with a Fast Encoder-Based Approach
Новая модель для переноса прически с эталонного изображения на исходную фотографию для виртуальной примерочной.
Эффективность подхода демонстрируется на показателях реализма после случайного переноса прически и реконструкции при переносе исходной прически.
▪️ Paper: https://arxiv.org/abs/2404.01094
▪️Code: https://github.com/AIRI-Institute/HairFastGAN
▪️Colab: https://colab.research.google.com/#fileId=https%3A//huggingface.co/AIRI-Institute/HairFastGAN/blob/main/notebooks/HairFast_inference.ipynb
@Devsp — Подписаться
Новая модель для переноса прически с эталонного изображения на исходную фотографию для виртуальной примерочной.
Эффективность подхода демонстрируется на показателях реализма после случайного переноса прически и реконструкции при переносе исходной прически.
▪️ Paper: https://arxiv.org/abs/2404.01094
▪️Code: https://github.com/AIRI-Institute/HairFastGAN
▪️Colab: https://colab.research.google.com/#fileId=https%3A//huggingface.co/AIRI-Institute/HairFastGAN/blob/main/notebooks/HairFast_inference.ipynb
@Devsp — Подписаться
🦙 Файнтюниг Llama 3 с помощью ORPO.
Краткое руководство о том, как настроить новую модель Llama 3 8B с ORPO.
Эта модель использует контекстное окно размером 8 КБ.
Он был обучен с помощью шаблона ChatML.
🤗 Модель: https://huggingface.co/mlabonne/OrpoLlama-3-8B
💻 Colab: https://colab.research.google.com/drive/1eHNWg9gnaXErdAa8_mcvjMupbSS6rDvi?usp=sharing
📝 Статья: https://huggingface.co/blog/mlabonne/orpo-llama-3
@Devsp — Подписаться
Краткое руководство о том, как настроить новую модель Llama 3 8B с ORPO.
Эта модель использует контекстное окно размером 8 КБ.
Он был обучен с помощью шаблона ChatML.
🤗 Модель: https://huggingface.co/mlabonne/OrpoLlama-3-8B
💻 Colab: https://colab.research.google.com/drive/1eHNWg9gnaXErdAa8_mcvjMupbSS6rDvi?usp=sharing
📝 Статья: https://huggingface.co/blog/mlabonne/orpo-llama-3
@Devsp — Подписаться
🔥 Learning From Mistakes Makes LLM Better Reasoner
Модели больших языков (LLM) недавно продемонстрировали замечательные способности к рассуждению на решение математических задач.
Имитируя этот процесс обучения, основанный на ошибках, LEMA точно настраивает LLM на парах данных для исправления ошибок, сгенерированных GPT-4.
LLM и две задачи по математическому рассуждению, LEMA последовательно улучшает производительность по сравнению с точной настройкой только на основе данных CoT.
🖥 Github: https://github.com/microsoft/codet
📕Paper: https://arxiv.org/pdf/2310.20689v1.pdf
⏩Dataset: https://paperswithcode.com/dataset/math
@Devsp — Подписаться
Модели больших языков (LLM) недавно продемонстрировали замечательные способности к рассуждению на решение математических задач.
Имитируя этот процесс обучения, основанный на ошибках, LEMA точно настраивает LLM на парах данных для исправления ошибок, сгенерированных GPT-4.
LLM и две задачи по математическому рассуждению, LEMA последовательно улучшает производительность по сравнению с точной настройкой только на основе данных CoT.
🖥 Github: https://github.com/microsoft/codet
📕Paper: https://arxiv.org/pdf/2310.20689v1.pdf
⏩Dataset: https://paperswithcode.com/dataset/math
@Devsp — Подписаться
🪄IC|TC: Image Clustering Conditioned on Text Criteria
Новая методология кластеризации изображений на основе заданных пользователем критериев в форме текста с использованием современных моделей визуального языка и больших языковых моделей.
В данной работе представлена новая методика кластеризации изображений на основе заданных пользователем текстовых описаний с использованием современных моделей "зрение-язык" и больших языковых моделей.
Метод Image Clustering Conditioned on Text Criteria (IC TC), представляет собой новую парадигму кластеризации изображений и требует минимального вмешательства человека и предоставляет пользователю полный контроль над результатами кластеризации.
🖥 Github: https://github.com/sehyunkwon/ictc
📕Paper: https://arxiv.org/pdf/2310.18297v2.pdf
⏩Tasks: https://paperswithcode.com/task/clustering
@Devsp — Подписаться
Новая методология кластеризации изображений на основе заданных пользователем критериев в форме текста с использованием современных моделей визуального языка и больших языковых моделей.
В данной работе представлена новая методика кластеризации изображений на основе заданных пользователем текстовых описаний с использованием современных моделей "зрение-язык" и больших языковых моделей.
Метод Image Clustering Conditioned on Text Criteria (IC TC), представляет собой новую парадигму кластеризации изображений и требует минимального вмешательства человека и предоставляет пользователю полный контроль над результатами кластеризации.
🖥 Github: https://github.com/sehyunkwon/ictc
📕Paper: https://arxiv.org/pdf/2310.18297v2.pdf
⏩Tasks: https://paperswithcode.com/task/clustering
@Devsp — Подписаться
☑ PERF: Panoramic Neural Radiance Field from a Single Panorama
PERF - новая систему синтеза изображений на 360 градусов, которая обучает панорамное поле нейронного излучения из одной панорамы.
PERF позволяет перемещать 3D-изображения в сложной сцене без дорогостоящего и утомительного сбора изображений.
Модель подходит для задач преобразование панорамы в 3D, текста в 3D и стилизации 3D-сцен.
🖥 Github: https://github.com/perf-project/PeRF
⚡️Project: https://perf-project.github.io/
📕Paper: https://arxiv.org/abs/2310.16831v1
⏩Dataset: https://paperswithcode.com/dataset/replica
@Devsp — Подписаться
PERF - новая систему синтеза изображений на 360 градусов, которая обучает панорамное поле нейронного излучения из одной панорамы.
PERF позволяет перемещать 3D-изображения в сложной сцене без дорогостоящего и утомительного сбора изображений.
Модель подходит для задач преобразование панорамы в 3D, текста в 3D и стилизации 3D-сцен.
🖥 Github: https://github.com/perf-project/PeRF
⚡️Project: https://perf-project.github.io/
📕Paper: https://arxiv.org/abs/2310.16831v1
⏩Dataset: https://paperswithcode.com/dataset/replica
@Devsp — Подписаться
🔅 FreeNoise: Tuning-Free Longer Video Diffusion via Noise Rescheduling
LongerCrafter (FreeNoise) — это не требующая настройки и экономящая время парадигма для создания более длинных видео на основе предварительно обученных моделей распространения видео.
Обширные эксперименты показывают превосходство данного метода по сравнению с предыдущими для расширения генеративных возможностей диффузионных моделей видео.
🖥 Github: https://github.com/arthur-qiu/LongerCrafter
📕 Paper: https://arxiv.org/abs/2310.15169
⏩ Project: http://haonanqiu.com/projects/FreeNoise.html
@Devsp — Подписаться
LongerCrafter (FreeNoise) — это не требующая настройки и экономящая время парадигма для создания более длинных видео на основе предварительно обученных моделей распространения видео.
Обширные эксперименты показывают превосходство данного метода по сравнению с предыдущими для расширения генеративных возможностей диффузионных моделей видео.
🖥 Github: https://github.com/arthur-qiu/LongerCrafter
📕 Paper: https://arxiv.org/abs/2310.15169
⏩ Project: http://haonanqiu.com/projects/FreeNoise.html
@Devsp — Подписаться
Masked Space-Time Hash Encoding for Efficient Dynamic Scene Reconstruction
MSTH - новый метод эффективного восстановления динамических 3D-сцен из многопроекционных или монокулярных видео.
🖥Github: https://github.com/masked-spacetime-hashing/msth
🤗 HH: https://huggingface.co/datasets/masked-spacetime-hashing/Campus
📕Paper: https://arxiv.org/abs/2310.17527v1
⏩Dataset: https://paperswithcode.com/dataset/mip-nerf-360
@Devsp — Подписаться
MSTH - новый метод эффективного восстановления динамических 3D-сцен из многопроекционных или монокулярных видео.
🖥Github: https://github.com/masked-spacetime-hashing/msth
🤗 HH: https://huggingface.co/datasets/masked-spacetime-hashing/Campus
📕Paper: https://arxiv.org/abs/2310.17527v1
⏩Dataset: https://paperswithcode.com/dataset/mip-nerf-360
@Devsp — Подписаться
🖼 HiDiffusion: Unlocking High-Resolution Creativity and Efficiency in Low-Resolution Trained Diffusion Models
Новый метод, не требующий обучения, который повышает о и скорость предварительно обученных моделей diffusion.
• page: https://hidiffusion.github.io
• paper: https://arxiv.org/abs/2311.17528
• code: https://github.com/megvii-research/HiDiffusion
•colab: https://colab.research.google.com/drive/1EiBn9lSnPZTU4cikRRaBBexs429M-qty?usp=sharing
@Devsp — Подписаться
Новый метод, не требующий обучения, который повышает о и скорость предварительно обученных моделей diffusion.
• page: https://hidiffusion.github.io
• paper: https://arxiv.org/abs/2311.17528
• code: https://github.com/megvii-research/HiDiffusion
•colab: https://colab.research.google.com/drive/1EiBn9lSnPZTU4cikRRaBBexs429M-qty?usp=sharing
@Devsp — Подписаться