🔥VITA: Towards Open-Source Interactive Omni Multimodal LLM
Мультимодальная большая языковая модель (MLLM) с открытым исходным кодом, которая способна одновременно обрабатывать и анализировать модальности видео, изображений, текста и аудио, и в то же время обладает передовым мультимодальным интерактивным опытом.
Она демонстрирует надежные базовые возможности многоязычного, визуального и аудиопонимания, о чем свидетельствует ее высокая производительность в ряде как унимодальных, так и мультимодальных тестов.
🤗 Hugging Face
💾 Arxiv
📂 PDF
@Devsp — Подписаться
Мультимодальная большая языковая модель (MLLM) с открытым исходным кодом, которая способна одновременно обрабатывать и анализировать модальности видео, изображений, текста и аудио, и в то же время обладает передовым мультимодальным интерактивным опытом.
Она демонстрирует надежные базовые возможности многоязычного, визуального и аудиопонимания, о чем свидетельствует ее высокая производительность в ряде как унимодальных, так и мультимодальных тестов.
🤗 Hugging Face
💾 Arxiv
@Devsp — Подписаться
🦾ControlNeXt: Powerful and Efficient Control for Image and Video Generation
ControlNeXt — мощный и эффективный метод для контролируемой генерации изображений и видео.
Метод легко интегрируется с другими весами LoRA, позволяя изменять стиль без необходимости дополнительного обучения.
Были проведены различные эксперименты с различными базовыми моделями для изображений и видео, продемонстрировав надежность нашего метода.
🤗 Hugging Face
💾 Arxiv
📂 PDF
@Devsp — Подписаться
ControlNeXt — мощный и эффективный метод для контролируемой генерации изображений и видео.
Метод легко интегрируется с другими весами LoRA, позволяя изменять стиль без необходимости дополнительного обучения.
Были проведены различные эксперименты с различными базовыми моделями для изображений и видео, продемонстрировав надежность нашего метода.
🤗 Hugging Face
💾 Arxiv
@Devsp — Подписаться
👍1
🤖UniT: унифицированное тактильное представление для обучения роботов
Новый подход к обучению тактильному представлению, использующий VQVAE для изучения компактного скрытого пространства и служащий тактильным представлением.
Он использует тактильные изображения, полученные от одного простого объекта, для обучения представлению с возможностью переноса и обобщения.
Эффективность UniT в обучении политике продемонстрирована на трех реальных задачах, включающих разнообразные манипулируемые объекты и сложные взаимодействия робота-объекта-среды.
Благодаря обширным экспериментам UniT показал себя простым в обучении, подключаемым и работающим, но широко эффективным методом обучения тактильному представлению.
🤗 Hugging Face
💾 Arxiv
📂 PDF
@Devsp — Подписаться
Новый подход к обучению тактильному представлению, использующий VQVAE для изучения компактного скрытого пространства и служащий тактильным представлением.
Он использует тактильные изображения, полученные от одного простого объекта, для обучения представлению с возможностью переноса и обобщения.
Эффективность UniT в обучении политике продемонстрирована на трех реальных задачах, включающих разнообразные манипулируемые объекты и сложные взаимодействия робота-объекта-среды.
Благодаря обширным экспериментам UniT показал себя простым в обучении, подключаемым и работающим, но широко эффективным методом обучения тактильному представлению.
🤗 Hugging Face
💾 Arxiv
@Devsp — Подписаться
⚡️Рекурсивный отбор признаков. Динамический шаг в танце feature selection
В статье рассматривается выбор оптимального шага при рекурсивном отборе признаков (RFE), а также предлагаются три подхода: фиксированный шаг, динамический шаг, зависящий от количества признаков, и динамический шаг, основанный на значимости признаков.
Читать...
В статье рассматривается выбор оптимального шага при рекурсивном отборе признаков (RFE), а также предлагаются три подхода: фиксированный шаг, динамический шаг, зависящий от количества признаков, и динамический шаг, основанный на значимости признаков.
Читать...
🧐InfinityMATH: масштабируемый набор данных для настройки инструкций в программных математических рассуждениях
Конвейер построения делает акцент на разделении чисел от математических задач для синтеза независимых от чисел программ, что обеспечивает эффективное и гибкое масштабирование при минимизации зависимости от конкретных числовых значений.
Эксперименты по тонкой настройке с открытым исходным кодом языковых и кодовых моделей, таких как Llama2 и CodeLlama, демонстрируют практические преимущества InfinityMATH.
Эти тонко настроенные модели показали значительные относительные улучшения как в области, так и вне области бенчмарков, в среднем от 184,7% до 514,3%.
Кроме того, эти модели продемонстрировали высокую надежность на тестах GSM8K+ и MATH+, которые являются улучшенной версией тестовых наборов с простыми вариациями чисел.
🤗 Hugging Face
💾 Arxiv
📂 PDF
@Devsp — Подписаться
Конвейер построения делает акцент на разделении чисел от математических задач для синтеза независимых от чисел программ, что обеспечивает эффективное и гибкое масштабирование при минимизации зависимости от конкретных числовых значений.
Эксперименты по тонкой настройке с открытым исходным кодом языковых и кодовых моделей, таких как Llama2 и CodeLlama, демонстрируют практические преимущества InfinityMATH.
Эти тонко настроенные модели показали значительные относительные улучшения как в области, так и вне области бенчмарков, в среднем от 184,7% до 514,3%.
Кроме того, эти модели продемонстрировали высокую надежность на тестах GSM8K+ и MATH+, которые являются улучшенной версией тестовых наборов с простыми вариациями чисел.
🤗 Hugging Face
💾 Arxiv
@Devsp — Подписаться
🔍OpenResearcher: использование ИИ для ускоренных научных исследований
Инновационная платформа, которая использует методы искусственного интеллекта (ИИ) для ускорения процесса исследования, отвечая на разнообразные вопросы исследователей.
Он создан на основе Retrieval-Augmented Generation (RAG) для интеграции больших языковых моделей (LLM) с актуальными знаниями, специфичными для предметной области.
OpenResearcher позволяет исследователям экономить время и повышать свой потенциал для открытия новых идей и осуществления научных прорывов.
🤗 Hugging Face
💾 Arxiv
📂 PDF
@Devsp — Подписаться
Инновационная платформа, которая использует методы искусственного интеллекта (ИИ) для ускорения процесса исследования, отвечая на разнообразные вопросы исследователей.
Он создан на основе Retrieval-Augmented Generation (RAG) для интеграции больших языковых моделей (LLM) с актуальными знаниями, специфичными для предметной области.
OpenResearcher позволяет исследователям экономить время и повышать свой потенциал для открытия новых идей и осуществления научных прорывов.
🤗 Hugging Face
💾 Arxiv
@Devsp — Подписаться
🤩DeepSeek-Prover-V1.5: использование обратной связи помощника по доказательствам для обучения с подкреплением и поиска по дереву Монте-Карло
Языковая модель с открытым исходным кодом, разработанную для доказательства теорем в Lean 4, которая улучшает DeepSeek-Prover-V1 за счет оптимизации как процессов обучения, так и вывода.
Предварительно обученная на DeepSeekMath-Base со специализацией на формальных математических языках, модель проходит контролируемую тонкую настройку с использованием улучшенного набора данных для формального доказательства теорем, полученного из DeepSeek-Prover-V1.
Дальнейшее уточнение достигается за счет обучения с подкреплением с обратной связью помощника по доказательству (RLPAF).
🤗 Hugging Face
💾 Arxiv
📂 PDF
@Devsp — Подписаться
Языковая модель с открытым исходным кодом, разработанную для доказательства теорем в Lean 4, которая улучшает DeepSeek-Prover-V1 за счет оптимизации как процессов обучения, так и вывода.
Предварительно обученная на DeepSeekMath-Base со специализацией на формальных математических языках, модель проходит контролируемую тонкую настройку с использованием улучшенного набора данных для формального доказательства теорем, полученного из DeepSeek-Prover-V1.
Дальнейшее уточнение достигается за счет обучения с подкреплением с обратной связью помощника по доказательству (RLPAF).
🤗 Hugging Face
💾 Arxiv
@Devsp — Подписаться
😎Введение в MLflow
В этом руководстве мы посмотрим, как организовать эксперименты и запуски, оптимизировать гиперпараметры с помощью optuna, сравнивать модели и выбирать лучшие параметры, а также рассмотрим логирование моделей, использование их в разных форматах, упаковку проекта в MLproject и установку удаленного Tracking Server MLflow.
Читать...
В этом руководстве мы посмотрим, как организовать эксперименты и запуски, оптимизировать гиперпараметры с помощью optuna, сравнивать модели и выбирать лучшие параметры, а также рассмотрим логирование моделей, использование их в разных форматах, упаковку проекта в MLproject и установку удаленного Tracking Server MLflow.
Читать...
❤1
🚀Оптимизация запросов к нейросетям: стратегии и советы
В этой статье мы рассмотрим, как оптимизировать запросы, чтобы извлечь максимум из взаимодействия с нейросетями, особенно с моделями языковых нейросетей (LLM) таких как ChatGPT, а также мы обсудим, какие параметры учитывать при создании промптов, как задавать вопросы и использовать контекст, чтобы получать ответы, соответствующие вашим нуждам.
Читать...
В этой статье мы рассмотрим, как оптимизировать запросы, чтобы извлечь максимум из взаимодействия с нейросетями, особенно с моделями языковых нейросетей (LLM) таких как ChatGPT, а также мы обсудим, какие параметры учитывать при создании промптов, как задавать вопросы и использовать контекст, чтобы получать ответы, соответствующие вашим нуждам.
Читать...
😀 Эмоциональный синтез в Алисе: как устроен
В этой статье вы узнаете, как команда Яндекса работала над обновлением Алисы в части выражения эмоций. Для этого в Алису внедрили технологию эмоционального синтеза, позволяющую ассистенту голосом выражать широкий диапазон эмоций. Такая обновленная Алиса пока живет только в Станции Лайт 2, а позже появится и на других умных устройствах.
Читать...
В этой статье вы узнаете, как команда Яндекса работала над обновлением Алисы в части выражения эмоций. Для этого в Алису внедрили технологию эмоционального синтеза, позволяющую ассистенту голосом выражать широкий диапазон эмоций. Такая обновленная Алиса пока живет только в Станции Лайт 2, а позже появится и на других умных устройствах.
Читать...
⚡️MeshFormer: High-Quality Mesh Generation with 3D-Guided Reconstruction Model
Модель реконструкции с разреженным видом, использующая явную 3D-структуру, входное руководство и контроль обучения.
Вместо трипланового представления модель сохраняет признаки в 3D-вокселях, комбинируя трансформаторы и 3D-свертки для интеграции проективного смещения.
Она обрабатывает RGB-вход и генерирует карты нормалей, предсказываемые с помощью 2D-моделей диффузии, что улучшает обучение геометрии.
Кроме того, использование Signed Distance Function (SDF) с рендерингом поверхности позволяет напрямую создавать качественные сетки, избегая сложных алгоритмов.
🤗 Hugging Face
💾 Arxiv
📂 PDF
@Devsp — Подписаться
Модель реконструкции с разреженным видом, использующая явную 3D-структуру, входное руководство и контроль обучения.
Вместо трипланового представления модель сохраняет признаки в 3D-вокселях, комбинируя трансформаторы и 3D-свертки для интеграции проективного смещения.
Она обрабатывает RGB-вход и генерирует карты нормалей, предсказываемые с помощью 2D-моделей диффузии, что улучшает обучение геометрии.
Кроме того, использование Signed Distance Function (SDF) с рендерингом поверхности позволяет напрямую создавать качественные сетки, избегая сложных алгоритмов.
🤗 Hugging Face
💾 Arxiv
@Devsp — Подписаться