📸 SV4D: Динамическая генерация 3D-контента с многокадровой и многовидовой согласованностью
Модель скрытой диффузии видео для многокадровой и многовидовой согласованной генерации динамического 3D-контента.
Учитывая монокулярное эталонное видео, SV4D генерирует новые виды для каждого видеокадра, которые являются временно согласованными.
Обширные экспериментальные результаты на нескольких наборах данных и исследования пользователей демонстрируют современную производительность SV4D при синтезе видео с новыми видами, а также при генерации 4D по сравнению с предыдущими работами.
🤗 Hugging Face
💾 Arxiv
📂 PDF
@Devsp — Подписаться
Модель скрытой диффузии видео для многокадровой и многовидовой согласованной генерации динамического 3D-контента.
Учитывая монокулярное эталонное видео, SV4D генерирует новые виды для каждого видеокадра, которые являются временно согласованными.
Обширные экспериментальные результаты на нескольких наборах данных и исследования пользователей демонстрируют современную производительность SV4D при синтезе видео с новыми видами, а также при генерации 4D по сравнению с предыдущими работами.
🤗 Hugging Face
💾 Arxiv
@Devsp — Подписаться
🤩 Diffree: Текстовая визуализация свободных объектов с использованием модели диффузии
Модель облегчает текстовое управление добавлением объектов с помощью только текстового управления.
Diffree однозначно предсказывает положение нового объекта и выполняет добавление объектов с помощью только текстового руководства.
Обширные эксперименты показывают, что Diffree отлично справляется с добавлением новых объектов с высокой степенью успеха, сохраняя при этом последовательность фона, пространственную уместность, а также релевантность и качество объектов.
🤗 Hugging Face
💾 Arxiv
📂 PDF
@Devsp — Подписаться
Модель облегчает текстовое управление добавлением объектов с помощью только текстового управления.
Diffree однозначно предсказывает положение нового объекта и выполняет добавление объектов с помощью только текстового руководства.
Обширные эксперименты показывают, что Diffree отлично справляется с добавлением новых объектов с высокой степенью успеха, сохраняя при этом последовательность фона, пространственную уместность, а также релевантность и качество объектов.
🤗 Hugging Face
💾 Arxiv
@Devsp — Подписаться
🗣Dallah: Мультимодальная большая языковая модель с учетом диалектов для арабского языка
Dallah демонстрирует свою способность обрабатывать сложные диалектные взаимодействия, включающие как текстовые, так и визуальные элементы.
Модель преуспевает в двух контрольных тестах: один оценивает ее производительность на современном стандартном арабском языке (MSA), а другой специально разработан для оценки диалектных ответов.
Помимо надежной работы в задачах мультимодального взаимодействия, Dallah обладает потенциалом проложить путь для дальнейшего развития арабских MLLM-систем, учитывающих диалекты.
🤗 Hugging Face
💾 Arxiv
📂 PDF
@Devsp — Подписаться
Dallah демонстрирует свою способность обрабатывать сложные диалектные взаимодействия, включающие как текстовые, так и визуальные элементы.
Модель преуспевает в двух контрольных тестах: один оценивает ее производительность на современном стандартном арабском языке (MSA), а другой специально разработан для оценки диалектных ответов.
Помимо надежной работы в задачах мультимодального взаимодействия, Dallah обладает потенциалом проложить путь для дальнейшего развития арабских MLLM-систем, учитывающих диалекты.
🤗 Hugging Face
💾 Arxiv
@Devsp — Подписаться
🚀MIBench: Оценка многомодульных больших языковых моделей на основе нескольких изображений
Метод комплексной оценки мелкозернистых возможностей MLLM в сценариях с несколькими изображениями.
В частности, MIBench классифицирует многообразные возможности по трем сценариям: многообразное обучение (MII), многомодальный поиск знаний (MKS) и многомодальное контекстное обучение (MIC) и создает 13 задач с общим количеством 13 тыс. аннотированных образцов.
Во время построения данных для MII и MKS модель извлекает правильные варианты из ручных аннотаций и создаем сложные отвлекающие факторы для получения вопросов с несколькими вариантами ответов.
🤗 Hugging Face
💾 Arxiv
📂 PDF
@Devsp — Подписаться
Метод комплексной оценки мелкозернистых возможностей MLLM в сценариях с несколькими изображениями.
В частности, MIBench классифицирует многообразные возможности по трем сценариям: многообразное обучение (MII), многомодальный поиск знаний (MKS) и многомодальное контекстное обучение (MIC) и создает 13 задач с общим количеством 13 тыс. аннотированных образцов.
Во время построения данных для MII и MKS модель извлекает правильные варианты из ручных аннотаций и создаем сложные отвлекающие факторы для получения вопросов с несколькими вариантами ответов.
🤗 Hugging Face
💾 Arxiv
@Devsp — Подписаться
😍SeaLLMs 3: Open Foundation и чат-модели больших многоязычных языков для языков Юго-Восточной Азии
Модель отлично справляется с такими задачами, как знание мира, математическое обоснование, перевод и следование инструкциям, достигая самой высокой производительности среди моделей аналогичного размера.
Используя эффективные методы улучшения языка и специально созданный набор данных для настройки инструкций, SeaLLMs 3 значительно снижает затраты на обучение, сохраняя при этом высокую производительность и универсальность.
🤗 Hugging Face
💾 Arxiv
📂 PDF
@Devsp — Подписаться
Модель отлично справляется с такими задачами, как знание мира, математическое обоснование, перевод и следование инструкциям, достигая самой высокой производительности среди моделей аналогичного размера.
Используя эффективные методы улучшения языка и специально созданный набор данных для настройки инструкций, SeaLLMs 3 значительно снижает затраты на обучение, сохраняя при этом высокую производительность и универсальность.
🤗 Hugging Face
💾 Arxiv
@Devsp — Подписаться
🖥 Самые интересные статьи за последние дни:
• Генерация текстового контента с ИИ: обзор и сравнение моделей
• Всё что нужно знать про DuckDB
• Какие задачи сегодня решаются с помощью транспортной видеоаналитики
• Генерация текстового контента с ИИ: обзор и сравнение моделей
• Всё что нужно знать про DuckDB
• Какие задачи сегодня решаются с помощью транспортной видеоаналитики
😇ThinK: более тонкий кэш ключей с помощью отсечения на основе запросов
Новый метод обрезки кэша KV, зависящий от запроса, разработанный для минимизации потери веса внимания при выборочной обрезке наименее значимых каналов.
Подход не только сохраняет или повышает точность модели, но и обеспечивает снижение затрат памяти более чем на 20% по сравнению с ванильными методами вытеснения кэша KV.
Расширенные оценки моделей LLaMA3 и Mistral в различных наборах данных с длинными последовательностями подтверждают эффективность ThinK, устанавливая новый прецедент для эффективного развертывания LLM без ущерба для производительности.
🤗 Hugging Face
💾 Arxiv
📂 PDF
@Devsp — Подписаться
Новый метод обрезки кэша KV, зависящий от запроса, разработанный для минимизации потери веса внимания при выборочной обрезке наименее значимых каналов.
Подход не только сохраняет или повышает точность модели, но и обеспечивает снижение затрат памяти более чем на 20% по сравнению с ванильными методами вытеснения кэша KV.
Расширенные оценки моделей LLaMA3 и Mistral в различных наборах данных с длинными последовательностями подтверждают эффективность ThinK, устанавливая новый прецедент для эффективного развертывания LLM без ущерба для производительности.
🤗 Hugging Face
💾 Arxiv
@Devsp — Подписаться
📸 YandexART теперь может реставрировать архивные видеозаписи и кинохронику
Этот навык будет полезен для кинокомпаний, музеев, историков и других специалистов, работающих с историческим наследием.
С помощью нейросетевых технологий и компьютерной графики, команды компьютерного зрения Яндекса, Yandex Research и Плюс Студии уже смогли улучшить качество старых видеоматериалов для сериала «Игры» про Олимпиаду-80.
Нейросеть научилась добавлять фактуру и недостающие детали на размытые и нечёткие кадры, такие как кирпичная кладка на стенах, узоры на женском платье, фары и поворотники у автомобилей.
Особое внимание было уделено проблеме галлюцинаций — тенденции генеративных моделей добавлять несуществующие детали. Для её решения применили метод поэтапного обучения на данных низкого качества, что позволило повысить точность реконструкции.
@Devsp — Подписаться
Этот навык будет полезен для кинокомпаний, музеев, историков и других специалистов, работающих с историческим наследием.
С помощью нейросетевых технологий и компьютерной графики, команды компьютерного зрения Яндекса, Yandex Research и Плюс Студии уже смогли улучшить качество старых видеоматериалов для сериала «Игры» про Олимпиаду-80.
Нейросеть научилась добавлять фактуру и недостающие детали на размытые и нечёткие кадры, такие как кирпичная кладка на стенах, узоры на женском платье, фары и поворотники у автомобилей.
Особое внимание было уделено проблеме галлюцинаций — тенденции генеративных моделей добавлять несуществующие детали. Для её решения применили метод поэтапного обучения на данных низкого качества, что позволило повысить точность реконструкции.
@Devsp — Подписаться
🥷Агенты расширенного распространения: структура для эффективного исследования и передачи обучения
Diffusion Augmented Agents (DAAG), новую структуру, которая использует большие языковые модели, модели языка видения и модели диффузии для повышения эффективности выборки и переноса обучения в обучении с подкреплением для воплощенных агентов.
DAAG hindsight перемаркирует прошлый опыт агента, используя модели диффузии для преобразования видео временно и геометрически согласованным образом для согласования с целевыми инструкциями с помощью техники, которую мы называем Hindsight Experience Augmentation.
Большая языковая модель организует этот автономный процесс, не требуя человеческого надзора, что делает его хорошо подходящим для сценариев непрерывного обучения.
🤗 Hugging Face
💾 Arxiv
📂 PDF
@Devsp — Подписаться
Diffusion Augmented Agents (DAAG), новую структуру, которая использует большие языковые модели, модели языка видения и модели диффузии для повышения эффективности выборки и переноса обучения в обучении с подкреплением для воплощенных агентов.
DAAG hindsight перемаркирует прошлый опыт агента, используя модели диффузии для преобразования видео временно и геометрически согласованным образом для согласования с целевыми инструкциями с помощью техники, которую мы называем Hindsight Experience Augmentation.
Большая языковая модель организует этот автономный процесс, не требуя человеческого надзора, что делает его хорошо подходящим для сценариев непрерывного обучения.
🤗 Hugging Face
💾 Arxiv
@Devsp — Подписаться
😎Meltemi: первая открытая большая языковая модель для греческого языка
Модель имеет 7 миллиардов параметров и обучается на 40 миллиардах токенов греческого корпуса.
Она содержит актуальную информацию по состоянию на сентябрь 2023 года.
🤗 Hugging Face
💾 Arxiv
📂 PDF
@Devsp — Подписаться
Модель имеет 7 миллиардов параметров и обучается на 40 миллиардах токенов греческого корпуса.
Она содержит актуальную информацию по состоянию на сентябрь 2023 года.
🤗 Hugging Face
💾 Arxiv
@Devsp — Подписаться
🤔Real AI Семантический Анализатор и решение задачи по извлечению поручений из распорядительных документов
В этой статье мы расскажем о практической задаче – автоматическом заполнении карточек поручений в системе электронного документооборота путем анализа распорядительных документов, а также о нашем подходе к ее решению.
Читать...
В этой статье мы расскажем о практической задаче – автоматическом заполнении карточек поручений в системе электронного документооборота путем анализа распорядительных документов, а также о нашем подходе к ее решению.
Читать...
🖥 Самые интересные статьи за последние дни:
• Наш опыт применения AI-технологий для классификации документов для подачи в суд
• ИИ LLama3 без ограничений: локальный запуск, GROQ и интеграция в Телеграм бота с помощью Python
• Агенты расширенного распространения: структура для эффективного исследования и передачи обучения
• Наш опыт применения AI-технологий для классификации документов для подачи в суд
• ИИ LLama3 без ограничений: локальный запуск, GROQ и интеграция в Телеграм бота с помощью Python
• Агенты расширенного распространения: структура для эффективного исследования и передачи обучения
🥳 TexGen: генерация 3D-текстур на основе текста с многоракурсной выборкой и повторной выборкой
Новая структура выборки и повторной выборки нескольких видов для генерации текстур, использующую предварительно обученную модель диффузии текста в изображение.
Благодаря обширному количеству качественных и количественных оценок метод обеспечивает значительно лучшее качество текстур для разнообразных 3D-объектов с высокой степенью согласованности вида и богатой детализацией внешнего вида, превосходя современные методы.
Кроме того, этот метод генерации текстур может также применяться для редактирования текстур с сохранением исходной идентичности.
🤗 Hugging Face
💾 Arxiv
📂 PDF
@Devsp — Подписаться
Новая структура выборки и повторной выборки нескольких видов для генерации текстур, использующую предварительно обученную модель диффузии текста в изображение.
Благодаря обширному количеству качественных и количественных оценок метод обеспечивает значительно лучшее качество текстур для разнообразных 3D-объектов с высокой степенью согласованности вида и богатой детализацией внешнего вида, превосходя современные методы.
Кроме того, этот метод генерации текстур может также применяться для редактирования текстур с сохранением исходной идентичности.
🤗 Hugging Face
💾 Arxiv
@Devsp — Подписаться