​​😶‍🌫DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models

DeepSeekMath-Instruct 7B — это модель настройки с математическими инструкциями, полученная на основе DeepSeekMath-Base 7B, а DeepSeekMath-RL 7B обучается на основе DeepSeekMath-Instruct 7B с использованием предложенного нами алгоритма групповой относительной политики оптимизации (GRPO).

🖥Github: https://github.com/deepseek-ai/deepseek-math

📚 Paper: https://arxiv.org/abs/2402.03300v1

🦾 Dataset: https://paperswithcode.com/dataset/math

@Devsp — Подписаться

​​🥸InstructIR: High-Quality Image Restoration Following Human Instructions

InstructIR принимает на вход изображение и написанную человеком инструкцию по улучшению этого изображения. Нейронная модель выполняет комплексное восстановление изображения. InstructIR достигает самых современных результатов при выполнении нескольких задач восстановления, включая шумоподавление, уменьшение размытия, удаление дымки и улучшение изображения (при слабом освещении).

🖥Code: https://github.com/mv-lab/InstructIR

🚀Project: mv-lab.github.io/InstructIR/

🎮Colab: https://colab.research.google.com/drive/1OrTvS-i6uLM2Y8kIkq8ZZRwEQxQFchfq

📚Paper: https://arxiv.org/abs/2401.16468

@Devsp — Подписаться

​​🤫InsActor: Instruction-driven Physics-based Characters

InsActor - генеративная структура, которая использует последние достижения в моделях движения человека на основе диффузии для создания управляемой инструкциями анимации персонажей, основанных на физике.

🖥Code: github.com/jiawei-ren/insactor

📚Paper: arxiv.org/abs/2312.17135

⚡️Project: https://jiawei-ren.github.io/projects/insactor/

@Devsp — Подписаться

​​👌MotionCtrl: A Unified and Flexible Motion Controller for Video Generation

MotionCtrl может независимо управлять сложным движением камеры и движением объектов в созданных видео, используя только унифицированную модель.

🖥Code: https://github.com/TencentARC/MotionCtrl

🎓Colab: https://github.com/camenduru/MotionCtrl-colab

🔮Project Page: https://openxlab.org.cn/apps/detail/camenduru/MotionCtrl

📚ArXiv: https://arxiv.org/abs/2312.03641

@Devsp — Подписаться

​​🥳DiffMorpher: Unleashing the Capability of Diffusion Models for Image Morphing

В этой работе мы представляем DiffMorpher, первый подход, обеспечивающий плавную и естественную интерполяцию изображений с использованием моделей диффузии. Наша ключевая идея состоит в том, чтобы уловить семантику двух изображений, подобрав к ним два LoRA соответственно, и интерполировать как параметры LoRA, так и скрытые шумы, чтобы обеспечить плавный семантический переход, при котором соответствие автоматически возникает без необходимости аннотации.

🖥Code: https://github.com/Kevin-thu/DiffMorpher

🧪OpenXLab: https://openxlab.org.cn/apps/detail/KaiwenZhang/DiffMorpher

🎓Colab: https://github.com/camenduru/DiffMorpher-colab

🔮Project Page: https://kevin-thu.github.io/DiffMorpher_page

📚ArXiv: https://arxiv.org/abs/2312.07409

@Devsp — Подписаться

​​🎃FreeInit : Bridging Initialization Gap in Video Diffusion Models

В этой статье мы углубимся в инициализацию шума в моделях видеодиффузии и обнаружим неявный разрыв между обучением и выводом, который связан с падением качества вывода.

🖥colab: https://github.com/camenduru/FreeInit-colab

🔮page: https://tianxingwu.github.io/pages/FreeInit/

📚paper: https://arxiv.org/abs/2312.07537

🥩code: https://github.com/TianxingWu/FreeInit

@Devsp — Подписаться

​​🧠EasyVolcap: Accelerating Neural Volumetric Video Research

Neural Radiance Fields (NeRF) — это метод синтеза новых видов сложных сцен путем оптимизации базовой функции непрерывной объемной сцены с использованием разреженного набора входных представлений.

🖥Code: https://github.com/zju3dv/easyvolcap

🖌Metrics: https://short.llm360.ai/amber-metrics

📚Paper: https://arxiv.org/abs/2312.06575v1

⚡️ Dataset: https://paperswithcode.com/dataset/nerf

@Devsp — Подписаться

​​🧠EasyVolcap: Accelerating Neural Volumetric Video Research

Neural Radiance Fields (NeRF) — это метод синтеза новых видов сложных сцен путем оптимизации базовой функции непрерывной объемной сцены с использованием разреженного набора входных представлений.

🖥Code: https://github.com/zju3dv/easyvolcap

🖌Metrics: https://short.llm360.ai/amber-metrics

📚Paper: https://arxiv.org/abs/2312.06575v1

⚡️ Dataset: https://paperswithcode.com/dataset/nerf

@Devsp — Подписаться

😂 Дикие разработчики Python

@Devsp — Подписаться

​​👾PDD: Positional Discourse Divergence

PDD — это новая автоматическая метрика, предназначенная для количественной оценки расхождения в дискурсе между двумя длинными статьями. Он разделяет предложения статьи на несколько ячеек позиций и вычисляет расхождение в структурах дискурса внутри каждой ячейки.

🖥Github: https://github.com/williamlyh/pos_div_metric

📕Paper: https://arxiv.org/pdf/2402.10175v1.pdf

🔥Dataset: https://paperswithcode.com/dataset/recipe1m-1

✨Tasks: https://paperswithcode.com/task/coherence-evaluation

@Devsp — Подписаться

​​🎛 TIA Toolbox

TIAToolbox — это набор инструментов для вычислительной патологии, разработанный TIA Center, который предоставляет комплексный API для анализа изображений патологии с использованием лучших практик. Он основан на PyTorch , популярной платформе глубокого обучения, которая обеспечивает эффективную и гибкую реализацию самых современных алгоритмов. TIAToolbox поддерживает множество функций через интерфейс командной строки и может интегрироваться со стандартными модулями PyTorch. Он также предлагает инструменты для загрузки данных, предварительной обработки, вывода модели, постобработки и визуализации.

🖥Github: https://github.com/tissueimageanalytics/tiatoolbox

📕Paper: https://arxiv.org/pdf/2402.09990v1.pdf

✨Tasks: https://paperswithcode.com/task/whole-slide-images

@Devsp — Подписаться

​​🗣 EasyKV

EasyKV — это пакет Pytorch, предназначенный для вывода генеративной языковой модели с ограничением кэша ключей.

🖥Github: https://github.com/drsy/easykv

📕Paper: https://arxiv.org/pdf/2402.06262v1.pdf

🔥Datasets: https://paperswithcode.com/dataset/webtext

@Devsp — Подписаться

​​🧐Enhancing Video Super-Resolution via Implicit Resampling-based Alignment

Video Super-Resolution — это задача компьютерного зрения, целью которой является увеличение разрешения видеопоследовательности, обычно от более низкого разрешения к более высокому. Цель состоит в том, чтобы генерировать видеокадры с высоким разрешением из входных данных с низким разрешением, улучшая общее качество видео.

🖥Github: https://github.com/kai422/iart

📕Paper: https://github.com/kai422/IART/blob/main/arxiv.pdf

🔥Datasets: https://paperswithcode.com/task/video-super-resolution

@Devsp — Подписаться

​​🧮 OpenMathInstruct-1: A 1.8 Million Math Instruction Tuning Dataset

OpenMathInstruct-1 — это набор данных для настройки математических инструкций, содержащий 1,8 миллиона пар «задача-решение», созданный с использованием лицензированной модели Mixtral-8x7B.

▪Dataset: https://huggingface.co/datasets/nvidia/OpenMathInstruct-1

▪Paper: https://huggingface.co/papers/2402.10176

@Devsp — Подписаться

​​⭐️ComfyUI-3D-Pack

Обширный набор узлов, который позволяет ComfyUI обрабатывать 3D-входы (сетки и UV-текстуры и т. д.) с использованием передовых алгоритмов (3DGS, NeRF и т. д.).

▪ComfyUI-3D-Pack: https://github.com/MrForExample/ComfyUI-3D-Pack

▪TGS: https://github.com/VAST-AI-Research/TriplaneGaussian

@Devsp — Подписаться

​​⚡️ MotionCtrl: A Unified and Flexible Motion Controller for Video Generation

MotionCtrl может независимо управлять сложным движением камеры и движением объектов в созданных видео, используя только унифицированную модель.

🖥Code: https://github.com/TencentARC/MotionCtrl

🎓Colab: https://github.com/camenduru/MotionCtrl-colab

🔮Project Page: https://openxlab.org.cn/apps/detail/camenduru/MotionCtrl

📚ArXiv: https://arxiv.org/abs/2312.03641

@Devsp — Подписаться

​​🧐FIND: Interface Foundation Models' Embeddings

FIND может встраивать DD в модели IN- интерфейса Foundation в чередующееся общее пространство внедрения.

🖥Code: https://github.com/UX-Decoder/FIND

🎓Demo: http://find.xyzou.net/

🔮Project Page: https://x-decoder-vl.github.io

🥩Demo: http://find.xyzou.net

📚ArXiv: https://arxiv.org/pdf/2312.07532.pdf

@Devsp — Подписаться

​​📽 Модель YandexGPT, которая пересказывает видео

В этой статье специалисты Яндекса рассказали, как внедрили в Браузер пересказ видео любой длины от нейросети. В материале привели полный пайплайн решения, рассказали о реализации с технической и с точки зрения UX продукта и разобрали причины, почему модель YandexGPT, заточенная под суммаризацию статей, не подходит для пересказа видео.

✍️ Habr: https://habr.com/ru/companies/yandex/articles/795397/

@Devsp — Подписаться

​​🔊Amphion: An Open-Source Audio, Music, and Speech Generation Toolkit

Amphion — набор инструментов для создания аудио, музыки и речи. Его цель — поддержать воспроизводимые исследования и помочь младшим исследователям и инженерам начать работу в области исследований и разработок в области аудио, музыки и генерации речи. Amphion предлагает уникальную функцию: визуализацию классических моделей или архитектур.

🖥GitHub: https://github.com/open-mmlab/Amphion

📚Paper: arxiv.org/abs/2312.09911

🥩HF: https://huggingface.co/amphion

@Devsp — Подписаться

​​⚡️ UDiffText: A Unified Framework for High-quality Text Synthesis in Arbitrary Images via Character-aware Diffusion Models ✒ Colab 🥳

UDiffText: Единая платформа для высококачественной генерации текста на изображениях с помощью моделей диффузии.

🖥code: https://github.com/ZYM-PKU/UDiffText

⚡️page: https://udifftext.github.io

📚paper: https://arxiv.org/abs/2312.04884

🔥colab: https://github.com/camenduru/UDiffText-colab

@Devsp — Подписаться