👤Learning to Learn Faster from Human Feedback with Language Model Predictive Control
В этой работе мы изучаем тонкую настройку LLM для написания кода роботами, чтобы запомнить их контекстное взаимодействие и улучшить их обучаемость, т. е. насколько эффективно они адаптируются к вводу человека (измеряется средним количеством исправлений, прежде чем пользователь сочтет задачу успешной).
▪proj: https://robot-teaching.github.io
▪paper: https://arxiv.org/abs/2402.11450
▪code: https://colab.research.google.com/drive/1YcRN_kklw3cVVJNvgK_IEV6nDce9EJWK
@Devsp — Подписаться
В этой работе мы изучаем тонкую настройку LLM для написания кода роботами, чтобы запомнить их контекстное взаимодействие и улучшить их обучаемость, т. е. насколько эффективно они адаптируются к вводу человека (измеряется средним количеством исправлений, прежде чем пользователь сочтет задачу успешной).
▪proj: https://robot-teaching.github.io
▪paper: https://arxiv.org/abs/2402.11450
▪code: https://colab.research.google.com/drive/1YcRN_kklw3cVVJNvgK_IEV6nDce9EJWK
@Devsp — Подписаться
⚡️HASSOD: Hierarchical Adaptive Self-Supervised Object Detection
HASSOD — это полностью самоконтролируемый подход к обнаружению объектов и сегментации экземпляров, демонстрирующий значительное улучшение по сравнению с предыдущими современными методами за счет обнаружения более широкого диапазона объектов.
🖥Github: https://github.com/Shengcao-Cao/HASSOD
📚 Paper: https://arxiv.org/abs/2402.03311
⏩Project: https://hassod-neurips23.github.io/
💻Video: https://www.youtube.com/watch?v=s8u7tEKg5ew
@Devsp — Подписаться
HASSOD — это полностью самоконтролируемый подход к обнаружению объектов и сегментации экземпляров, демонстрирующий значительное улучшение по сравнению с предыдущими современными методами за счет обнаружения более широкого диапазона объектов.
🖥Github: https://github.com/Shengcao-Cao/HASSOD
📚 Paper: https://arxiv.org/abs/2402.03311
⏩Project: https://hassod-neurips23.github.io/
💻Video: https://www.youtube.com/watch?v=s8u7tEKg5ew
@Devsp — Подписаться
😎Magic-Me: Identity-Specific Video Customized Diffusion
Создание контента для конкретной личности (ID) продемонстрировало значительный интерес в области генеративных моделей. В области генерации текста в изображение (T2I) генерация тематического контента достигла большого прогресса благодаря управляемому идентификатору в изображениях. Однако прямое распространение его на генерацию видео недостаточно изучено.
▪Github: https://github.com/Zhen-Dong/Magic-Me
▪Colab: https://colab.research.google.com/drive/1gMialn4nkGeDZ72yx1Wob1E1QBgrqeGa
▪Project: https://magic-me-webpage.github.io
▪Paper: arxiv.org/abs/2402.09368
@Devsp — Подписаться
Создание контента для конкретной личности (ID) продемонстрировало значительный интерес в области генеративных моделей. В области генерации текста в изображение (T2I) генерация тематического контента достигла большого прогресса благодаря управляемому идентификатору в изображениях. Однако прямое распространение его на генерацию видео недостаточно изучено.
▪Github: https://github.com/Zhen-Dong/Magic-Me
▪Colab: https://colab.research.google.com/drive/1gMialn4nkGeDZ72yx1Wob1E1QBgrqeGa
▪Project: https://magic-me-webpage.github.io
▪Paper: arxiv.org/abs/2402.09368
@Devsp — Подписаться
Forwarded from Neural Networks | Нейронные сети
⚡️Разыгрываем Macbook Air, airpods,обучающие курсы и книги Python.
Мы развиваемся и благодарим вас за то, что читаете нас, и поэтому мы устраиваем крупный розыгрыш.
Условия:
1. Подписаться на t.me/ai_machinelearning_big_data
2. Подписаться на t.me/vistehno
3. Нажать кнопку «Участвовать»
Итоги розыгрыша 8 марта.
Мы развиваемся и благодарим вас за то, что читаете нас, и поэтому мы устраиваем крупный розыгрыш.
Условия:
1. Подписаться на t.me/ai_machinelearning_big_data
2. Подписаться на t.me/vistehno
3. Нажать кнопку «Участвовать»
Итоги розыгрыша 8 марта.
😶🌫DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models
DeepSeekMath-Instruct 7B — это модель настройки с математическими инструкциями, полученная на основе DeepSeekMath-Base 7B, а DeepSeekMath-RL 7B обучается на основе DeepSeekMath-Instruct 7B с использованием предложенного нами алгоритма групповой относительной политики оптимизации (GRPO).
🖥Github: https://github.com/deepseek-ai/deepseek-math
📚 Paper: https://arxiv.org/abs/2402.03300v1
🦾 Dataset: https://paperswithcode.com/dataset/math
@Devsp — Подписаться
DeepSeekMath-Instruct 7B — это модель настройки с математическими инструкциями, полученная на основе DeepSeekMath-Base 7B, а DeepSeekMath-RL 7B обучается на основе DeepSeekMath-Instruct 7B с использованием предложенного нами алгоритма групповой относительной политики оптимизации (GRPO).
🖥Github: https://github.com/deepseek-ai/deepseek-math
📚 Paper: https://arxiv.org/abs/2402.03300v1
🦾 Dataset: https://paperswithcode.com/dataset/math
@Devsp — Подписаться
🥸InstructIR: High-Quality Image Restoration Following Human Instructions
InstructIR принимает на вход изображение и написанную человеком инструкцию по улучшению этого изображения. Нейронная модель выполняет комплексное восстановление изображения. InstructIR достигает самых современных результатов при выполнении нескольких задач восстановления, включая шумоподавление, уменьшение размытия, удаление дымки и улучшение изображения (при слабом освещении).
🖥Code: https://github.com/mv-lab/InstructIR
🚀Project: mv-lab.github.io/InstructIR/
🎮Colab: https://colab.research.google.com/drive/1OrTvS-i6uLM2Y8kIkq8ZZRwEQxQFchfq
📚Paper: https://arxiv.org/abs/2401.16468
@Devsp — Подписаться
InstructIR принимает на вход изображение и написанную человеком инструкцию по улучшению этого изображения. Нейронная модель выполняет комплексное восстановление изображения. InstructIR достигает самых современных результатов при выполнении нескольких задач восстановления, включая шумоподавление, уменьшение размытия, удаление дымки и улучшение изображения (при слабом освещении).
🖥Code: https://github.com/mv-lab/InstructIR
🚀Project: mv-lab.github.io/InstructIR/
🎮Colab: https://colab.research.google.com/drive/1OrTvS-i6uLM2Y8kIkq8ZZRwEQxQFchfq
📚Paper: https://arxiv.org/abs/2401.16468
@Devsp — Подписаться
🤫InsActor: Instruction-driven Physics-based Characters
InsActor - генеративная структура, которая использует последние достижения в моделях движения человека на основе диффузии для создания управляемой инструкциями анимации персонажей, основанных на физике.
🖥Code: github.com/jiawei-ren/insactor
📚Paper: arxiv.org/abs/2312.17135
⚡️Project: https://jiawei-ren.github.io/projects/insactor/
@Devsp — Подписаться
InsActor - генеративная структура, которая использует последние достижения в моделях движения человека на основе диффузии для создания управляемой инструкциями анимации персонажей, основанных на физике.
🖥Code: github.com/jiawei-ren/insactor
📚Paper: arxiv.org/abs/2312.17135
⚡️Project: https://jiawei-ren.github.io/projects/insactor/
@Devsp — Подписаться
👌MotionCtrl: A Unified and Flexible Motion Controller for Video Generation
MotionCtrl может независимо управлять сложным движением камеры и движением объектов в созданных видео, используя только унифицированную модель.
🖥Code: https://github.com/TencentARC/MotionCtrl
🎓Colab: https://github.com/camenduru/MotionCtrl-colab
🔮Project Page: https://openxlab.org.cn/apps/detail/camenduru/MotionCtrl
📚ArXiv: https://arxiv.org/abs/2312.03641
@Devsp — Подписаться
MotionCtrl может независимо управлять сложным движением камеры и движением объектов в созданных видео, используя только унифицированную модель.
🖥Code: https://github.com/TencentARC/MotionCtrl
🎓Colab: https://github.com/camenduru/MotionCtrl-colab
🔮Project Page: https://openxlab.org.cn/apps/detail/camenduru/MotionCtrl
📚ArXiv: https://arxiv.org/abs/2312.03641
@Devsp — Подписаться
🥳DiffMorpher: Unleashing the Capability of Diffusion Models for Image Morphing
В этой работе мы представляем DiffMorpher, первый подход, обеспечивающий плавную и естественную интерполяцию изображений с использованием моделей диффузии. Наша ключевая идея состоит в том, чтобы уловить семантику двух изображений, подобрав к ним два LoRA соответственно, и интерполировать как параметры LoRA, так и скрытые шумы, чтобы обеспечить плавный семантический переход, при котором соответствие автоматически возникает без необходимости аннотации.
🖥Code: https://github.com/Kevin-thu/DiffMorpher
🧪OpenXLab: https://openxlab.org.cn/apps/detail/KaiwenZhang/DiffMorpher
🎓Colab: https://github.com/camenduru/DiffMorpher-colab
🔮Project Page: https://kevin-thu.github.io/DiffMorpher_page
📚ArXiv: https://arxiv.org/abs/2312.07409
@Devsp — Подписаться
В этой работе мы представляем DiffMorpher, первый подход, обеспечивающий плавную и естественную интерполяцию изображений с использованием моделей диффузии. Наша ключевая идея состоит в том, чтобы уловить семантику двух изображений, подобрав к ним два LoRA соответственно, и интерполировать как параметры LoRA, так и скрытые шумы, чтобы обеспечить плавный семантический переход, при котором соответствие автоматически возникает без необходимости аннотации.
🖥Code: https://github.com/Kevin-thu/DiffMorpher
🧪OpenXLab: https://openxlab.org.cn/apps/detail/KaiwenZhang/DiffMorpher
🎓Colab: https://github.com/camenduru/DiffMorpher-colab
🔮Project Page: https://kevin-thu.github.io/DiffMorpher_page
📚ArXiv: https://arxiv.org/abs/2312.07409
@Devsp — Подписаться
🎃FreeInit : Bridging Initialization Gap in Video Diffusion Models
В этой статье мы углубимся в инициализацию шума в моделях видеодиффузии и обнаружим неявный разрыв между обучением и выводом, который связан с падением качества вывода.
🖥colab: https://github.com/camenduru/FreeInit-colab
🔮page: https://tianxingwu.github.io/pages/FreeInit/
📚paper: https://arxiv.org/abs/2312.07537
🥩code: https://github.com/TianxingWu/FreeInit
@Devsp — Подписаться
В этой статье мы углубимся в инициализацию шума в моделях видеодиффузии и обнаружим неявный разрыв между обучением и выводом, который связан с падением качества вывода.
🖥colab: https://github.com/camenduru/FreeInit-colab
🔮page: https://tianxingwu.github.io/pages/FreeInit/
📚paper: https://arxiv.org/abs/2312.07537
🥩code: https://github.com/TianxingWu/FreeInit
@Devsp — Подписаться
🧠EasyVolcap: Accelerating Neural Volumetric Video Research
Neural Radiance Fields (NeRF) — это метод синтеза новых видов сложных сцен путем оптимизации базовой функции непрерывной объемной сцены с использованием разреженного набора входных представлений.
🖥Code: https://github.com/zju3dv/easyvolcap
🖌Metrics: https://short.llm360.ai/amber-metrics
📚Paper: https://arxiv.org/abs/2312.06575v1
⚡️ Dataset: https://paperswithcode.com/dataset/nerf
@Devsp — Подписаться
Neural Radiance Fields (NeRF) — это метод синтеза новых видов сложных сцен путем оптимизации базовой функции непрерывной объемной сцены с использованием разреженного набора входных представлений.
🖥Code: https://github.com/zju3dv/easyvolcap
🖌Metrics: https://short.llm360.ai/amber-metrics
📚Paper: https://arxiv.org/abs/2312.06575v1
⚡️ Dataset: https://paperswithcode.com/dataset/nerf
@Devsp — Подписаться
🧠EasyVolcap: Accelerating Neural Volumetric Video Research
Neural Radiance Fields (NeRF) — это метод синтеза новых видов сложных сцен путем оптимизации базовой функции непрерывной объемной сцены с использованием разреженного набора входных представлений.
🖥Code: https://github.com/zju3dv/easyvolcap
🖌Metrics: https://short.llm360.ai/amber-metrics
📚Paper: https://arxiv.org/abs/2312.06575v1
⚡️ Dataset: https://paperswithcode.com/dataset/nerf
@Devsp — Подписаться
Neural Radiance Fields (NeRF) — это метод синтеза новых видов сложных сцен путем оптимизации базовой функции непрерывной объемной сцены с использованием разреженного набора входных представлений.
🖥Code: https://github.com/zju3dv/easyvolcap
🖌Metrics: https://short.llm360.ai/amber-metrics
📚Paper: https://arxiv.org/abs/2312.06575v1
⚡️ Dataset: https://paperswithcode.com/dataset/nerf
@Devsp — Подписаться
👾PDD: Positional Discourse Divergence
PDD — это новая автоматическая метрика, предназначенная для количественной оценки расхождения в дискурсе между двумя длинными статьями. Он разделяет предложения статьи на несколько ячеек позиций и вычисляет расхождение в структурах дискурса внутри каждой ячейки.
🖥Github: https://github.com/williamlyh/pos_div_metric
📕Paper: https://arxiv.org/pdf/2402.10175v1.pdf
🔥Dataset: https://paperswithcode.com/dataset/recipe1m-1
✨Tasks: https://paperswithcode.com/task/coherence-evaluation
@Devsp — Подписаться
PDD — это новая автоматическая метрика, предназначенная для количественной оценки расхождения в дискурсе между двумя длинными статьями. Он разделяет предложения статьи на несколько ячеек позиций и вычисляет расхождение в структурах дискурса внутри каждой ячейки.
🖥Github: https://github.com/williamlyh/pos_div_metric
📕Paper: https://arxiv.org/pdf/2402.10175v1.pdf
🔥Dataset: https://paperswithcode.com/dataset/recipe1m-1
✨Tasks: https://paperswithcode.com/task/coherence-evaluation
@Devsp — Подписаться
🎛 TIA Toolbox
TIAToolbox — это набор инструментов для вычислительной патологии, разработанный TIA Center, который предоставляет комплексный API для анализа изображений патологии с использованием лучших практик. Он основан на PyTorch , популярной платформе глубокого обучения, которая обеспечивает эффективную и гибкую реализацию самых современных алгоритмов. TIAToolbox поддерживает множество функций через интерфейс командной строки и может интегрироваться со стандартными модулями PyTorch. Он также предлагает инструменты для загрузки данных, предварительной обработки, вывода модели, постобработки и визуализации.
🖥Github: https://github.com/tissueimageanalytics/tiatoolbox
📕Paper: https://arxiv.org/pdf/2402.09990v1.pdf
✨Tasks: https://paperswithcode.com/task/whole-slide-images
@Devsp — Подписаться
TIAToolbox — это набор инструментов для вычислительной патологии, разработанный TIA Center, который предоставляет комплексный API для анализа изображений патологии с использованием лучших практик. Он основан на PyTorch , популярной платформе глубокого обучения, которая обеспечивает эффективную и гибкую реализацию самых современных алгоритмов. TIAToolbox поддерживает множество функций через интерфейс командной строки и может интегрироваться со стандартными модулями PyTorch. Он также предлагает инструменты для загрузки данных, предварительной обработки, вывода модели, постобработки и визуализации.
🖥Github: https://github.com/tissueimageanalytics/tiatoolbox
📕Paper: https://arxiv.org/pdf/2402.09990v1.pdf
✨Tasks: https://paperswithcode.com/task/whole-slide-images
@Devsp — Подписаться
🗣 EasyKV
EasyKV — это пакет Pytorch, предназначенный для вывода генеративной языковой модели с ограничением кэша ключей.
🖥Github: https://github.com/drsy/easykv
📕Paper: https://arxiv.org/pdf/2402.06262v1.pdf
🔥Datasets: https://paperswithcode.com/dataset/webtext
@Devsp — Подписаться
EasyKV — это пакет Pytorch, предназначенный для вывода генеративной языковой модели с ограничением кэша ключей.
🖥Github: https://github.com/drsy/easykv
📕Paper: https://arxiv.org/pdf/2402.06262v1.pdf
🔥Datasets: https://paperswithcode.com/dataset/webtext
@Devsp — Подписаться
🧐Enhancing Video Super-Resolution via Implicit Resampling-based Alignment
Video Super-Resolution — это задача компьютерного зрения, целью которой является увеличение разрешения видеопоследовательности, обычно от более низкого разрешения к более высокому. Цель состоит в том, чтобы генерировать видеокадры с высоким разрешением из входных данных с низким разрешением, улучшая общее качество видео.
🖥Github: https://github.com/kai422/iart
📕Paper: https://github.com/kai422/IART/blob/main/arxiv.pdf
🔥Datasets: https://paperswithcode.com/task/video-super-resolution
@Devsp — Подписаться
Video Super-Resolution — это задача компьютерного зрения, целью которой является увеличение разрешения видеопоследовательности, обычно от более низкого разрешения к более высокому. Цель состоит в том, чтобы генерировать видеокадры с высоким разрешением из входных данных с низким разрешением, улучшая общее качество видео.
🖥Github: https://github.com/kai422/iart
📕Paper: https://github.com/kai422/IART/blob/main/arxiv.pdf
🔥Datasets: https://paperswithcode.com/task/video-super-resolution
@Devsp — Подписаться
🧮 OpenMathInstruct-1: A 1.8 Million Math Instruction Tuning Dataset
OpenMathInstruct-1 — это набор данных для настройки математических инструкций, содержащий 1,8 миллиона пар «задача-решение», созданный с использованием лицензированной модели Mixtral-8x7B.
▪Dataset: https://huggingface.co/datasets/nvidia/OpenMathInstruct-1
▪Paper: https://huggingface.co/papers/2402.10176
@Devsp — Подписаться
OpenMathInstruct-1 — это набор данных для настройки математических инструкций, содержащий 1,8 миллиона пар «задача-решение», созданный с использованием лицензированной модели Mixtral-8x7B.
▪Dataset: https://huggingface.co/datasets/nvidia/OpenMathInstruct-1
▪Paper: https://huggingface.co/papers/2402.10176
@Devsp — Подписаться
⭐️ComfyUI-3D-Pack
Обширный набор узлов, который позволяет ComfyUI обрабатывать 3D-входы (сетки и UV-текстуры и т. д.) с использованием передовых алгоритмов (3DGS, NeRF и т. д.).
▪ComfyUI-3D-Pack: https://github.com/MrForExample/ComfyUI-3D-Pack
▪TGS: https://github.com/VAST-AI-Research/TriplaneGaussian
@Devsp — Подписаться
Обширный набор узлов, который позволяет ComfyUI обрабатывать 3D-входы (сетки и UV-текстуры и т. д.) с использованием передовых алгоритмов (3DGS, NeRF и т. д.).
▪ComfyUI-3D-Pack: https://github.com/MrForExample/ComfyUI-3D-Pack
▪TGS: https://github.com/VAST-AI-Research/TriplaneGaussian
@Devsp — Подписаться
⚡️ MotionCtrl: A Unified and Flexible Motion Controller for Video Generation
MotionCtrl может независимо управлять сложным движением камеры и движением объектов в созданных видео, используя только унифицированную модель.
🖥Code: https://github.com/TencentARC/MotionCtrl
🎓Colab: https://github.com/camenduru/MotionCtrl-colab
🔮Project Page: https://openxlab.org.cn/apps/detail/camenduru/MotionCtrl
📚ArXiv: https://arxiv.org/abs/2312.03641
@Devsp — Подписаться
MotionCtrl может независимо управлять сложным движением камеры и движением объектов в созданных видео, используя только унифицированную модель.
🖥Code: https://github.com/TencentARC/MotionCtrl
🎓Colab: https://github.com/camenduru/MotionCtrl-colab
🔮Project Page: https://openxlab.org.cn/apps/detail/camenduru/MotionCtrl
📚ArXiv: https://arxiv.org/abs/2312.03641
@Devsp — Подписаться
🧐FIND: Interface Foundation Models' Embeddings
FIND может встраивать DD в модели IN- интерфейса Foundation в чередующееся общее пространство внедрения.
🖥Code: https://github.com/UX-Decoder/FIND
🎓Demo: http://find.xyzou.net/
🔮Project Page: https://x-decoder-vl.github.io
🥩Demo: http://find.xyzou.net
📚ArXiv: https://arxiv.org/pdf/2312.07532.pdf
@Devsp — Подписаться
FIND может встраивать DD в модели IN- интерфейса Foundation в чередующееся общее пространство внедрения.
🖥Code: https://github.com/UX-Decoder/FIND
🎓Demo: http://find.xyzou.net/
🔮Project Page: https://x-decoder-vl.github.io
🥩Demo: http://find.xyzou.net
📚ArXiv: https://arxiv.org/pdf/2312.07532.pdf
@Devsp — Подписаться