🔊Amphion: An Open-Source Audio, Music, and Speech Generation Toolkit
Amphion — набор инструментов для создания аудио, музыки и речи. Его цель — поддержать воспроизводимые исследования и помочь младшим исследователям и инженерам начать работу в области исследований и разработок в области аудио, музыки и генерации речи. Amphion предлагает уникальную функцию: визуализацию классических моделей или архитектур.
🖥GitHub: https://github.com/open-mmlab/Amphion
📚Paper: arxiv.org/abs/2312.09911
🥩HF: https://huggingface.co/amphion
@Devsp — Подписаться
Amphion — набор инструментов для создания аудио, музыки и речи. Его цель — поддержать воспроизводимые исследования и помочь младшим исследователям и инженерам начать работу в области исследований и разработок в области аудио, музыки и генерации речи. Amphion предлагает уникальную функцию: визуализацию классических моделей или архитектур.
🖥GitHub: https://github.com/open-mmlab/Amphion
📚Paper: arxiv.org/abs/2312.09911
🥩HF: https://huggingface.co/amphion
@Devsp — Подписаться
⚡️ UDiffText: A Unified Framework for High-quality Text Synthesis in Arbitrary Images via Character-aware Diffusion Models ✒ Colab 🥳
UDiffText: Единая платформа для высококачественной генерации текста на изображениях с помощью моделей диффузии.
🖥code: https://github.com/ZYM-PKU/UDiffText
⚡️page: https://udifftext.github.io
📚paper: https://arxiv.org/abs/2312.04884
🔥colab: https://github.com/camenduru/UDiffText-colab
@Devsp — Подписаться
UDiffText: Единая платформа для высококачественной генерации текста на изображениях с помощью моделей диффузии.
🖥code: https://github.com/ZYM-PKU/UDiffText
⚡️page: https://udifftext.github.io
📚paper: https://arxiv.org/abs/2312.04884
🔥colab: https://github.com/camenduru/UDiffText-colab
@Devsp — Подписаться
📈 PromptBench: A Unified Library for Evaluating and Understanding Large Language Models.
PromptBench - это основанный на Pytorch пакет Python для оценки больших языковых моделей (LLM). Он предоставляет удобные API для исследователей, чтобы проводить оценку LLM.
🖥Code: https://github.com/microsoft/promptbench
🌟Docs: https://promptbench.readthedocs.io/en/latest/
📚Paper: https://arxiv.org/abs/2312.07910v1
⚡️Dataset: https://paperswithcode.com/dataset/mmlu
@Devsp — Подписаться
PromptBench - это основанный на Pytorch пакет Python для оценки больших языковых моделей (LLM). Он предоставляет удобные API для исследователей, чтобы проводить оценку LLM.
🖥Code: https://github.com/microsoft/promptbench
🌟Docs: https://promptbench.readthedocs.io/en/latest/
📚Paper: https://arxiv.org/abs/2312.07910v1
⚡️Dataset: https://paperswithcode.com/dataset/mmlu
@Devsp — Подписаться
🥇 TokenCompose, a text-to-image latent diffusion model trained with fine-grained grounding objectives
TokenCompose, модель латентной диффузии текста в изображение, которая достигает высокого фотореализма.
🖥Code: https://github.com/mlpc-ucsd/TokenCompose
🏆Website: https://mlpc-ucsd.github.io/TokenCompose/
📚Paper: https://huggingface.co/papers/2312.03626
@Devsp — Подписаться
TokenCompose, модель латентной диффузии текста в изображение, которая достигает высокого фотореализма.
🖥Code: https://github.com/mlpc-ucsd/TokenCompose
🏆Website: https://mlpc-ucsd.github.io/TokenCompose/
📚Paper: https://huggingface.co/papers/2312.03626
@Devsp — Подписаться
🪄 MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model
MagicAnimate стремится анимировать эталонное изображение, придерживаясь последовательностей движений с временной согласованностью.
🖥Github: https://github.com/magic-research/magic-animate
🔥HF: https://huggingface.co/spaces/zcxu-eric/magicanimate
📚Paper: arxiv.org/abs/2311.16498
🌟 Colab: https://colab.research.google.com/github/camenduru/MagicAnimate-colab/blob/main/MagicAnimate_colab.ipynb
🥩Page: https://showlab.github.io/magicanimate/
@Devsp — Подписаться
MagicAnimate стремится анимировать эталонное изображение, придерживаясь последовательностей движений с временной согласованностью.
🖥Github: https://github.com/magic-research/magic-animate
🔥HF: https://huggingface.co/spaces/zcxu-eric/magicanimate
📚Paper: arxiv.org/abs/2311.16498
🌟 Colab: https://colab.research.google.com/github/camenduru/MagicAnimate-colab/blob/main/MagicAnimate_colab.ipynb
🥩Page: https://showlab.github.io/magicanimate/
@Devsp — Подписаться
🚀 ResAdapter: Domain Consistent Resolution Adapter for Diffusion Models
Новый фреймворк предназначенный для диффузионных моделей (например, SD) для создания изображений с любым разрешением и соотношением сторон. В отличие от других методов генерации с заданным разрешениями, которые обрабатывают изображения с последующей обработкой, ResAdapter напрямую генерирует изображения с заданным разрешением.
▪page: https://res-adapter.github.io
▪paper: https://arxiv.org/abs/2403.02084
▪code: https://github.com/bytedance/res-adapter
@Devsp — Подписаться
Новый фреймворк предназначенный для диффузионных моделей (например, SD) для создания изображений с любым разрешением и соотношением сторон. В отличие от других методов генерации с заданным разрешениями, которые обрабатывают изображения с последующей обработкой, ResAdapter напрямую генерирует изображения с заданным разрешением.
▪page: https://res-adapter.github.io
▪paper: https://arxiv.org/abs/2403.02084
▪code: https://github.com/bytedance/res-adapter
@Devsp — Подписаться
Представляем первый коммерческий релиз СУБД SoQoL!
SoQoL — это инновационная российская СУБД, созданная с нуля на основе новейших достижений, потребностей рынка, глубоких научных знаний и богатого опыта команды экспертов в области разработки программного обеспечения.
СУБД SoQoL не имеет ограничений специализированных СУБД и:
🔵 работает с большими дисковыми массивами данных;
🔵 реализует все требования ACID без исключений;
🔵 предоставляет различные уровни изоляции транзакций;
🔵 и конечно же поддерживает хорошо знакомый пользователям стандарт ANSI SQL.
СУБД SoQoL представляет собой транзакционную систему управления базами данных с производительностью, кратно превосходящей ведущие системы, как на рынке России, так и за его пределами.
Больше информации о СУБД SoQoL: https://tglink.io/484746807edf?erid=LjN8K4R3k
SoQoL — это инновационная российская СУБД, созданная с нуля на основе новейших достижений, потребностей рынка, глубоких научных знаний и богатого опыта команды экспертов в области разработки программного обеспечения.
СУБД SoQoL не имеет ограничений специализированных СУБД и:
🔵 работает с большими дисковыми массивами данных;
🔵 реализует все требования ACID без исключений;
🔵 предоставляет различные уровни изоляции транзакций;
🔵 и конечно же поддерживает хорошо знакомый пользователям стандарт ANSI SQL.
СУБД SoQoL представляет собой транзакционную систему управления базами данных с производительностью, кратно превосходящей ведущие системы, как на рынке России, так и за его пределами.
Больше информации о СУБД SoQoL: https://tglink.io/484746807edf?erid=LjN8K4R3k
🖼 Differential Diffusion: Giving Each Pixel Its Strength
В этом документе представлена новая структура, которая позволяет настраивать количество изменений на пиксель или на область изображения. Нашу структуру можно интегрировать в любую существующую модель распространения, дополнив ее этой возможностью. Такой детальный контроль над количеством изменений открывает широкий спектр новых возможностей редактирования, таких как контроль степени изменения отдельных объектов или возможность вводить постепенные пространственные изменения.
▪code: github.com/exx8/differential-diffusion
▪page: differential-diffusion.github.io
▪paper: arxiv.org/abs/2306.00950
@Devsp — Подписаться
В этом документе представлена новая структура, которая позволяет настраивать количество изменений на пиксель или на область изображения. Нашу структуру можно интегрировать в любую существующую модель распространения, дополнив ее этой возможностью. Такой детальный контроль над количеством изменений открывает широкий спектр новых возможностей редактирования, таких как контроль степени изменения отдельных объектов или возможность вводить постепенные пространственные изменения.
▪code: github.com/exx8/differential-diffusion
▪page: differential-diffusion.github.io
▪paper: arxiv.org/abs/2306.00950
@Devsp — Подписаться
🖥 Self-conditioned Image Generation via Generating Representations
Набор данных ImageNet содержит 14 197 122 аннотированных изображения в соответствии с иерархией WordNet. С 2010 года набор данных используется в конкурсе ImageNet Large Scale Visual Recognition Challenge (ILSVRC), эталоне в классификации изображений и обнаружении объектов. Публично опубликованный набор данных содержит набор обучающих изображений, аннотированных вручную.
🖥Github: https://github.com/LTH14/rcg
📚Paper: https://arxiv.org/abs/2312.03701
🌟 Dataset: https://paperswithcode.com/dataset/imagenet
@Devsp — Подписаться
Набор данных ImageNet содержит 14 197 122 аннотированных изображения в соответствии с иерархией WordNet. С 2010 года набор данных используется в конкурсе ImageNet Large Scale Visual Recognition Challenge (ILSVRC), эталоне в классификации изображений и обнаружении объектов. Публично опубликованный набор данных содержит набор обучающих изображений, аннотированных вручную.
🖥Github: https://github.com/LTH14/rcg
📚Paper: https://arxiv.org/abs/2312.03701
🌟 Dataset: https://paperswithcode.com/dataset/imagenet
@Devsp — Подписаться
🦾 StyleTTS 2: Towards Human-Level Text-to-Speech through Style Diffusion and Adversarial Training with Large Speech Language Models
В этой статье мы представляем StyleTTS 2, модель преобразования текста в речь (TTS), которая использует диффузию стилей и состязательное обучение с помощью больших моделей речевого языка (SLM) для достижения синтеза TTS на человеческом уровне. StyleTTS 2 отличается от своего предшественника тем, что моделирует стили как скрытую случайную величину с помощью моделей диффузии, чтобы генерировать наиболее подходящий стиль для текста, не требуя эталонной речи, достигая эффективной скрытой диффузии, одновременно используя разнообразный синтез речи, предлагаемый моделями диффузии.
🖥Github: https://github.com/yl4579/StyleTTS2
🔥Colab: https://colab.research.google.com/github/yl4579/StyleTTS2/blob/main/
⚡️Demo: https://huggingface.co/spaces/styletts2/styletts2
📚Paper: https://arxiv.org/abs/2306.07691
🌟 Demo: https://seamless.metademolab.com/expressive
🥩Page: styletts2.github.io
@Devsp — Подписаться
В этой статье мы представляем StyleTTS 2, модель преобразования текста в речь (TTS), которая использует диффузию стилей и состязательное обучение с помощью больших моделей речевого языка (SLM) для достижения синтеза TTS на человеческом уровне. StyleTTS 2 отличается от своего предшественника тем, что моделирует стили как скрытую случайную величину с помощью моделей диффузии, чтобы генерировать наиболее подходящий стиль для текста, не требуя эталонной речи, достигая эффективной скрытой диффузии, одновременно используя разнообразный синтез речи, предлагаемый моделями диффузии.
🖥Github: https://github.com/yl4579/StyleTTS2
🔥Colab: https://colab.research.google.com/github/yl4579/StyleTTS2/blob/main/
⚡️Demo: https://huggingface.co/spaces/styletts2/styletts2
📚Paper: https://arxiv.org/abs/2306.07691
🌟 Demo: https://seamless.metademolab.com/expressive
🥩Page: styletts2.github.io
@Devsp — Подписаться
🏎 TripoSR: Fast 3D Object Reconstruction from a Single Image
TripoSR, современной модели с открытым исходным кодом для быстрой 3D-реконструкции с прямой связью из одного изображения, совместно разработанной Tripo AI и Stability AI.
Используя принципы Большой модели реконструкции (LRM), TripoSR предлагает ключевые достижения, которые значительно повышают скорость и качество 3D-реконструкции.
▪page: https://tripo3d.ai
▪paper: https://drive.google.com/file/d/1LWlZPT2aASi9jHiGVhDSr4YCTANoFW5t/view
▪code: https://github.com/VAST-AI-Research/TripoSR
@Devsp — Подписаться
TripoSR, современной модели с открытым исходным кодом для быстрой 3D-реконструкции с прямой связью из одного изображения, совместно разработанной Tripo AI и Stability AI.
Используя принципы Большой модели реконструкции (LRM), TripoSR предлагает ключевые достижения, которые значительно повышают скорость и качество 3D-реконструкции.
▪page: https://tripo3d.ai
▪paper: https://drive.google.com/file/d/1LWlZPT2aASi9jHiGVhDSr4YCTANoFW5t/view
▪code: https://github.com/VAST-AI-Research/TripoSR
@Devsp — Подписаться
😍 PeRFlow: Piecewise Rectified Flow as Universal Plug-and-Play Accelerator
Rectified Flow — многообещающий способ ускорения предварительно обученных диффузионных моделей.
Новая модель изучает кусочно-линейный вероятностный поток, который может эффективно генерировать высококачественные изображения всего за 4 шага, называемый кусочно-выпрямленным потоком (PerFlow).
▪Github
▪Project
@Devsp — Подписаться
Rectified Flow — многообещающий способ ускорения предварительно обученных диффузионных моделей.
Новая модель изучает кусочно-линейный вероятностный поток, который может эффективно генерировать высококачественные изображения всего за 4 шага, называемый кусочно-выпрямленным потоком (PerFlow).
▪Github
▪Project
@Devsp — Подписаться
🤓Learning to Learn Faster from Human Feedback with Language Model Predictive Control
Было показано, что большие языковые модели (LLM) демонстрируют широкий спектр возможностей, таких как написание кода робота из языковых команд, что позволяет неспециалистам управлять поведением роботов, изменять их на основе обратной связи или составлять их для выполнения новых задач.
Однако эти возможности (обеспечиваемые контекстным обучением) ограничены краткосрочными взаимодействиями, при которых отзывы пользователей остаются актуальными только до тех пор, пока они соответствуют размеру контекста LLM, и могут быть забыты при длительных взаимодействиях.
В этой работе мы изучаем тонкую настройку LLM для написания кода роботами, чтобы запомнить их контекстное взаимодействие и улучшить их обучаемость.
▪proj: https://robot-teaching.github.io
▪paper: https://arxiv.org/abs/2402.11450
▪code: https://colab.research.google.com/drive/1YcRN_kklw3cVVJNvgK_IEV6nDce9EJWK
@Devsp — Подписаться
Было показано, что большие языковые модели (LLM) демонстрируют широкий спектр возможностей, таких как написание кода робота из языковых команд, что позволяет неспециалистам управлять поведением роботов, изменять их на основе обратной связи или составлять их для выполнения новых задач.
Однако эти возможности (обеспечиваемые контекстным обучением) ограничены краткосрочными взаимодействиями, при которых отзывы пользователей остаются актуальными только до тех пор, пока они соответствуют размеру контекста LLM, и могут быть забыты при длительных взаимодействиях.
В этой работе мы изучаем тонкую настройку LLM для написания кода роботами, чтобы запомнить их контекстное взаимодействие и улучшить их обучаемость.
▪proj: https://robot-teaching.github.io
▪paper: https://arxiv.org/abs/2402.11450
▪code: https://colab.research.google.com/drive/1YcRN_kklw3cVVJNvgK_IEV6nDce9EJWK
@Devsp — Подписаться
⚡️ MotionDirector: Motion Customization of Text-to-Video Diffusion Models
MotionDirector может настраивать модели распространения текста в видео для создания видеороликов с желаемыми движениями.
🖥Github: https://github.com/showlab/MotionDirector
📕Paper: https://arxiv.org/abs/2310.08465
⭐️Project: showlab.github.io/MotionDirector/
@Devsp — Подписаться
MotionDirector может настраивать модели распространения текста в видео для создания видеороликов с желаемыми движениями.
🖥Github: https://github.com/showlab/MotionDirector
📕Paper: https://arxiv.org/abs/2310.08465
⭐️Project: showlab.github.io/MotionDirector/
@Devsp — Подписаться
✔️ AIJack: Security and Privacy Risk Simulator for Machine Learning
AIJack — это простой в использовании инструмент моделирования с открытым исходным кодом для проверки безопасности вашей системы искусственного интеллекта от угонщиков.
Он предоставляет передовые методы безопасности, такие как дифференциальная конфиденциальность, гомоморфное шифрование, K-анонимность и федеративное обучение, чтобы гарантировать защиту вашего ИИ.
🖥Code: https://github.com/Koukyosyumei/AIJack
📚Paper: https://arxiv.org/abs/2312.17667v1
⚡️Docs: https://koukyosyumei.github.io/AIJack/
@Devsp — Подписаться
AIJack — это простой в использовании инструмент моделирования с открытым исходным кодом для проверки безопасности вашей системы искусственного интеллекта от угонщиков.
Он предоставляет передовые методы безопасности, такие как дифференциальная конфиденциальность, гомоморфное шифрование, K-анонимность и федеративное обучение, чтобы гарантировать защиту вашего ИИ.
🖥Code: https://github.com/Koukyosyumei/AIJack
📚Paper: https://arxiv.org/abs/2312.17667v1
⚡️Docs: https://koukyosyumei.github.io/AIJack/
@Devsp — Подписаться
⚡️ LongAnimateDiff, a text2video model for generating extended videos.
Модель LongAnimateDiff обучена генерировать видео с переменным количеством кадров от 16 до 64 кадров.
Эта модель совместима с исходной моделью AnimateDiff. Для достижения оптимальных результатов мы рекомендуем использовать шкалу движения 1,15.
🖥Code: https://github.com/Lightricks/LongAnimateDiff
🎓HF: https://huggingface.co/spaces/Lightricks/LongAnimateDiff
@Devsp — Подписаться
Модель LongAnimateDiff обучена генерировать видео с переменным количеством кадров от 16 до 64 кадров.
Эта модель совместима с исходной моделью AnimateDiff. Для достижения оптимальных результатов мы рекомендуем использовать шкалу движения 1,15.
🖥Code: https://github.com/Lightricks/LongAnimateDiff
🎓HF: https://huggingface.co/spaces/Lightricks/LongAnimateDiff
@Devsp — Подписаться
🖼 AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning
Модуль Plug-and-Play, превращает большинство моделей сообщества в генераторы анимации без необходимости дополнительного обучения.
🖥Github: https://github.com/guoyww/animatediff/
💻Colab: https://colab.research.google.com/github/camenduru/AnimateDiff-colab/blob/main/AnimateDiff_colab.ipynb
📚Paper: https://arxiv.org/abs/2307.04725
📁Project: https://animatediff.github.io/
@Devsp — Подписаться
Модуль Plug-and-Play, превращает большинство моделей сообщества в генераторы анимации без необходимости дополнительного обучения.
🖥Github: https://github.com/guoyww/animatediff/
💻Colab: https://colab.research.google.com/github/camenduru/AnimateDiff-colab/blob/main/AnimateDiff_colab.ipynb
📚Paper: https://arxiv.org/abs/2307.04725
📁Project: https://animatediff.github.io/
@Devsp — Подписаться
⚡️ Генеративные нейросети Яндекса попали в международный рейтинг ИИ-разработок
Сообщество дата-саентистов, ML-экспертов и энтузиастов в сфере ИИ AIPort опубликовали первый международный рейтинг Global Generative AI Landscape 2024. В него вошли текстовая YandexGPT и мультимодальная YandexART. Также компания стала одной из 11 мировых игроков, которые создали более одного типа GenAI-моделей.
@Devsp — Подписаться
Сообщество дата-саентистов, ML-экспертов и энтузиастов в сфере ИИ AIPort опубликовали первый международный рейтинг Global Generative AI Landscape 2024. В него вошли текстовая YandexGPT и мультимодальная YandexART. Также компания стала одной из 11 мировых игроков, которые создали более одного типа GenAI-моделей.
@Devsp — Подписаться