💃 Диффузия для 3D-восстановления поз человека

🌐page: https://statho.github.io/ScoreHMR/
📄paper: https://arxiv.org/abs/2403.09623
🧬code: https://github.com/statho/ScoreHMR

@machinelearning_ru

🏆 DynamiCrafter: Анимация изображений с открытым доменом

▪page: https://doubiiu.github.io/projects/DynamiCrafter
▪paper: https://arxiv.org/abs/2310.12190
▪code: https://github.com/Doubiiu/DynamiCrafter

@machinelearning_ru

🚀 StreamMultiDiffusion: Real-Time Interactive Generation with Region-Based Semantic Control

Потоковая мультидиффузия - новый метод ускорения, позволяющий в режиме реального времени преобразовывать текст в изображения с любой контрольной точки #SD.

📃 👉 https://huggingface.co/papers/2403.09055

@machinelearning_ru

Если вы новичок, но уже обладаете базовыми знаниями, это идеальное время, чтобы начать пилить пет проекты. Но если вдруг своей идеи у вас нет, то не отчаивайтесь. Держите крутую подборку таких идей, с примерами реализации:
 
1. Прогнозирование успеваемости студентов.
2. Суммаризация текста.
3. Проекты по CV на любой вкус.
4. Классификация болезней куриц.
5. Проекты классификации аудио (1ч, 2ч, 3ч, 4ч).
6. Проект по обработке и анализу данных.
7. Прогнозирование цен на жилье.
8. Приложение с использованием Langchain и Open AI.
9. Классификация заболеваний почек.
10. LLM для ответов на вопросы по PDF.

@neuro_channel #петпроекты

💡 StreamingLLM представляет собой новый метод повышения эффективности чат-ботов в продолжительных диалогах.

Многие языковые модели используют key-value кэш в качестве диалоговой памяти. Однако, когда этот кэш переполняется, начальные фрагменты информации (токены) исчезают, что приводит к ухудшению производительности.

Исследователи предложили решение данной проблемы, заключающееся в сохранении хотя бы первого токена в кэше, чтобы минимизировать потери в производительности модели.

Авторы статьи обнаружили интересное явление: большое количество оценок внимания направлено на начальные токены независимо от их релевантности для задачи. Эти токены были названы "приёмниками внимания". Это связано с операцией Softmax, которая требует, чтобы сумма оценок внимания для всех контекстуальных токенов составляла единицу. Даже если текущий запрос слабо соответствует предыдущим токенам, модели все равно нужно распределить значения внимания.

Исследователи отметили, что наличие четырех токенов-приёмников внимания в начале кэша обеспечивает оптимальную производительность. Они также выяснили, что позиционное кодирование каждого токена должно оставаться неизменным даже при добавлении новых токенов и удалении старых. Это сочетание идей позволило StreamingLLM поддерживать непрерывный диалог с пользователем.

Кроме того, Gradio Notebook представляет собой кастомный компонент Gradio, который упрощает демонстрацию моделей машинного обучения для различных задач в Hugging Face Spaces. Gradio Notebook легко использовать: у него есть отдельные ячейки, настраиваемые под конкретную задачу и промпт, и вы можете выбрать любую модель на Hugging Face или загрузить свою.

▪Gradio Notebook
▪ Документация

@machinelearning_ru

🤖 ИИ только что лишил меня работы... Я ненавижу тебя Devin

▪️Видео

@machinelearning_ru

🔥 Илон Маск выложил в открытый доступ Grok: 314B параметров. 8 экспертов

https://github.com/xai-org/grok

@machinelearning_ru

💡 ML-разработчик Яндекса рассказал о квантизации нейросетевых моделей

Квантизация — это процесс преобразования значений из представления с большим объёмом информации в более компактное представление. Она позволяет экономить вычислительные ресурсы на устройствах, а значит экономить деньги и в целом улучшать пользовательский опыт. Автор подробно разобрал, зачем нужна квантизация и в какой момент лучше всего квантизовать модель, а также рассмотрел разные типы данных и современные методы квантизации.

▪️ Читать статью на Хабре

@machinelearning_ru

🔥 DeepMind's New AI Plays No Man's Sky!

https://www.youtube.com/watch?v=5U_Q2Lmnq_c

@machinelearning_ru

Выпущена Distil-Whisper v3 модель для распознавания речи ⚡

> на ~50% меньше параметров и в 6 раз быстрее, чем Large-v3.
> Более точный, чем large-v3

Поддерживает 🦀 Web GPU, Whisper.cpp, Transformers, Faster-Whisper и Transformers.js!

▪Модель
▪Статья

@machinelearning_ru

🔥 Генерация видео из картинок, в качестве промптов 🔥

* 📽️ VideoBooth 📽️ , обеспечивает прямое управление контентом.

- Проект: https://vchitect.github.io/VideoBooth-project/
- Документация: https://arxiv.org/abs/2312.00777
- Код: https://github.com/Vchitect/VideoBooth

@machinelearning_ru

💡 NVIDIA GTC: This Is The Future Of Everything!

https://www.youtube.com/watch?v=Y9cwnHor8es

@machinelearning_ru

⭐️ VideoPrism: A foundational visual encoder for video understanding

Google представили Video Prism, новую модель для понимания видео, которая может выполнять широкий спектр задач, включая классификацию, локализацию, поиск контента, создание субтитров. Модель способна давать ответы по содержанию видео

Узнайте, как это работает: https://blog.research.google/2024/02/videoprism-foundational-visual-encoder.html

⭐️ Яндекс анонсировал третье поколение больших языковых моделей

Первая языковая модель линейки — YandexGPT 3 Pro — уже доступна на сайте Yandex Cloud. Пользователи могут дообучить модель на конкретных задачах своего бизнеса в сервисе ML-разработки Yandex DataSphere. А потом встроить технологию в свои продукты через API.

Чтобы запустить процесс дообучения, нужно загрузить в DataSphere файл с примерами запросов и эталонными ответами на них. Стоимость использования новой нейросети снизилась почти в два раза.

@machinelearning_ru

⚡️ AutoBNN: Probabilistic time series forecasting with compositional bayesian neural networks

Autobahn сочетает интерпретируемость традиционных вероятностных подходов с масштабируемостью и гибкостью нейронных сетей для построения сложных моделей прогнозирования временных рядов с использованием сложных данных.

Узнайте больше и попробуйте готовый код → https://blog.research.google/2024/03/autobnn-probabilistic-time-series.html

@machinelearning_ru