🌟 SALMONN — ML-модель для работы с аудио

⏩SALMONN — это новая мультимодальная модель машинного обучения с открытым исходным кодом, предназначенная для обработки аудиоданных любого типа: речи, музыки и различных звуков.

⏩В основе SALMONN лежит интеграция большой языковой модели (LLM) с двумя энкодерами: Whisper для восприятия речи и BEATs для остальных звуков. Между собой аудиоэнкодеры и LLM объединяются через модуль преобразования данных Q-Former.
Благодаря такому сочетанию SALMONN может выполнять широкий спектр задач интеллектуальной обработки аудио, начиная с распознавания речи и заканчивая генерацией историй на основе услышанных звуков. Достаточно дать ей на вход аудиофрагмент и текстовое описание задачи.

⏩В качестве LLM у SALMONN используется модель Vicuna, созданная на основе модели LLaMA с 13 миллиардами параметров и обученная на лучших диалогах с ChatGPT. Также авторы SALMONN выпустили версию своей модели на основе Vicuna с 7 миллиардами параметров. Первая требует для запуска видеокарту с 80 Гб памяти, а вторая — «всего» с 40 гигабайтами.

⏩За счёт квантования модель можно ужать до 24 Гб, тогда получится запустить её на игровой видеокарте, а не только на профессиональном ускорителе.

🖥 GitHub
📕 Paper
🔥 Datasets

@ai_machinelearning_big_data

🔥 Большой список open-source AI-моделей и не только

⏩Полный список репозиториев ИИ с открытым исходным кодом размещен на сайте llama-police; список обновляется каждые 6 часов.

⏩Большинство из них вы также можете найти в этом списке cool-llm-repos на GitHub.
Enjoy)

@ai_machinelearning_big_data

🔥 Создание 3D-моделей из плоской картинки с помощью DUSt3R

Встречайте DUSt3R — новый подход геометрического конструирования 3D на основе 2D (Dense and Unconstrained Stereo 3D Reconstruction).
DUSt3R не требует калибровки камеры или данных о точке обзора.

Ключевые возможности DUSt3R:
🟡Работает с произвольными коллекциями изображений

🟡Интеграция монокулярных и бинокулярных методов реконструкции с помощью регрессии точечных карт

🟡Выравнивает многоракурсные карты точек в общую систему координат

🟡Использует кодеры/декодеры с предварительно обученными моделями

🖥 GitHub

@ai_machinelearning_big_data

⚡️ В Google Workspace появился ИИ-видеоредактор

В Google Workspace (который содержит приложения типа Docs, Sheets и Slides) появился новый сервис — онлайн видеоредактор Vids.

Это довольно простое приложение для создания видео, предназначенное для бизнеса.
Вы можете использовать его для создания видеопрезентаций с временной шкалой, в которые можно быстро накидать картинки со своего Google Диска.

Вы также можете добавить закадровый голос или видеозапись своей речи, чтобы добавить привлекательности.

Однако что делает Vids действительно интересным, так это то, что он использует ИИ Gemini.

Пользователи могут попросить Gemini писать сценарии, создавать раскадровки и даже озвучивать видео.

Он также может использовать библиотеку видеоматериалов и даже самостоятельно создавать изображения.
Vids в настоящее время тестируется небольшим количеством пользователей Workspace.

📎 Introducing Google Vids

@ai_machinelearning_big_data

🖥 GitHub Copilot в CLI теперь общедоступен (вышел из беты)

Относительно недавно GitHub Copilot объявил об общедоступности своего расширения интерфейса командной строки (CLI). Это обновление расширяет функциональность Copilot на терминал, позволяя пользователям получать выгоду от его функций непосредственно в рабочем процессе.

Новые функции Copilot CLI:
⏩Теперь Copilot может предлагать команды на основе пользовательского ввода, а также выполнять эти команды

⏩Помимо предложений на основе пользовательского ввода, Copilot будет предоставлять пояснения к существующим командам

⏩Новые вспомогательные псевдонимы доступны для оболочек Bash, PowerShell и Zsh. Эти псевдонимы, созданные командой gh copilot alias, предоставляют сокращения для часто используемых функций Copilot:
• ghcs – выполняет предложенные команды
• ghce — объясняет существующие команды

📎 Подробнее

@ai_machinelearning_big_data

⚡️ Stability AI расширила доступ к тестированию Stable Diffusion третьего поколения

⏩Следующее поколение генерирующей изображения по текстовой подсказке ИИ-модели Stable Diffusion пока не запущено публично, но уже доступно некоторым разработчикам через API и новую платформу для создания контента, а также платформу для разработчиков. Для организации доступа к ИИ по API Stability AI объединила усилия с API-платформой Fireworks AI.

⏩По словам разработчиков, новое поколение Stable Diffusion «не уступает, либо превосходит» другие подобные модели, вроде DALL-E 3 от OpenAI и Midjourney «в понимании и соблюдении запросов». Stable Diffusion 3 использует архитектуру Multimodal Diffusion Transformer, которая должна улучшить понимание текста и орфографии.

⏩Новая платформа для создания контента Stable Assistant Beta — это «дружелюбный чат-бот», позволяющий платным подписчикам работать с передовыми ИИ-моделями Stability AI, генерировать изображения и писать тексты. Пока платформа находится в стадии закрытого тестирования ограниченной группой пользователей и недоступна для широкой публики. В очередной раз расширив доступность своих продуктов, компания подчеркнула, что «принимает разумные меры для предотвращения неправомерного использования Stable Diffusion 3 злоумышленниками».

📎 Подробнее

@ai_machinelearning_big_data

🌟 Не разрешают использовать ChatGPT — разворачивам LLM локально

Бывают ситуации, когда жизненные обстоятельства не позволяют использовать ChatGPT и приходится разворачивать LLM локально.
Что в этом случае можно использовать?

1. Проприетарные модели:
🟡 Anthropic – в настоящее время сравним или превосходит по качеству ChatGPT 4.0 на некоторых задачах и обладает большим контекстным окном, давая возможность решать многие задачи, не прибегая к RAG и другим гибридным методам

🟡 Yandex GPT – хорошо функционирует на русском языке, поэтому если ваша бабушка еще и майор – она точно оценит этот вариант

🟡 GigaChat – модель от Сбера, так же хорошо работает на русском и смотри пункт выше

2. Открытые модели:
🟡 LLama 2 – оригинальная открытая модель от известной террористической организации, на базе которой уже нагородили over 100500 разных моделей, за что этой организации большое спасибо (до сих пор никто не понимает, что подвигло Марка на данное решение). По качеству не дотягивает до ChatGPT 4.

🟡 ruGPT – претрейн от GigaChat под лицензией MIT, Сбер приложил руку и тут, спасибо им. Можно использовать

🟡 Mistral – модель, разработанная выходцами из Гугла во Франции. Качество не дотягивает до ChatGPT 4, но в среднем лучше, чем Llama 2.

🟡 Falcon – модель разработана на арабские деньги европейцами. В целом, послабее Llama 2, и смысл ее использования от меня ускользает.

🟡 Grok от X – предположительно "based" модель от самого Илона. Работает пока так себе, плюс-минус на уровне ChatGPT 3.5, но Илон обещает порвать всех на тряпки и есть причины ему верить.

Оценки моделей на текущий момент выглядят примерно так (на изображении)

@ai_machinelearning_big_data