🔥 Создание 3D-моделей из плоской картинки с помощью DUSt3R

Встречайте DUSt3R — новый подход геометрического конструирования 3D на основе 2D (Dense and Unconstrained Stereo 3D Reconstruction).
DUSt3R не требует калибровки камеры или данных о точке обзора.

Ключевые возможности DUSt3R:
🟡Работает с произвольными коллекциями изображений

🟡Интеграция монокулярных и бинокулярных методов реконструкции с помощью регрессии точечных карт

🟡Выравнивает многоракурсные карты точек в общую систему координат

🟡Использует кодеры/декодеры с предварительно обученными моделями

🖥 GitHub

@ai_machinelearning_big_data

⚡️ В Google Workspace появился ИИ-видеоредактор

В Google Workspace (который содержит приложения типа Docs, Sheets и Slides) появился новый сервис — онлайн видеоредактор Vids.

Это довольно простое приложение для создания видео, предназначенное для бизнеса.
Вы можете использовать его для создания видеопрезентаций с временной шкалой, в которые можно быстро накидать картинки со своего Google Диска.

Вы также можете добавить закадровый голос или видеозапись своей речи, чтобы добавить привлекательности.

Однако что делает Vids действительно интересным, так это то, что он использует ИИ Gemini.

Пользователи могут попросить Gemini писать сценарии, создавать раскадровки и даже озвучивать видео.

Он также может использовать библиотеку видеоматериалов и даже самостоятельно создавать изображения.
Vids в настоящее время тестируется небольшим количеством пользователей Workspace.

📎 Introducing Google Vids

@ai_machinelearning_big_data

🖥 GitHub Copilot в CLI теперь общедоступен (вышел из беты)

Относительно недавно GitHub Copilot объявил об общедоступности своего расширения интерфейса командной строки (CLI). Это обновление расширяет функциональность Copilot на терминал, позволяя пользователям получать выгоду от его функций непосредственно в рабочем процессе.

Новые функции Copilot CLI:
⏩Теперь Copilot может предлагать команды на основе пользовательского ввода, а также выполнять эти команды

⏩Помимо предложений на основе пользовательского ввода, Copilot будет предоставлять пояснения к существующим командам

⏩Новые вспомогательные псевдонимы доступны для оболочек Bash, PowerShell и Zsh. Эти псевдонимы, созданные командой gh copilot alias, предоставляют сокращения для часто используемых функций Copilot:
• ghcs – выполняет предложенные команды
• ghce — объясняет существующие команды

📎 Подробнее

@ai_machinelearning_big_data

⚡️ Stability AI расширила доступ к тестированию Stable Diffusion третьего поколения

⏩Следующее поколение генерирующей изображения по текстовой подсказке ИИ-модели Stable Diffusion пока не запущено публично, но уже доступно некоторым разработчикам через API и новую платформу для создания контента, а также платформу для разработчиков. Для организации доступа к ИИ по API Stability AI объединила усилия с API-платформой Fireworks AI.

⏩По словам разработчиков, новое поколение Stable Diffusion «не уступает, либо превосходит» другие подобные модели, вроде DALL-E 3 от OpenAI и Midjourney «в понимании и соблюдении запросов». Stable Diffusion 3 использует архитектуру Multimodal Diffusion Transformer, которая должна улучшить понимание текста и орфографии.

⏩Новая платформа для создания контента Stable Assistant Beta — это «дружелюбный чат-бот», позволяющий платным подписчикам работать с передовыми ИИ-моделями Stability AI, генерировать изображения и писать тексты. Пока платформа находится в стадии закрытого тестирования ограниченной группой пользователей и недоступна для широкой публики. В очередной раз расширив доступность своих продуктов, компания подчеркнула, что «принимает разумные меры для предотвращения неправомерного использования Stable Diffusion 3 злоумышленниками».

📎 Подробнее

@ai_machinelearning_big_data

🌟 Не разрешают использовать ChatGPT — разворачивам LLM локально

Бывают ситуации, когда жизненные обстоятельства не позволяют использовать ChatGPT и приходится разворачивать LLM локально.
Что в этом случае можно использовать?

1. Проприетарные модели:
🟡 Anthropic – в настоящее время сравним или превосходит по качеству ChatGPT 4.0 на некоторых задачах и обладает большим контекстным окном, давая возможность решать многие задачи, не прибегая к RAG и другим гибридным методам

🟡 Yandex GPT – хорошо функционирует на русском языке, поэтому если ваша бабушка еще и майор – она точно оценит этот вариант

🟡 GigaChat – модель от Сбера, так же хорошо работает на русском и смотри пункт выше

2. Открытые модели:
🟡 LLama 2 – оригинальная открытая модель от известной террористической организации, на базе которой уже нагородили over 100500 разных моделей, за что этой организации большое спасибо (до сих пор никто не понимает, что подвигло Марка на данное решение). По качеству не дотягивает до ChatGPT 4.

🟡 ruGPT – претрейн от GigaChat под лицензией MIT, Сбер приложил руку и тут, спасибо им. Можно использовать

🟡 Mistral – модель, разработанная выходцами из Гугла во Франции. Качество не дотягивает до ChatGPT 4, но в среднем лучше, чем Llama 2.

🟡 Falcon – модель разработана на арабские деньги европейцами. В целом, послабее Llama 2, и смысл ее использования от меня ускользает.

🟡 Grok от X – предположительно "based" модель от самого Илона. Работает пока так себе, плюс-минус на уровне ChatGPT 3.5, но Илон обещает порвать всех на тряпки и есть причины ему верить.

Оценки моделей на текущий момент выглядят примерно так (на изображении)

@ai_machinelearning_big_data

🔥 Нейросети без цензуры: какие LLM ответят на любые вопросы

🟡 FuseChat-7B-VaRM. Хороший вариант для общения, без цензуры и ограничений. По сути, это три чат-бота, объединенных в один, каждый со своими особенностями. Это значит, что пользователь получает интересные беседы независимо от того, о чем хочет поговорить.

🟡 Chimera-Apex-7B. Создана для обычных разговоров и генерации не совсем обычных идей. Хороший приятель для мозгового штурма, который не боится быть немного диким. Все еще находится в стадии разработки, так что еще можно ждать сюрпризов.

🟡 Dolphin-2.8-experiment26-7b. Это тонкая настройка экспериментальной модели, которая зарекомендовала себя как лучшая с 7 млрд параметров. Это как усовершенствованная версия модели, в которой устранены все недостатки и оптимизирована производительность.

🟡 Nous-Hermes-2-Mistral-7B-DPO. Эта модель представляет собой значительное улучшение: она демонстрирует повышенную производительность в различных бенчмарках по сравнению со своими предшественниками. Особого внимания заслуживает ее применение в средах без цензуры. Сфокусирована на предоставлении качественных ответов, основанных на данных, что делает ее отличным кандидатом для тех, кто ищет продвинутые, неограниченные возможности LLM.

🟡 UNA-TheBeagle-7b-v1. Обучена на наборе данных The Bagel с использованием прямой оптимизации предпочтений (DPO) и UNA. Модель основана на нейро-чате Intel.

🟡 Nous Hermes 2 — SOLAR 10.7B. Новая модель от Nous Research, основанная на SOLAR 10.7B. Обучена на большом датасете, который состоит в основном из данных, сгенерированных GPT-4, и дополнительных ресурсов. По бенчмаркам почти достигла уровня производительности модели Yi-34B. Работает с системными промтами, что дает возможность пользователям определять правила, роли.

🟡 Dolphin 2.6 Mistral 7b — DPO Laser. Это языковая модель без цензуры, основанная на работе LASER. Благодаря более широкому контекстному окну в 16 тыс. токенов и таким передовым методам, как SVD и RMT, эта модель без цензуры выдает более надежные результаты, чем ее предшественники. Она идеальна для ролевых сценариев благодаря широкому диапазону ответов.

🟡 Dolphin-2.2.1-mistral-7b. Разработана Эриком Хартфордом и спонсируется a16z. Работает под лицензией Apache-2.0 и представляет собой универсальный инструмент как для коммерческих, так и для некоммерческих приложений. Одной из особенностей Dolphin-2.2.1-mistral-7b считается ее стремление к развитию содержательного общения. Набор данных был тщательно отфильтрован, чтобы устранить любую предвзятость, благодаря чему модель стала более послушной и может обеспечить нейтральный и открытый подход к генерации текста.

🟡 Zephyr 7B Alpha. Начальная итерация в серии больших языковых моделей Zephyr, известной своей емкостью в 7 млрд параметров. Эта версия mistralai/Mistral-7B-v0.1, усовершенствованной в процессе тонкой настройки с использованием комбинации общедоступных и синтетических наборов данных по методологии, известной как прямая оптимизация предпочтений (DPO).

🟡 Emerhyst-20B. Эта языковая модель без цензуры объединяет в себе сильные стороны двух популярных моделей, Amethyst 13B и Emerald 13B. Такой подход позволяет основной модели унаследовать лучшие черты от своих «родителей», создавая универсальный и эффективный генератор текстов. Для дальнейшего расширения возможностей Emerhyst-20B создатели использовали LimaRP v3, передовой инструмент для обучения больших языковых моделей.

Enjoy)

@ai_machinelearning_big_data