VEnhancer - генеративная система апсемлинга пространственно-временных характеристик, которая улучшает результаты существующих методов преобразования текста в видео путем добавления большего количества деталей в пространственной области и синтетического детализированного движения во временной области.
Он гибко адаптируется к различным коэффициентам апсемплинга в диапазоне 1x~8x.
VEnhancer устраняет артефакты и коллизии движения сгенерированных видео, используя диффузионную модель и дообученные модели ControlNet.
Несколько дней назад VEnhancer получил обновление:
Эксперименты, проведенные во время разработки показывают, что VEnhancer превосходит существующие методы апсемплинга видео и современные методы улучшения синтезированных видео.
⚠️ Для обработки видео в 2K разрешении при fps=>24 требуется около 80 GB VRAM.
Использование VEnhancer возможно через CLI, с помощью GradioUI и в виде неофициальной ноды (WIP) для ComfyUI.
# Clone repo
git clone https://github.com/Vchitect/VEnhancer.git
cd VEnhancer
# Create environment
conda create -n venhancer python=3.10
conda activate venhancer
# Install requirments:
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2
pip install -r requirements.txt
sudo apt-get update && apt-get install ffmpeg libsm6 libxext6 -y
bash run_VEnhancer.sh
python gradio_app.py
@ai_machinelearning_big_data
#AI #Text2Video #VEnchancer #ML
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍21❤7🔥3
Книга “Understanding Deep Learning” посвящена идеям и принципам, лежащим в основе глубокого обучения. Подача материала построена таким образом, чтобы читатель мог понять материал настолько эффективно, насколько это возможно. Для читателей, желающих углубиться в изучение, в каждой главе приведены соответствующие задачи, записные книжки по Python и подробные справочные материалы.
В первой части книги представлены модели глубокого обучения и обсуждается, как их обучать, измерять их производительность и улучшать эту производительность.
В следующей части рассматриваются архитектуры, которые специализируются на изображениях, тексте и графических данных. Для свободного понимания этих двух глав требуется понимать принципы линейной алгебры, матанализа и теории вероятностей.
Последующие части книги посвящены генеративным моделям и методике обучения с подкреплением. Эти главы требуют больших знаний в области теории вероятностей и математического анализа.
В последней главе обсуждается этика искусственного интеллекта и призыв к практикующим инженерам задуматься о моральных последствиях своей работы.
Автор книги: Simon J. D. Prince - почетный профессор информатики в Университете Bath (Великобритания) , со-автор более 80 опубликованных исследований в области ML.
Научный сотрудник, специализирующийся на искусственном интеллекте и глубоком обучении, он руководил группами ресерча в Anthropics Technologies Ltd, Borealis AI и других компаниях.
Дополнительно, на отдельном сайте книги, читателям доступны:
@ai_machinelearning_big_data
#AI #ML #Book
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥46👍19❤5👏3
MТС Web Services (MWS) представила новое направление — ИИ-облако, которое упростит внедрение искусственного интеллекта в компании.
Используя GPU-инфраструктуру, компании смогут запускать ИИ-проекты без необходимости закупки оборудования, что сократит расходы и ускорит запуск. Среди сервисов: ML-платформа, автоматизирующая обучение моделей, и готовые решения, такие как Cotype (генерация текстов и анализ данных), Audiogram (синтез речи) и WordPulse (речевая аналитика).
MWS предоставляет персонализированные решения для бизнеса.
Audiogram - платформа синтеза и распознавания речи на основе нейронных сетей с возможностью управления интонацией, ударениями и другими параметрами и сервис речевой аналитики WordPulse. Данные сервисы позволят компаниям оперативно обрабатывать звонки и чаты с клиентами, тем самым повышая качество обслуживания и автоматизируя работу кол-центров.
@ai_machinelearning_big_data
Используя GPU-инфраструктуру, компании смогут запускать ИИ-проекты без необходимости закупки оборудования, что сократит расходы и ускорит запуск. Среди сервисов: ML-платформа, автоматизирующая обучение моделей, и готовые решения, такие как Cotype (генерация текстов и анализ данных), Audiogram (синтез речи) и WordPulse (речевая аналитика).
MWS предоставляет персонализированные решения для бизнеса.
Audiogram - платформа синтеза и распознавания речи на основе нейронных сетей с возможностью управления интонацией, ударениями и другими параметрами и сервис речевой аналитики WordPulse. Данные сервисы позволят компаниям оперативно обрабатывать звонки и чаты с клиентами, тем самым повышая качество обслуживания и автоматизируя работу кол-центров.
@ai_machinelearning_big_data
👍15❤4🔥4😁4
Roblox анонсировала инструмент на основе ИИ с открытым исходным кодом, который позволит разработчикам создавать 3D-среды и объекты, используя текстовые запросы.
Инструмент основан на фундаментальной 3D-модели Roblox и использует подход, аналогичный большим языковым моделям.
Система "токенизирует" 3D-блоки, рассматривая каждый блок как числовую единицу и предсказывает наиболее вероятный следующий структурный 3D-элемент в последовательности. В совокупности этот метод может создавать целые объекты или декорации.
arstechnica.com
Chai Discovery, после поддерживающей инвестиции от OpenAI, выпустила Chai-1, новую MMLM для предсказания структуры молекул. Chai-1 позволяет выполнять унифицированное предсказание структуры белков, малых молекул, ДНК, РНК, ковалентных модификаций и т.д. Модель доступна бесплатно через веб-интерфейс Chai Discovery.
Chai-1 достигает 77% в бенчмарке PoseBusters (у AlphaFold3 - 76%), а также Cα LDDT 0,849 на наборе предсказаний структуры белкового мономера CASP15 (против 0,801 у ESM3-98B).
chaidiscovery.com
Together Ai разработали метод создания гибридных LLM, сочетающих в себе преимущества архитектур Transformer и Mamba.
Суть метода заключается в дистилляции Transformer моделей в гибридные линейные RNN, объединяя лучшее из обоих миров.
Процесс дистилляции: инициализация параметров Mamba для имитации линеаризованной версии внимания Transformer --> тонкая настройка Mamba слоев с замороженными MLP слоями Transformer --> спекулятивное декодирования, которое позволяет генерировать несколько токенов за один шаг, проверяя их с помощью более точной, но более медленной модели верификатора.
Результаты впечатляют - гибридные модели-дистилляты Mamba демонстрируют производительность, сравнимую с лучшими моделями Transformer, при этом значительно превосходя их по скорости инференса.
together.ai
Microsoft продемонстрировала логические операции с использованием самого большого количества кубитов с коррекцией ошибок.
Логические кубиты распределяют один бит квантовой информации по набору битов, что делает любую ошибку менее катастрофической. Обнаружение ошибки состоит из добавления дополнительных битов к логическому кубиту таким образом, чтобы их значение зависело от тех, которые хранят данные. Что ценно, эти вспомогательные кубиты - измеряемы, а значит есть возможность определить, возникла ли какая-либо проблема, и, возможно, получить информацию о том, как ее исправить.
В своей новой работе Microsoft использовала оборудование от Quantinuum, в котором используются кубиты на основе ионов, захваченных в электрических полях. Эти кубиты имеют одни из лучших показателей частоты ошибок, и Microsoft наглядно показала, что это позволяет обнаруживать и исправлять ошибки в течение нескольких раундов коррекции ошибок.
arstechnica.com
Apple совместно с EPFL опубликовали технический отчет о новом оптимизаторе - AdEMAMix. Это расширение традиционного оптимизатора Adam за счет использования смеси двух EMA, одного быстро меняющегося и одного медленно меняющегося.
Такая механика процесса обучения позволяет оптимизатору балансировать между необходимостью реагировать на последние обновления и сохранять ценные старые градиенты, которые часто отбрасываются существующими оптимизаторами.
Техника использования двух EMA, уникальная для AdEMAMix, позволяет более эффективно обучать крупномасштабные модели, сокращая общее количество токенов, необходимых для обучения, и достигая при этом сопоставимых или лучших результатов.
fusionchat.ai
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍20❤6🔥6😁2
SciAgents - фреймворк, который самостоятельно генерирует и уточняет исследовательские гипотезы, разъясняя лежащие в их основе механизмы, принципы проектирования и неожиданные свойства объекта исследования.
Благодаря модульности этого функционала, SciAgents позволяет делать существенные открытия, критиковать и совершенствовать предположения, получать актуальные данные о проводимых исследованиях и выявлять их сильные и слабые стороны.
SciAgents умеет находить скрытые связи между сферами исследования, которые ранее считались несвязанными, достигая масштабов, точности и исследовательской мощи, превосходящих традиционные методы исследований, основанные на участии человека.
Практическая реализация для тестирования SciAgents представлена двумя ipynb для генерации новых исследовательских идей, соответствующих неавтоматизированному и автоматизированному мультиагентным методам.
Для запуска SciAgents понадобятся:
# Graph Reasoning installation
pip install git+https://github.com/lamm-mit/GraphReasoning
# wkhtmltopdf installation
sudo apt-get install wkhtmltopdf
# Graph file
from huggingface_hub import hf_hub_download
graph_name='large_graph_simple_giant.graphml'
filename = f"{graph_name}"
file_path = hf_hub_download(repo_id='lamm-mit/bio-graph-1K', filename=filename, local_dir='./graph_giant_component')
# Embeddings
from huggingface_hub import hf_hub_download
embedding_name='embeddings_simple_giant_ge-large-en-v1.5.pkl'
filename = f"{embedding_name}"
file_path = hf_hub_download(repo_id='lamm-mit/bio-graph-1K', filename=filename, local_dir='./graph_giant_component')
# Clone SciAgents
git clone https://github.com/lamm-mit/SciAgentsDiscovery.git
# Insatll reqs
cd SciAgentsDiscovery
pip install -e .
@ai_machinelearning_big_data
#AI #ML #Alents #Research #SciAgentsDiscovery
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍37❤10🔥10🥰4🍓1
Arcee представила Arcee-SuperNova-70B и Arcee-SuperNova-Lite (8B), разработанные для альтернативной замены крупным проприетарным моделям, ориентированные на следование инструкциям и согласованию с человеческими предпочтениями.
Создание Arcee-SuperNova включало в себя несколько этапов, начиная с дистилляции Llama-3.1-405B-Instruct в Llama-3.1-70B-Instruct. Для этого был создан датасет из 500 млн. токенов, включающий примеры кода и математических задач и извлеченные logits модели Llama-3.1-405B.
Обучение Llama-3.1-70B-Instruct проводилось в течение пяти дней на 32 GPU H100 с использованием FSDP (Fully Sharded Data Parallel) для обеспечения возможности распределенного обучения.
Параллельно с этим была обучена отдельная версия Llama-3.1-70B с использованием Spectrum, настроенного на на 35% слоев с наивысшим соотношением SNR при длине последовательности 8192. Эта модель была обучена на наборе данных, созданном с помощью конвейера EvolKit - фреймворка повышения сложности инструкций при файнтюне LLM.
Финальная версия Arcee-SuperNova была создана путем слияния чекпойнтов из EvolKit и DPO, которые затем были объединены с дистиллированной Llama-3.1-70B-Instruct.
Проведенные тесты готовой модели в бенчмарке IF-Eval, показали, что Arcee-SuperNova превосходит не только Llama-3.1-70B-Instruct, но и проприетарные модели от OpenAI и Anthropic, а также Llama-405B-Instruct.
@ai_machinelearning_big_data
#AI #ML #LLM #Llama #Supernova
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤19👍13🔥7
LLaMA-Omni - модель, построенная на основе Llama-3.1-8B-Instruct, которая поддерживает голосовое взаимодействие с низкой задержкой ответа и высоким качеством синтеза аудио, одновременно генерируя текстовые и речевые ответы на основе голосовых инструкций.
LLaMA-Omni не требует транскрипции речи, напрямую передавая адаптированное речевое представление в LLM. LLM генерирует текстовый ответ, и, параллельно декодер речи генерирует соответствующие дискретные речевые единицы, используя скрытые состояния инференса LLM. Применение этой конструктивной особенности значительно сокращает задержку ответа до в 226 мс на chunk-size размерности 10.
Для установки и локального запуска понадобятся GPU => 20GB и набор :
⚠️ Примечания:
omni_speech/infer/examples, а затем обратитесь скрипту omni_speech/infer/run.sh.# Clone repository
git clone https://github.com/ictnlp/LLaMA-Omni
cd LLaMA-Omni
# Install packages
conda create -n llama-omni python=3.10
conda activate llama-omni
pip install pip==24.0
pip install -e .
# Install fairseq
git clone https://github.com/pytorch/fairseq
cd fairseq
pip install -e . --no-build-isolation
# Install flash-attention
pip install flash-attn --no-build-isolation
http://localhost:8000/@ai_machinelearning_big_data
#AI #ML #LLM #Llama #SpeechToSpeech
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍29❤10🔥6
Новостной дайджест
✔️ Salesforce представила Industries AI: 100+ готовых возможностей искусственного интеллекта для решения задач в 15 отраслях бизнеса.
Salesforce Industries AI использует ИИ для автоматизации задач, специфичных для каждой отрасли: финансы, медицина, автотранспорт, энергетика, логистика т.д. Клиенты могут воспользоваться готовыми шаблонами и использовать ИИ с помощью моделей данных, релевантных для конкретной отрасли, а также собственных данных и метаданных - например, медицинских карт, баз данных доноров или телематических систем - для получения релевантных и контекстных результатов и выводов.
Помимо новых функций, Salesforce акцентирует доступность Industries AI, которая встроена в каждую из 15 отраслевых облачных платформ Salesforce. Большинство функций станут общедоступны к октябрю 2024 года и февралю 2025 года, при этом Salesforce планирует добавлять новые возможности в рамках трех ежегодных релизов.
salesforce.com
✔️ NotebookLM: экспериментальная RAG-функция Google, которая делает подкаст из любого документа, текста или URL.
Google NotebookLM позволяет загружать до 100 документов объемом до 200 000 слов каждый и генерировать на их основе : краткое содержание, FAQ, инструкцию по изучению темы и т. д.
С недавним обновлением, сервис получил усовершенствование: теперь Google NotebookLM может генерировать подкасты (с мужским и женским ведущим) из ваших файлов, текста или URL. Генерация ролевого подкаста доступна только для английского языка, качество генерации речи очень высокое.
Попробовать: зайдите на notebooklm.google.com, загрузите любой документ, текст или укажите URL материала. Затем нажмите Notebook Guide справа от поля ввода и выберите Generate в разделе Audio Overview.
techcrunch.com
✔️ Anthropic добавила "Workspaces" в консоли API для команд.
Рабочие пространства — это уникальные среды, позволяющие организовать ресурсы, упростить управление доступом и настроить индивидуальные лимиты расходов и скорости на более детальном уровне.
С помощью рабочих пространств пользователи могут устанавливать ограничения расходов на уровне рабочего пространства, группировать связанные ресурсы, управлять ограничениями скорости, оптимизировать управление доступом и отслеживать использование API.
anthropic.com
✔️ Adobe анонсировала генерацию видео в своих продуктах в этом году.
Adobe анонсировала набор инструментов для создания видео с использованием искусственного интеллекта, которые будут доступны как в Premiere Pro, так и на отдельном веб-сайте.
Firefly Video, так называется модель, предлагает три основных функции: Generative Extend, Text to Video и Image to Video. Generative Extend добавляет к существующему видео два секунды, а Text to Video и Image to Video создают видео продолжительностью пять секунд на основе текстовых или изображений подсказок.
Adobe не назвала точную дату запуска, но указала, что функции, основанные на модели Firefly Video, станут доступны до конца 2024 года.
techcrunch.com
✔️ Stanford Research: AI-ресечеры превосходят человеческих экспертов в генерировании новых идей.
Исследование, проведенное Стэнфордским университетом, сравнило способность больших языковых моделей и экспертов-людей генерировать инновационные научные идеи.
Идеи, генерируемые LLM, были признаны более новыми, чем идеи, предложенные экспертами-людьми. Этот вывод был сделан на основе масштабного эксперимента с участием более 100 специалистов по NLP.
Эксперты не только генерировали собственные идеи, но и оценивали как идеи, созданные ИИ, так и идеи, предложенные людьми, не зная их авторства. Результаты показали, что идеи, сгенерированные ИИ, получили более высокие оценки за новизну (p < 0,05) по сравнению с идеями, написанными людьми.
Важно отметить, что исследователи также обнаружили, что идеи ИИ были оценены как менее осуществимые, чем идеи, предложенные людьми. Это говорит о том, что, хотя ИИ может генерировать новые идеи, они могут быть не так легко реализуемы на практике.
arxiv.org
@ai_machinelearning_big_data
#news #ai #ml
Salesforce Industries AI использует ИИ для автоматизации задач, специфичных для каждой отрасли: финансы, медицина, автотранспорт, энергетика, логистика т.д. Клиенты могут воспользоваться готовыми шаблонами и использовать ИИ с помощью моделей данных, релевантных для конкретной отрасли, а также собственных данных и метаданных - например, медицинских карт, баз данных доноров или телематических систем - для получения релевантных и контекстных результатов и выводов.
Помимо новых функций, Salesforce акцентирует доступность Industries AI, которая встроена в каждую из 15 отраслевых облачных платформ Salesforce. Большинство функций станут общедоступны к октябрю 2024 года и февралю 2025 года, при этом Salesforce планирует добавлять новые возможности в рамках трех ежегодных релизов.
salesforce.com
Google NotebookLM позволяет загружать до 100 документов объемом до 200 000 слов каждый и генерировать на их основе : краткое содержание, FAQ, инструкцию по изучению темы и т. д.
С недавним обновлением, сервис получил усовершенствование: теперь Google NotebookLM может генерировать подкасты (с мужским и женским ведущим) из ваших файлов, текста или URL. Генерация ролевого подкаста доступна только для английского языка, качество генерации речи очень высокое.
Попробовать: зайдите на notebooklm.google.com, загрузите любой документ, текст или укажите URL материала. Затем нажмите Notebook Guide справа от поля ввода и выберите Generate в разделе Audio Overview.
techcrunch.com
Рабочие пространства — это уникальные среды, позволяющие организовать ресурсы, упростить управление доступом и настроить индивидуальные лимиты расходов и скорости на более детальном уровне.
С помощью рабочих пространств пользователи могут устанавливать ограничения расходов на уровне рабочего пространства, группировать связанные ресурсы, управлять ограничениями скорости, оптимизировать управление доступом и отслеживать использование API.
anthropic.com
Adobe анонсировала набор инструментов для создания видео с использованием искусственного интеллекта, которые будут доступны как в Premiere Pro, так и на отдельном веб-сайте.
Firefly Video, так называется модель, предлагает три основных функции: Generative Extend, Text to Video и Image to Video. Generative Extend добавляет к существующему видео два секунды, а Text to Video и Image to Video создают видео продолжительностью пять секунд на основе текстовых или изображений подсказок.
Adobe не назвала точную дату запуска, но указала, что функции, основанные на модели Firefly Video, станут доступны до конца 2024 года.
techcrunch.com
Исследование, проведенное Стэнфордским университетом, сравнило способность больших языковых моделей и экспертов-людей генерировать инновационные научные идеи.
Идеи, генерируемые LLM, были признаны более новыми, чем идеи, предложенные экспертами-людьми. Этот вывод был сделан на основе масштабного эксперимента с участием более 100 специалистов по NLP.
Эксперты не только генерировали собственные идеи, но и оценивали как идеи, созданные ИИ, так и идеи, предложенные людьми, не зная их авторства. Результаты показали, что идеи, сгенерированные ИИ, получили более высокие оценки за новизну (p < 0,05) по сравнению с идеями, написанными людьми.
Важно отметить, что исследователи также обнаружили, что идеи ИИ были оценены как менее осуществимые, чем идеи, предложенные людьми. Это говорит о том, что, хотя ИИ может генерировать новые идеи, они могут быть не так легко реализуемы на практике.
arxiv.org
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍27❤11🔥5😁1