Forwarded from эйай ньюз
Релизнулась SOTA библиотека для генерации аудио AudioCraft v1.0.0
Я писал раньше о выходе начальной версии AudioCraft, когда Meta AI опубликовали статью MusicGen для генерации музыки по тексту.
Почему новый релиз интересен?
Это стабильный релиз и в него добавили код для трениновки моделей, в том числе несколько новых:
- EnCodec - по сути квантизованый автоэнкодер (VQGAN), который сжимает аудио в серию дискретных токенов.
- AudioGen - генерит по тексту повседневные звуки, типа лая собаки и прочих звуковых эффектов (кроме музыки).
- MusicGen - text2music и midi2musiс синтез. Есть модели от 300M до 3.3B параметров. На 16Gb влезут.
- MultiBandDiffusion - новый декодер, основанный на диффузии, который декодирует токены MusicGen в аудио дорожку. Лучше чем EnCodec.
(Ждите серию постов про каждую из этих моделей)
Еще добавлены веса AudioGen и MultiBandDiffusion.
🔥А теперь представьте, использование этих моделей при монтировании роликов для ютуба.
Блог
Код и веса
Демо в колабе
MusicGen ноутбук
@ai_newz
Я писал раньше о выходе начальной версии AudioCraft, когда Meta AI опубликовали статью MusicGen для генерации музыки по тексту.
Почему новый релиз интересен?
Это стабильный релиз и в него добавили код для трениновки моделей, в том числе несколько новых:
- EnCodec - по сути квантизованый автоэнкодер (VQGAN), который сжимает аудио в серию дискретных токенов.
- AudioGen - генерит по тексту повседневные звуки, типа лая собаки и прочих звуковых эффектов (кроме музыки).
- MusicGen - text2music и midi2musiс синтез. Есть модели от 300M до 3.3B параметров. На 16Gb влезут.
- MultiBandDiffusion - новый декодер, основанный на диффузии, который декодирует токены MusicGen в аудио дорожку. Лучше чем EnCodec.
(Ждите серию постов про каждую из этих моделей)
Еще добавлены веса AudioGen и MultiBandDiffusion.
🔥А теперь представьте, использование этих моделей при монтировании роликов для ютуба.
Блог
Код и веса
Демо в колабе
MusicGen ноутбук
@ai_newz
Forwarded from DL in NLP (Vlad Lialin)
Flash Attention 2 завезли прямо в 🤗 трансформеры 🔥🔥
Коротко, это мегаэффективный cuda kernel для рассчета attention, который делает ваше потребление памяти линейным вместо квадратичного, да и в принципе работает в несколько раз быстрее наивной имплементации к которой мы все привыкли.
Flash Attention 1 был в 🤗 Optimum и мой опыт с ним... такой себе. Теперь же Flash 2 встроен в основную библиотеку и чтобы его использовать надо просто указать use flash attention 2 в from pretrained.
https://x.com/younesbelkada/status/1705258148045750343
Коротко, это мегаэффективный cuda kernel для рассчета attention, который делает ваше потребление памяти линейным вместо квадратичного, да и в принципе работает в несколько раз быстрее наивной имплементации к которой мы все привыкли.
Flash Attention 1 был в 🤗 Optimum и мой опыт с ним... такой себе. Теперь же Flash 2 встроен в основную библиотеку и чтобы его использовать надо просто указать use flash attention 2 в from pretrained.
https://x.com/younesbelkada/status/1705258148045750343
Forwarded from Dealer.AI
Тут нас немножк рассекретили. Мы с коллегами из ai-forever выпустили препринт статьи про семейства nlp моделей для ru домена. Мы участвовали в создании семейства ru-ELECTRA.
Впереди вас ждёт более подробный рассказ о том, как мы это делали на хабр. А пока го го в arxiv.
Впереди вас ждёт более подробный рассказ о том, как мы это делали на хабр. А пока го го в arxiv.
Telegram
Kali Novskaya
#nlp #про_nlp #nlp_papers
🌸Зоопарк русскоязычных NLP-моделей🌸
Вышел препринт, объединяющий всю работу AI Forever над семейством языковых моделей для русского языка!
A Family of Pretrained Transformer Language Models for Russian
13 русскоязычных трансформеров…
🌸Зоопарк русскоязычных NLP-моделей🌸
Вышел препринт, объединяющий всю работу AI Forever над семейством языковых моделей для русского языка!
A Family of Pretrained Transformer Language Models for Russian
13 русскоязычных трансформеров…
😱3
Forwarded from эйай ньюз
Mistral.ai, стартап, основанный автором LLaMa, разразился новой открытой моделью Mistral 7B
Про новый парижский стартап я писал длиннопост несколько месяцев назад (часть 1, часть 2)
О модели Mistral 7B:
- Обходит Llama-2 13B и Llama-1 34B на всех бенчмарках
- Подбирается к CodeLlama 7B на генерации кода, не забывая как выполнять задачи на Английском языке
- Apache 2.0 лицензия
Скорость достигается за счёт:
- Grouped-query attention (GQA) for faster inference
- Sliding Window Attention (SWA) для более дешёвого инференса на длинных последовательностях токенов
Больше деталей
Модель на Hugging Face
@ai_newz
Про новый парижский стартап я писал длиннопост несколько месяцев назад (часть 1, часть 2)
О модели Mistral 7B:
- Обходит Llama-2 13B и Llama-1 34B на всех бенчмарках
- Подбирается к CodeLlama 7B на генерации кода, не забывая как выполнять задачи на Английском языке
- Apache 2.0 лицензия
Скорость достигается за счёт:
- Grouped-query attention (GQA) for faster inference
- Sliding Window Attention (SWA) для более дешёвого инференса на длинных последовательностях токенов
Больше деталей
Модель на Hugging Face
@ai_newz
mistral.ai
Mistral 7B | Mistral AI
The best 7B model to date, Apache 2.0
🔥2
Forwarded from AI для Всех (Artemii)
Краткий обзор анонсированных на конференции MetaConnect2023 новых продуктов и исследований в области AI от компании Meta:
На MetaConnect2023 был представлен ряд новых продуктов, опирающихся на последние достижения в области искусственного интеллекта.
В частности, были анонсированы следующие AI-модели и исследования:
- Llama 2 - открытая модель для диалоговых систем
- Emu - генеративная нейросеть для картинок
- Масштабируемые контекстные модели для диалоговых систем
- Code Llama - генерация и обсуждение кода
- Segment Anything - сегментация изображений для Instagram
Эти разработки лягут в основу таких продуктов Meta, как виртуальные персонажи, стикеры и фильтры в Instagram, умный помощник и др.
Более подробно ознакомиться с этими исследованиями можно по ссылкам в посте. Интересно то, что после всех лет и инвестиций в исследования, Meta наконец то заходит в продакшен, и то ли еще будет!
На MetaConnect2023 был представлен ряд новых продуктов, опирающихся на последние достижения в области искусственного интеллекта.
В частности, были анонсированы следующие AI-модели и исследования:
- Llama 2 - открытая модель для диалоговых систем
- Emu - генеративная нейросеть для картинок
- Масштабируемые контекстные модели для диалоговых систем
- Code Llama - генерация и обсуждение кода
- Segment Anything - сегментация изображений для Instagram
Эти разработки лягут в основу таких продуктов Meta, как виртуальные персонажи, стикеры и фильтры в Instagram, умный помощник и др.
Более подробно ознакомиться с этими исследованиями можно по ссылкам в посте. Интересно то, что после всех лет и инвестиций в исследования, Meta наконец то заходит в продакшен, и то ли еще будет!
Forwarded from Machinelearning
Generate different roles for GPTs to form a collaborative entity for complex tasks.
AutoAgents, инновационный фреймворк, который адаптивно генерирует и координирует множество специализированных агентов для создания ИИ-команды в соответствии с различными задачами.
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Forwarded from Data Science
👍2
Forwarded from Сиолошная
Поработаю как бесплатный пиарщик OpenAI (у них так все сотрудники делают 🤔 мож поможет?)
Открылся набор на OpenAI Residency, 6-ти месячную программу, в рамках которой вы будете работать в одной из исследовательских команд над настоящим рисерчем.
Основная цель — помочь выдающимся исследователям и инженерам из других областей заполнить пробел в знаниях, чтобы они могли получить важные навыки для перехода в сферу AI и ML. Если вы исследователь вне ML, или просто крепкий инженер — тогда это предложение для вас.
1) Фуллтайм
2) релокация + спонсорство визы есть
3) работа в офисе в Сан-Франциско, минимум 3 дня в неделю
4) зарплата $210k/year, то есть за 6 месяцев вы получите $105k (так что налог будет не сумасшедший)
5) это не стажировка, у вас должны быть знания, бэкграунд и какой-то рабочий опыт, чтобы потянуть
6) почти наверняка на собеседованиях не будет вопросов про машинное обучение, особенно если ваша деятельность с ним никак не перекликается
7) после программы возможно трудоустройство
Страница с информацией: https://openai.com/residency
Податься: https://boards.greenhouse.io/openai/jobs/4985193004#app
Официальный гайд по подготовке к собеседованиям: https://openai.com/interview-guide
На странице написано, что вот эти два исследования вышли с участием Резидентов, то есть потенциально у вас будет возможность поучаствовать в самых передовых работах:
— Language models can explain neurons in language models
— Improving mathematical reasoning with process supervision
Отмечайтесь в комментариях, если будете подаваться!
Открылся набор на OpenAI Residency, 6-ти месячную программу, в рамках которой вы будете работать в одной из исследовательских команд над настоящим рисерчем.
Основная цель — помочь выдающимся исследователям и инженерам из других областей заполнить пробел в знаниях, чтобы они могли получить важные навыки для перехода в сферу AI и ML. Если вы исследователь вне ML, или просто крепкий инженер — тогда это предложение для вас.
1) Фуллтайм
2) релокация + спонсорство визы есть
3) работа в офисе в Сан-Франциско, минимум 3 дня в неделю
4) зарплата $210k/year, то есть за 6 месяцев вы получите $105k (так что налог будет не сумасшедший)
5) это не стажировка, у вас должны быть знания, бэкграунд и какой-то рабочий опыт, чтобы потянуть
6) почти наверняка на собеседованиях не будет вопросов про машинное обучение, особенно если ваша деятельность с ним никак не перекликается
7) после программы возможно трудоустройство
Страница с информацией: https://openai.com/residency
Податься: https://boards.greenhouse.io/openai/jobs/4985193004#app
Официальный гайд по подготовке к собеседованиям: https://openai.com/interview-guide
На странице написано, что вот эти два исследования вышли с участием Резидентов, то есть потенциально у вас будет возможность поучаствовать в самых передовых работах:
— Language models can explain neurons in language models
— Improving mathematical reasoning with process supervision
Отмечайтесь в комментариях, если будете подаваться!
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from AI Happens (Alexey Hahunov)
специалисты из микрософта написали 166!! страничный репорт по модели GPT-4V, которая позволит gpt-4 не только писать промпты, но и отправлять изображения
читать статью было страшно, так как захват еще одного домена моделью от open ai это прям серьезный шаг, а с прошлого серьезного шага еще не успело пройти пол года)) И вообще я бизнес строю, который работает с картинками. В общем держите выдержку:
1) модель умеет расшифровывать снимки кт, ставить диагнозы по ним. Пример на картинке
2) модель плохо считает объекты на изображении
3) модель умеет делать оср, но с ошибками (конечно, куда ей до нас, у нас ошибок в оср нет вообще)
4) делает выводы по изображения с вероятностью 50/50
да в общем, она пиздец сколько всего понимает) я даже не знаю, как вам описать, что она умеет не умеет. Расшифровывает, что сломалось у тачки в аварии, объясняет, что изображено на кадрах из фильма и что скорее всего будет дальше.
(фича еще не доступна всем, ждем на тесты!)
@aihappens
читать статью было страшно, так как захват еще одного домена моделью от open ai это прям серьезный шаг, а с прошлого серьезного шага еще не успело пройти пол года)) И вообще я бизнес строю, который работает с картинками. В общем держите выдержку:
1) модель умеет расшифровывать снимки кт, ставить диагнозы по ним. Пример на картинке
2) модель плохо считает объекты на изображении
3) модель умеет делать оср, но с ошибками (конечно, куда ей до нас, у нас ошибок в оср нет вообще)
4) делает выводы по изображения с вероятностью 50/50
да в общем, она пиздец сколько всего понимает) я даже не знаю, как вам описать, что она умеет не умеет. Расшифровывает, что сломалось у тачки в аварии, объясняет, что изображено на кадрах из фильма и что скорее всего будет дальше.
(фича еще не доступна всем, ждем на тесты!)
@aihappens
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Сейчас все обсуждают статью от Microsoft "Рассвет больших языковых моделей: предварительные эксперименты с GPT-4V(ision)", где у GPT-4 появилось "зрение".
В кругах, которые занимаются Computer Vision легкий шок, от "а что так можно было" и "как же это круто" до "а что теперь делать/чем заниматься, если вдруг 90% планируемых к решению задач вдруг решены"(утрирую, конечно).
Но я хочу процитировать один пост, в котором рассматривается влияние этого прорыва на психологию. Как человек, больной на всю голову, я неровно дышу к идее изучения психологического устройства кожаного мешка через издевательства на большими языковыми моделями.
"Для нас как психологов особенно важными являются 7 и 8 параграфы, описывающие способность GPT-4V(ision) эффективно решать тесты на невербальный и эмоциональный интеллект, в которых стимулы предъявляются в зрительной модальности – так же, как и человеку. Описывается успешная работа GPT-4V(ision) с тестом Равена, тестом Векслера, тестом на распознавание лицевых экспрессий и др. В целом, когнитивный успех GPT-4V(ision) подтверждает стремительно множащиеся сейчас слухи, что в недрах OpenAI, на самом деле, уже создана сверхмощная мультимодальная модель, гораздо более приближенная к AGI, чем любая из публично представленных версий GPT-4"
Подробнее вот тут: https://news.1rj.ru/str/andrey_kiselnikov/714
Там же ссылка на саму статью.
В кругах, которые занимаются Computer Vision легкий шок, от "а что так можно было" и "как же это круто" до "а что теперь делать/чем заниматься, если вдруг 90% планируемых к решению задач вдруг решены"(утрирую, конечно).
Но я хочу процитировать один пост, в котором рассматривается влияние этого прорыва на психологию. Как человек, больной на всю голову, я неровно дышу к идее изучения психологического устройства кожаного мешка через издевательства на большими языковыми моделями.
"Для нас как психологов особенно важными являются 7 и 8 параграфы, описывающие способность GPT-4V(ision) эффективно решать тесты на невербальный и эмоциональный интеллект, в которых стимулы предъявляются в зрительной модальности – так же, как и человеку. Описывается успешная работа GPT-4V(ision) с тестом Равена, тестом Векслера, тестом на распознавание лицевых экспрессий и др. В целом, когнитивный успех GPT-4V(ision) подтверждает стремительно множащиеся сейчас слухи, что в недрах OpenAI, на самом деле, уже создана сверхмощная мультимодальная модель, гораздо более приближенная к AGI, чем любая из публично представленных версий GPT-4"
Подробнее вот тут: https://news.1rj.ru/str/andrey_kiselnikov/714
Там же ссылка на саму статью.
Telegram
Новости психофизиологии
Вышел очень интересный препринт исследователей из Microsoft "Рассвет больших языковых моделей: предварительные эксперименты с GPT-4V(ision)", в котором исследуется новая версия GPT-4, оснащенная способностью эффективно работать со зрительной модальностью.…
🔥4
Forwarded from Трендоскоп
Новенькое в сфере GenML
Прошлая неделя выдалась насыщенной на релизы:
1. Mistral 7B — опенсорсная языковая модель с открытой лицензией Apache. По отзывам, качество генерации выше чем в Llama 2 и сравнимо с GPT-3.5. Практически не зацензурирована, благодаря чему более полезна. Можно запустить локально.
2. Cohere Chat + RAG — новый чатбот и API от команды Cohere. Позволяет подгрузить в чат любые внешние источники данных (например, pdf-ки или результаты поиска).
3. Claude открыл API для всех. Их киллер-фича — контекстное окно в 100k токенов, в 3 раза выше чем у GPT-4. Также ребята плотно запартнерились с Амазоном и получили от него монстр-раунд инвестиций в $4В.
4. PaLM 2 API от Гугла тоже открыт для всех разработчиков. Ещё Google сделали low-code инструмент MakerSuite для быстрого создания прототипов ИИ-приложений.
5. NexusRaven-13B — опенсорсная LLM, заточенная на function calling. На этой задаче модель сравнима с GPT-3.5.
6. Workers AI от Cloudflare — serverless inference для языковых моделей на базе инфраструктуры Cloudflare. Поддерживают Llama2, Whisper и несколько других опенсорсных моделей.
Прошлая неделя выдалась насыщенной на релизы:
1. Mistral 7B — опенсорсная языковая модель с открытой лицензией Apache. По отзывам, качество генерации выше чем в Llama 2 и сравнимо с GPT-3.5. Практически не зацензурирована, благодаря чему более полезна. Можно запустить локально.
2. Cohere Chat + RAG — новый чатбот и API от команды Cohere. Позволяет подгрузить в чат любые внешние источники данных (например, pdf-ки или результаты поиска).
3. Claude открыл API для всех. Их киллер-фича — контекстное окно в 100k токенов, в 3 раза выше чем у GPT-4. Также ребята плотно запартнерились с Амазоном и получили от него монстр-раунд инвестиций в $4В.
4. PaLM 2 API от Гугла тоже открыт для всех разработчиков. Ещё Google сделали low-code инструмент MakerSuite для быстрого создания прототипов ИИ-приложений.
5. NexusRaven-13B — опенсорсная LLM, заточенная на function calling. На этой задаче модель сравнима с GPT-3.5.
6. Workers AI от Cloudflare — serverless inference для языковых моделей на базе инфраструктуры Cloudflare. Поддерживают Llama2, Whisper и несколько других опенсорсных моделей.
Forwarded from partially unsupervised
Понравился LiteLLM - LLM Ops здорового человека. TL;DR: тонкий враппер с общим поверх популярных провайдеров LLM, с кэшированием, обработкой ошибок и бюджетированием.
Вообще я не спец в LLM, но сделал сколько-то прототипов на коленке, и считаю, что правильный воркфлоу - делать proof of concept поверх самого дорогого и предсказуемого на текущий момент API (читай GPT-4), и держать в уме опцию миграции в будущем. Уже в паблике есть и жирная Falcon-180B 🐪, и крутой для своего размера Mistral 7B 🇫🇷, и разные затюненные Llama-2. Лень сетапить инференс - пожалуйста, есть Replicate или Deepinfra.com под ваш форк Лламы, и Antropic через AWS Bedrock; все они обойдутся дешевле, чем GPT.
Если совсем полетит, то на собранном датасете можно будет тюнить свою кастомную модель, если лицензия позволит 🏴☠️. Но скорее всего, YAGNI.
Вообще я не спец в LLM, но сделал сколько-то прототипов на коленке, и считаю, что правильный воркфлоу - делать proof of concept поверх самого дорогого и предсказуемого на текущий момент API (читай GPT-4), и держать в уме опцию миграции в будущем. Уже в паблике есть и жирная Falcon-180B 🐪, и крутой для своего размера Mistral 7B 🇫🇷, и разные затюненные Llama-2. Лень сетапить инференс - пожалуйста, есть Replicate или Deepinfra.com под ваш форк Лламы, и Antropic через AWS Bedrock; все они обойдутся дешевле, чем GPT.
Если совсем полетит, то на собранном датасете можно будет тюнить свою кастомную модель
GitHub
GitHub - BerriAI/litellm: Python SDK, Proxy Server (AI Gateway) to call 100+ LLM APIs in OpenAI (or native) format, with cost tracking…
Python SDK, Proxy Server (AI Gateway) to call 100+ LLM APIs in OpenAI (or native) format, with cost tracking, guardrails, loadbalancing and logging. [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthr...
❤3🤮1
Forwarded from Трендоскоп Lab (Александр)
This media is not supported in your browser
VIEW IN TELEGRAM
ElevenLabs выкатили Dubbing — инструмент для ИИ-перевода видео/аудио между 29 языками (русский также присутствует). При этом сохраняется голос и манера речи говорящего.
Липсинка пока нет, но обещают в скором будущем.
Липсинка пока нет, но обещают в скором будущем.
Forwarded from Технологии | Нейросети | Боты
Media is too big
VIEW IN TELEGRAM
🎞 Generative Fill для видео от Adobe.
Новинка Project Fast Fill создана на основе технологии генеративной заливки и позволяет быстро удалять объекты с видео или менять фон по простому текстовому описанию.
Изменения автоматически применяются на всё видео, без необходимости покадрового редактирования.
Новинка Project Fast Fill создана на основе технологии генеративной заливки и позволяет быстро удалять объекты с видео или менять фон по простому текстовому описанию.
Изменения автоматически применяются на всё видео, без необходимости покадрового редактирования.
🔥2
Forwarded from gonzo-обзоры ML статей
Питер Норвиг, соавтор классического учебника по AI, соавтор первого MOOC (который тоже был про AI) и вообще значимый человек ещё лет десять назад, которого я уже давно не слышал, вместе с вице-президентом Google Research написали статью про то, что AGI уже здесь.
Nevertheless, today’s frontier models perform competently even on novel tasks they were not trained for, crossing a threshold that previous generations of AI and supervised deep learning systems never managed. Decades from now, they will be recognized as the first true examples of AGI, just as the 1945 ENIAC is now recognized as the first true general-purpose electronic computer.
https://www.noemamag.com/artificial-general-intelligence-is-already-here
Nevertheless, today’s frontier models perform competently even on novel tasks they were not trained for, crossing a threshold that previous generations of AI and supervised deep learning systems never managed. Decades from now, they will be recognized as the first true examples of AGI, just as the 1945 ENIAC is now recognized as the first true general-purpose electronic computer.
https://www.noemamag.com/artificial-general-intelligence-is-already-here
NOEMA
Artificial General Intelligence Is Already Here
Today’s most advanced AI models have many flaws, but decades from now, they will be recognized as the first true examples of artificial general intelligence.
👍2🔥2
AIIA-Enterprise_GenAI_Adoption-upodate-2.pdf
1.9 MB
Статья основана на опросе более 1000 крупных компаний об использовании ими искусственного интеллекта и машинного обучения.
67% компаний считают приоритетом внедрение генеративных ИИ моделей типа GPT в 2023 году.
Главные препятствия - настройка моделей под нужды компании, сохранение интеллектуальной собственности, нехватка ресурсов.
58% компаний считают, что у них недостаточно бюджета и персонала для внедрения ИИ.
Большинство планируют использовать готовые модели, а не обучать с нуля.
У многих проблемы с показом ROI от ИИ инвестиций. Более половины понесли крупные убытки.
Но ИИ уже стал критически важен в маркетинге, продажах, продуктах. Ожидается дальнейший рост использования.
Компании остаются оптимистичны и ожидают, что ИИ принесёт больше выручки и сократит затраты.
Происходит индустриализация ИИ - переход от исследований к реальным бизнес-приложениям.
https://ai-infrastructure.org/enterprise-generative-ai-adoption-report-aug-2023/
67% компаний считают приоритетом внедрение генеративных ИИ моделей типа GPT в 2023 году.
Главные препятствия - настройка моделей под нужды компании, сохранение интеллектуальной собственности, нехватка ресурсов.
58% компаний считают, что у них недостаточно бюджета и персонала для внедрения ИИ.
Большинство планируют использовать готовые модели, а не обучать с нуля.
У многих проблемы с показом ROI от ИИ инвестиций. Более половины понесли крупные убытки.
Но ИИ уже стал критически важен в маркетинге, продажах, продуктах. Ожидается дальнейший рост использования.
Компании остаются оптимистичны и ожидают, что ИИ принесёт больше выручки и сократит затраты.
Происходит индустриализация ИИ - переход от исследований к реальным бизнес-приложениям.
https://ai-infrastructure.org/enterprise-generative-ai-adoption-report-aug-2023/
❤1