Machinelearning – Telegram
383K subscribers
4.46K photos
862 videos
17 files
4.9K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
🔥Grok-1 LLM от Илона Маска.

Grok-1 представляет собой смесь экспертов размером 314B обученную с нуля xAI.

Лицензия: Apache 2.0

Веса Grok-1 доступны на Brazzer

Model: https://dagshub.com/xai/grok-1
Page: https://x.ai/blog/grok-os
Code: https://github.com/xai-org/grok-1
Hugging face:https://huggingface.co/xai-org/grok-1

@ai_machinelearning_big_data
26🔥15👍3🥰2🤔2🍌2
🔥 GPT-4 Turbo в Copilot

Microsoft объявила о развёртывании большой языковой модели GPT-4 Turbo в бесплатной версии Copilot. Решение позволит повысить производительность помощника на базе искусственного интеллекта.

Ранее доступ к GPT-4 Turbo имели только пользователи подписки Copilot Pro, стоимость которой составляет $20 в месяц. Генеральный директор по рекламе и веб-сервисам Microsoft Михаил Парахин поделился, что развёртыванию более производительной ИИ-модели для бесплатного Copilot предшествовало «немало работы».

Дочерняя компания Microsoft, OpenAI, представила GPT-4 Turbo в ноябре прошлого года. Базу модели обновили до апреля 2023 года, а для запросов теперь можно вводить промты до 128 тыс. токенов, что равно примерно 300 страницам. В декабре Microsoft добавила GPT-4 Turbo в Copilot Pro.

По словам Парахина, обладатели Copilot Pro, которые предпочитают использовать более старую GPT-4, могут воспользоваться для этого переключателем.

Ранее Microsoft объявила, что подписчики Copilot Pro получат доступ к конструктору пользовательских ИИ-моделей Copilot GPT Builder. Решение позволяет создавать чат-ботов без каких-либо знаний программирования. Также пользователи Copilot Pro смогут делиться своими моделями даже с теми, у кого нет подписки. Такие чат-боты можно запускать как на мобильных устройствах, так и на ПК.

В рамках последней презентации Samsung показала новые возможности Copilot в Windows 11 до официального анонса со стороны Microsoft. Изображения на сайте южнокорейской компании подтверждают слухи о реализации идеи использования естественного языка при общении с ИИ для различных задач. Например, это включает напоминания о сказанном другими пользователями в чате, возможность скопировать ссылку или другие данные из сообщения пользователя в чате, отвечать на определённые слова в чате определёнными сообщениями и другие опции.

@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍167🔥4🤣1🍌1😡1
This media is not supported in your browser
VIEW IN TELEGRAM
🔉 MeloTTS is a high-quality multi-lingual text-to-speech library

Mellott одна из лучших библиотек преобразования текста в речь с открытым исходным кодом, поддерживающая несколько языков.

Github
Project
Docs

@ai_machinelearning_big_data
👍17🔥3🍌32🗿2🤩1
⭐️ На Хабре вышла статья про введение в современную квантизацию

ML-разработчик Яндекса рассказал о квантизации нейросетевых моделей: зачем она нужна и какие подходы к ней существуют. Квантизация — это переход от типа данных с большим числом бит, например, float32 к типу с меньшим числом, такому как int8. Автор рассказал о своем опыте и рассмотрел ключевые идеи квантизации нейросетевых моделей в перспективе LLM.

@ai_machinelearning_big_data
👍28🔥43😁1🍌1
This media is not supported in your browser
VIEW IN TELEGRAM
🦾 Supervision: reusable computer vision tools

Supervision - получила очередное обновление.

Это библиотека с открытым исходным кодом, для различных задач компьютерного зрения для трекинга объектов.

Более 2000 коммитов, более 500 PR и более 50 участников.

pip install supervision

Github:
Project
Colab
Supervision Cookbooks

@ai_machinelearning_big_data
👍49🔥75
HPE выпустила локальный суперкомпьютер для генеративного ИИ

Компания HPE сообщила о доступности модульной суперкомпьютерной системы для генеративного ИИ. Платформа, предназначенная для локального размещения в инфраструктуре заказчика, построена на суперчипах NVIDIA GH200 Grace Hopper.

О подготовке системы HPE заявила в ноябре 2023 года. В её основу положены серверы ProLiant DL380a Gen11. В общей сложности могут быть задействованы до 168 суперчипов GH200. Кроме того, применяются Ethernet-платформа NVIDIA Spectrum-X и DPU NVIDIA BlueField-3.

Решение дополнено платформой машинного обучения и аналитическим программным обеспечением HPE, платформой для работы с ИИ-приложениями NVIDIA AI Enterprise 5.0, которая включает микросервисы на базе загружаемых программных контейнеров, а также сервисом NVIDIA NeMo Retriever и другими библиотеками для обработки данных и ИИ. Суперкомпьютерная система ориентирована на крупные предприятия, исследовательские институты и правительственные учреждения.

Утверждается, что в конфигурации с 16 узлами комплекс может оптимизировать модель Llama 2 с 70 млрд параметров всего за 6 минут (!). Высокая производительность позволяет клиентам повысить продуктивность бизнеса с помощью приложений генеративного ИИ, таких как виртуальные помощники, умные чат-боты и средства корпоративного поиска. При этом софт HPE Machine Learning Inference позволит предприятиям быстро и безопасно развертывать масштабные модели машинного обучения.

Компания HPE также сообщила о намерении выпустить продукты следующего поколения, использующие аппаратные решения NVIDIA на базе архитектуры Blackwell. Речь идёт о гибридных суперчипах GB200, а также изделиях HGX B200 и HGXB100. Подробности о новых системах будут раскрыты позднее.

@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍17🔥112🍌2
This media is not supported in your browser
VIEW IN TELEGRAM
🖼 One-Step Image Translation with Text-to-Image Models

CycleGAN-Turbo превосходит существующие методы на основе GAN и диффузии для различных задач изменения изображений, например, преобразование дня в ночь, добавление / удаление погодных эффектов, таких как туман, снег и дождь и тд.

Paper: https://arxiv.org/abs/2403.12036
Code: https://github.com/GaParmar/img2img-turbo
Demo: http://huggingface.co/spaces/gparmar/img2img-turbo-sketch

@ai_machinelearning_big_data
🔥29👍8👌2🥰1🍌1
Lightning Thunder: It makes PyTorch programs faster on single accelerators and distributed.

Thunder, новый компилятор для Python!

В задачах обучения LLM (например, Llama 2 7B) он может ускорить работу на 40% по сравнению с обычным PyTorch.

Вы можете использовать его с pytorch.compile для повышения эффективности. И, конечно же, он также поддерживает обучение с несколькими графическими процессорами через DDP и SDP SDP.

Github

@ai_machinelearning_big_data
👍27🔥10🍌21🥰1
This media is not supported in your browser
VIEW IN TELEGRAM
🪴 SceneScript, a novel method for reconstructing environments and representing the layout of physical spaces

Scene Script - новый метод реконструкции окружающей среды и объектов в пространстве от RealityLabs

SceneScript способен напрямую определять геометрию помещения с помощью сквозного машинного обучения и описывать его.

По сравнению с предыдущими подходами, описание являются компактны и полными.

Scene Script использует предсказание следующего токена, как LLM, но вместо естественного языка он использует архитектурные токены. Чтобы обучить Scene был создан синтетический набор данных из 100 000 уникальных пространств.

Scene Script представляет собой важную веху на пути к идеальной дополненной реальности, которые соединят физический и цифровой миры.

Paper
Project
Dataset

@ai_machinelearning_big_data
👍26🔥133🍌1
This media is not supported in your browser
VIEW IN TELEGRAM
📢 𝐕𝐨𝐢𝐜𝐞𝐂𝐫𝐚𝐟𝐭: Zero-Shot Speech Editing and Text-to-Speech in the Wild🪄

SotA как для редактирования речи, и для преобразования текста в речь, превосходящий VALL-E, XTTS-v2 и т.д.

VoiceCraft работает с фильмами, видеороликами, подкастами и тд.

Github
Paper
Project

@ai_machinelearning_big_data
🔥23👍4🍌21
☕️ LATTE3D: Large-scale Amortized Text-To-Enhanced3D Synthesis

NVIDIA выпустила еще одну новинку в области преобразования текста в 3D - LATTE3D. Потребность в высококачественных 3d-ресурсах огромна и охватывает медиа и развлечения, робототехнику и симуляцию, и это лишь некоторые из них.

DreamFusion, выпущенный примерно в 2022 году, был медленным и некачественным, но положил начало революции в области создания 3D. Такие модели, как ATT3D (амортизированный синтез текста в 3D-объекты), давали скорость за счет качества.

LATTE3D это высокое качество и генерация менее чем за секунду!
Это означает, что вы можете быстро выполнить генерации и создать 3D-мир, используя преобразование текста или изображения в 3D. Это прорыв в использовании как нейронного поля, так и текстурированной поверхности для создания высокодетализированных текстурированных сеток за один проход.

https://research.nvidia.com/labs/toronto-ai/LATTE3D/

@ai_machinelearning_big_data
👍15🔥63🍌2
This media is not supported in your browser
VIEW IN TELEGRAM
StreamMultiDiffusion: Real-Time Interactive Generation with Region-Based Semantic Control

Модель для генерации изображений с детальным управлением областями, с помощью текста.

Сode: https://github.com/ironjr/StreamMultiDiffusion
Paper: https://arxiv.org/abs/2403.09055

@ai_machinelearning_big_data
👍15🔥4🍌21
⚡️ Разработчик с помощью дипфейка в реальном времени прошёл собеседование за друга

Пользователь X под никнеймом facelessboy00 рассказал о том, как он помог другу пройти собеседование в технологическую компанию с помощью дипфейка. Сам он опытный разработчик, поэтому на созвон приходил сам и демонстрировал навыки, но в реальном времени заменял своё лицо на лицо друга. Со второй попытки удалось получить офер на 4 тыс. долларов в валюте.

На первом этапе другу собрали продающее резюме, которое помогло бы пройти первичный отбор. Для этого на LinkedIn отобрали профили людей из доменной области, которые работают в крупных компаниях. Другу искали работу в финтехе. Из выбранных профилей взяли пункты, которые хорошо бы смотрелись. Потом их перенесли в итоговое резюме, а в качестве опыта добавили несколько малоизвестных компаний. Для каждой из них накрутили минимум 2,5 года опыта.

После этого начали готовиться к интервью. Для этого использовали программу DeepFaceLive, которая захватывает видео и возвращает его с уже подменённым лицом. Задержка составляет 500 мс. Перед использованием нейросеть надо обучить на фото человека, которым будет заменяться лицо на видео. В качестве источника данных использовали датасет из 10 тыс. фотографий друга. Отмечается, что можно снять интервью и сделать нарезку кадров с крупным планом лица. Модель обучали 14 часов, а видеокарту RTX 3070 пришлось обновить до серии 4090.

📎 Читать подробнее

@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍45😁25🔥96🤬4🥰2🍌2
💥 Embedding quantization!

Новый метод квантования эмбедингов, который позволяет ускорить работу в 45 раз при сохранении точности 96%.

🔥 Binary quantization: требует в 32 раза меньше памяти и работает до 45 раз быстрее поиск, сохраняя производительность ~96%
int8 quantization: в 4 раза меньше памяти и до 4 раз быстрее поис.
💰 Для 250 миллионов эмбедингов двоичному MxBai требуется 29 ГБ памяти против 953 ГБ для float32.

https://huggingface.co/blog/embedding-quantization

@ai_machinelearning_big_data
👍40🔥20👏32🍌2
🔥 Nvidia опубликовала в открытом доступе бесплатные обучающие курсы для пользователей любого уровня подготовки по нейросетям и нейромоделям для понимания работы ИИ

объяснение генеративного ИИ: базированный 2-часовой курс, который подробно объяснит устройство нейронок, их применение и возможности;

создаём «мозг» за 10 минут: объяснит, как нейронка обучается на данных и покажет всю математику у неё под капотом;

введение в ИИ в центре обработки данных: всё про машинное обучение и глубокое обучение; какие есть фреймворки и как видеокарты двигают ИИ;

усиливаем свою LLM с помощью RAG: объяснит всю базу по генерации с дополненной выборкой;

создание своих RAG-агентов: мощнейший 8-часовой курс про масштабируемые стратегии развертывания для LLM и векторные базы данных;

ускорение работы с Data Science без изменения кода: всё об обработке данных и машинном обучении без переписываний кода;

усиление рекомендательных систем с помощью ИИ: курс-коллаб NVIDIA и YouTube;

устройство сетей: база про протоколы TCP/IP и Ethernet — необходимо для понимания процессов обработки данных.

🔥 А здесь полный список лучших бесплатных курсов 2024 года и для изучения машинного обучения.

#бесплатныекурсы

@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍52🔥177🍌2❤‍🔥1🆒1
This media is not supported in your browser
VIEW IN TELEGRAM
🧬 Evolving New Foundation Models: Unleashing the Power of Automating Model Development

Одна из самых оригинальных статей о LLM за последнее время. Слияние эволюционных моделей: новый подход, приближающий нас к автоматизации создания моделей.

Авторы используют эволюционные алгоритмы для поиска лучших способов объединения моделей с открытым исходным кодом для автоматического создания новых мощных моделей с заданными пользователем возможностями!

Blog: https://sakana.ai/evolutionary-model-merge/
Paper: https://arxiv.org/abs/2403.13187

@ai_machinelearning_big_data
👍19🔥84🍌1
🔥 В MIT придумали, как в 30 раз ускорить генерацию изображений с помощью ИИ

Исследователи из Массачусетского технологического института (MIT) смогли заметно ускорить создание изображений по текстовым описаниям с помощью генеративного искусственного интеллекта. Новый метод позволяет генерировать изображения высокой чёткости в 30 раз быстрее существующих.

Обычно в генеративных ИИ применяется техника так называемой «диффузии», когда создаётся максимально размытая картинка, а затем она детализируется до окончательного результата, максимально соответствующего тому, что ИИ может выдать в ответ на запрос пользователя. Диффузия занимает довольно много времени, поэтому исследователи MIT поставили цель её ускорить.

Исследователи из Лаборатории компьютерных наук и искусственного интеллекта MIT свели генерацию изображений к единственному проходу, а новый метод назвали «дистилляцией с согласованным распределением» (distribution matching distillation). Очевидно, что генерация картинки в один проход заметно быстрее, чем за типичные для диффузионных моделей 30–50 шагов. Так, на современном оборудовании Stable Diffusion 1.5 создаёт изображение за 1,5 секунды, в то время как новая модель на основе DMD справляется за 0,05 секунды.

Это не первая попытка дистилляции диффузионных моделей для ускорения генерации изображений. В Instaflow и LCM пытались применить похожий подход, но результаты не впечатляли. Компания Stability AI также пыталась ускорить диффузионные модели и добилась некоторых успехов, выпустив Stable Diffusion Turbo, создающую картинку с разрешением до 1 мегапикселя за один проход, однако сгенерированные в несколько проходов изображения всё равно получались заметно лучше.

@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥36👍177❤‍🔥1🍌1