⚡️Hugging Face и Nvidia заключили сотрудничество

Теперь HF будет поддерживать Inference as a Service. Это означает, что можно будет использовать инференс моделей для своего проекта бессерверно, только за счет API.

Все работает на базе NVIDIA DGX Cloud и NVIDIA NIM, уже доступны 7 опенсорс моделей (включая Llama 3.1 70B и Mixtral 8x22B). Цена : $0.0023/second/gpu по опции Pay-as-you-go.

Кажется, у нас тут только что родился новый рынок

⚙️ GPT-4 moment для для компьютерного зрения: новая SAM-2 от Meta

В апреле 2023 Meta впервые показала свою «Segment Anything Model» (SAM). Это базовая модель для сегментации, которую тогда прозвали «GPT-3 moment» для CV из-за прорыва по метрикам.

И вот: вышел SAM-2! Он, в отличие от предшественника, обучался не на изображениях, а на видео. По словам Meta, теперь сегментация по видео работает даже с шакальным качеством или если некоторые кадры вырезаны.

Датасет (SA-V) в Meta наклепали сами с помощью Data Engine: они дали людям-анотаторам SAM для лейблинга кадров, и новые размеченные данные использовались для обучения дальше. Получилось в 9 раз быстрее, чем с обычной разметкой, и в итоге SA-V содержит 200 часов аннотированных видео.

Архитектурно SAM-2 – это трансформер, как и прошлая версия. Чтобы адаптировать его к видео, был добавлен модуль памяти, который собственно и хранит информацию о прошлых кадрах. Если на вход подается картинка, модуль просто остается пустым.

По метрикам – SOTA. При этом моделька быстрая – в 6 раз быстрее SAM на изображениях, в три раза быстрее предшественников на видео. И при этом все полностью в опенсорс: вот репозиторий, где можно найти код, веса, демо, статью и блогпост.

⚪️ Наконец-то обновилась LMSYS арена! Llama-3.1-405B на третьем месте! Это первый раз, когда открытая модель вошла в тройку лучших. На аренах кодинга и математики 3.1 405В тоже в тройке. Модель на 70В параметров тем временем заняла 9 место в рейтинге.

🚀 Breaking: PyTorch выпускает новую библиотеку torchchat для инференса LLM!

Библиотека предназначена только для локального инференса, так что конкуренцию новому альянсу HF и Nvidia не составит, но может быть невероятно полезной для петпроектов и домашнего пользования.

На тестах выглядит достаточно бодрой: Llama 3 8B можно запустить на IPhone и Samsung Galaxy S23 со скоростью 8Т/сек. Скоро обещают цифры для Llama 3.1.

Больше можно прочитать в блогпосте.

Давайте еще раз насладимся тем, как потрясающе хорошо работает новый SAM-2 (наш обзор модели здесь)

RIP YOLO 💀

⚡️ Воу: Google выпустила SOTA LLM в размере 2В

Мини-версия вышедшей месяц назад Gemma-2 на 2В параметров бьет рекорды. На арене она уже обошла даже GPT-3.5 Turbo, не говоря уже о моделях своего размера.

Архитектура: написано, что эта модель дистиллирована из другой (вот тут мы писали, как такое работает), но из какой и на сколько параметров, не уточняется. Также благодаря поддержке softcapping во Flash Attention след атеншена в памяти теперь линейный (вместо О(N^2)).

Но и это не все: плюсом к модели вышло еще семейство классификаторов ShieldGemma для фильтрации вредоносного контента, а также Gemma Scope. Это сет автоенкодеров для интерпретации модели и ее оценки. Ну кайф!

Блогпост | Веса

🔵 Цукерберг тем временем заявил, что будет обучать Llama-4, используя в 10 раз больше компьюта, чем для Llama-3. На днях он, кстати, также рассказал, что крупнейший рынок для MetaAI – это Индия, потому что там больше всего пользователей WhatsApp.