Streaming Sortformer

Модель от NVIDIA для диаризации в реальном времени, которая позволяет определять, кто говорит в многоголосных аудиозаписях.

Возможности модели:

- диаризация на уровне кадров с тегами (например, spk_0, spk_1);

- точные временные метки для каждого помеченного высказывания;

- отслеживание 2–4+ говорящих с минимальной задержкой;

- оптимизация для английского языка, но успешное тестирование на мандаринском и других языках.

Пример на видео конечно дурацкий, все друг друга ждут чтобы сказать свою реплику, в жизни оно не так работает

HF

#ASR #speech2text #stt

Raylight

МультиGPU в #ComfyUI

Поддерживаются некоторые модели Wan (например, Wan 1.3B T2V и Wan 14B T2V), а также есть частичная поддержка других моделей (Flux, Qwen, Hunyuan). Для работы требуется FlashAttention. Есть известные проблемы, например, ошибки OOM при работе с большими моделями
Нет поддержки Non-DiT моделей

Не тестировано на Windows

спасибо @nightkraw13r

#optimization #gpu

Немного новостей минувшей недели о том как ИИ улучшает (или нет) жизнь человечества

OpenAI и Retro Biosciences создали модель GPT-4b micro для белковой инженерии. С её помощью улучшили белки Yamanaka, что повысило в более чем 50 раз экспрессию маркеров перепрограммирования стволовых клеток и улучшило восстановление ДНК. Результаты подтверждены на разных клетках и методах доставки.

Новые белки улучшают восстановление ДНК в клетках и повышают их «омолаживающий» потенциал. Речь не идёт о полной остановке старения, но о значительном улучшении некоторых связанных с ним клеточных процессов.

————————————

Вайб-колоноскопия, курва!

Провели исследование в четырёх польских эндоскопических центрах.

В этих центрах использовали ИИ для помощи в обнаружении полипов. Сравнили качество колоноскопии до и после внедрения ИИ.

Исследование показало, что после введения искусственного интеллекта точность диагностики заболеваний врачами снизилась на 10%. А после отказа от ИИ этот показатель упал еще на 20%.

————————————

GPT-5 способна к открытиям (не уверен что уместно такое громкое слово) в математике.

Она помогла решить математическую задачу: улучшила доказательство о выпуклости кривой в градиентном спуске. Раньше считалось, что кривая выпукла при eta менее 1/L и не выпукла при eta более 1,75/L. GPT-5 показала, что кривая остается выпуклой при eta до 1,5/L, сократив неопределенный диапазон в три раза. Доказательство модели было ясным и правильным. На размышление ушло 17 минут

#research #news