кошкожена желает вам приятной рабочей недели

в детстве:
— фууу у тебя дешевый телефон не будем с тобой общаться
сейчас:
—фууу у тебя мало статей не будем с тобой общаться

Как я люблю SOTA на 20b параметров, сразу чуствуется, авторы много работали над архитектурой

Куча компаний с реальными активами и технологиями vs куча дедушек и бабушек

ч3

Подписчик напарсил, а главное разметил капчи
kaggle

В принципе я бы выбрал посмотреть Валеру Бабушкина

вы думали я шутить не буду?

Опять актуально

keynote wrap-up: https://blogs.nvidia.com/blog/2022/09/20/keynote-gtc-nvidia-ceo/

https://blogs.nvidia.com/blog/2022/03/22/h100-transformer-engine/ - про трансформер энджин в новых девайсах, тут и замеры и что и как и где

https://blogs.nvidia.com/blog/2022/09/20/grace-hopper-recommender-systems/ - про рекомендашки

https://blogs.nvidia.com/blog/2022/09/20/computer-vision-cloud/ - про CV в облаке(мало деталей)

https://nvidianews.nvidia.com/news/nvidia-launches-omniverse-cloud-services-for-building-and-operating-industrial-metaverse-applications - про клауд для омниверса и его отдельные составляющие

https://nvidianews.nvidia.com/news/nvidia-unveils-drive-thor-centralized-car-computer-unifying-cluster-infotainment-automated-driving-and-parking-in-a-single-cost-saving-system - про новую железку для SDC

https://nvidianews.nvidia.com/news/nvidia-jetson-orin-nano-sets-new-standard-for-entry-level-edge-ai-and-robotics-with-80x-performance-leap - про новый джетсон нано, я ослышался (не поверил ушам) - не в 18, а в 80 раз перформанс лучше

https://blogs.nvidia.com/blog/2022/09/20/drive-sim-neural-reconstruction-engine/ - про симулятор для SDC, который восстанавливает мир, который можно харвестить и дергать модельки, менять пути, етц

Игровое:
https://www.nvidia.com/en-us/geforce/news/dlss3-ai-powered-neural-graphics-innovations/ - про DLSS 3.0

https://www.nvidia.com/en-us/geforce/news/rtx-remix-announcement/ - про прогу для RTX’ивания старых игр

https://www.nvidia.com/en-us/geforce/news/rtx-40-series-graphics-cards-announcements/ - в целом про 40ую игровую серию

Остальное можно чекнуть тут: https://nvidianews.nvidia.com/news/

начинаем день правильно

продолжаем парад мемов от марта

не ругайте российскую оппозицию, она ничего не сделала

В какой то момент мы стали жить в ебучем четвертом сезоне атаки титанов

не давайте math phd писать код, потом будете такую хуету править:

ngpu = len(lightning_config.trainer.gpus.strip(",").split(','))

Мем украден [данные удалены] отсюда

#чтивонаночь
Whisper

Дисклеймер:
Я буду во многом повторять пост Саши из команды Silero - гения TTS/STT и кажется одного из самых крутых speech engineer которых я знаю.


Данные:

Крауленный интернет, вычищенный от транскриптов, asr

Пунктуация минимально приводят к стандарту, мы учим seq2seq оно само выучит.

Русского к слову довольно много, модель неплохо понимает русский.

В сумме:

680 тысяч часов

Архитектурно:

encoder-decoder трансфоремер, на вхиод окно в 25 миллисекунд и шагом в 10 миллисекунд, 16кгц, которые сворачивают 2*Conv1d и прогоняют через GELU

Самая большая модель - скромные 1.5b параметров.

Скорость и точность:

1) модель сильно медленее класических asr, тут вообще без шансов
2)
- Качество сильно падает на коротких аудио;

- Галлюцинации на других языках;

- Для языков, кроме английского, правил нормализации текста нет как таковых, она выдает некое "своё" рандомное видение;

- В примерах от авторов есть только batch size 1


paper
code
большой разбор whisper

А самое главное - мой подписчик с ником Dim собрал бота с Whisper, за что большое ему спасибо
Играться с large моделькой:
@whisperOpenAIbot

Картинка украдена из поста