Наткнулся на невероятно сложный алгоритм состоящий из кучи нейронок внутри:
Одна часть анализирует видео на входе пытаясь понять что там происходит, другая часть обучена додумывать как бы звучала та или иная сцена, еще одна генерирует аудио, ну в общем это офигенно большой и крутой набор нейронок.

Короче эта штука добавляет звук к видео, буквально синтезируя его от содержания. А я засунул туда баян-гифки 🗿 Мне нравится как эта штука потусторонние звуки часто добавляет.

Код и описание | Колаб чтобы поиграться самим