Очередной прорыв от OpenAI. Качественная генерация видео была ожидаемым следующим шагом, но еще вчера было не ясно, как скоро это произойдет, а сегодня — это уже произошло.

Модель пока недоступна пользователям (кроме небольшого числа избранных), но уже сейчас можно думать о том, где будут применимы сгенерированные видео. Так, у рынка стоковых видео возникает неожиданный конкурент. А через несколько лет, возможно, вместо tik-tok будет sora-tok с бесконечным потоком видео, сгенерированным исключительно под ваши интересы.

OpenAI, к сожалению, приводит минимум технической информации о том, как устроена модель и на каких данных обучалась. Известно, что это трансформер + диффузия, которые используются и при генерации изображений; при этом при генерации следующего кадра нейросеть видит все предыдущие, что позволяет ей решить проблему неконсистентности между кадрами. Для сбора датасета использовали технику автоматической генерации качественных подписей к изображениям из видео.

Когда-то DALL-E 2 открыла дорогу другим моделям генерации изображений, например, open-source Stable Diffusion и платным аналогам вроде Midjourney. Сейчас один из наиболее интересных вопросов — получится ли сделать такие аналоги SORA у конкурентов и как скоро? Кажется, этот путь будет больше похож на аналоги к GPT, чем к DALL-E: скорее всего, слишком много нужно данных и вычислительных ресурсов, чтобы повторить такую работу. Но когда-нибудь аналоги появятся, и тогда большим вопросом станет достоверность видеоданных — это будет мир, где видеофейки станут обыденностью.