Code2Video: Video Generation via Code

Агентный фреймворк для генерации образовательных видео с помощью исполняемого Python-кода. Модель позволяет создавать профессиональные образовательные видео, которые требуют предметных знаний, точной визуальной структуры и согласованных переходов.

Code2Video состоит из трёх сотрудничающих агентов:

Planner: структурирует лекционный контент и подготавливает соответствующие визуальные активы

Coder: преобразует структурированные инструкции в исполняемый Python-код

Critic: использует VLM для уточнения пространственной компоновки и обеспечения ясности

Лучшие результаты в качестве Планировщика и Кодера дает Claude-4-Opus. В качестве Критика - gemini-2.5-pro-preview-05-06

Гитхаб

#text2video #agent

Ловите на прожарку еще одну работу Антона Зимина

Текст автора:

Сегодня у меня премьера — новое видео моего AI-бутика AiZ @aizproduction
(Аплодисменты, фанфары, ну или хотя бы дочитайте до конца).

Раньше, чтобы заставить кота сделать то, что написано в сценарии, нужно было вооружиться терпением Будды и мешком разных таблеток и спреев. Весь съемочный день мог пройти в ожидании — а кот смотрел на дрессировщиков и меня так, будто режиссер на площадке это он.

Теперь же я сижу за компьютером и… щёлк! Кот пошёл по нужной мне траектории. Щёлк! Кот делает именно то, что я задумал. Ни актеров, ни дрессировщиков, ни съемочной группы. Только я и цифровой кот, который никогда не заявит: «Я устал, возьмите дублёра».

Можно ли снимать обычную рекламу в ИИ, чтобы выглядела как настоящая съёмка? Можно!
Но — сюрприз! — легко это не даётся. Иногда я трачу на такой ролик больше времени, чем на реальную съёмку. Дешевле? Да! Бесплатно? Ох, милый мой друг, нет.

Коллеги говорят, что моя профессия уже никогда не будет прежней.
И это правда.
Грустно? Немного.
Интересно? Безумно.

IG: https://www.instagram.com/dp_director_azimin

ТГ: @antonzim

Vimeo: https://vimeo.com/antonzimin

Это что началось-то?

Image to Video Generator with Ovi

Демоспейс видеогенератора со звуком Ovi

Поскольку он навайбкоженный, работает криво. Там нужна дополнительная авторизация и она может глючить. В этом случае попробуйте другой браузер

#text2video #image2video #AV #text2Av #image2AV #sfx

Qwen3-VL-30B-A3B-Instruct & Thinking

Qwen выпустил младшую версию Qwen3-VL на 30B параметров из которых только 3B активные.
При этом конкурирует с GPT-5-Mini и Claude4-Sonnet, а в некоторых случаях превосходит их.

Есть Выпущена FP8 (в том числе и для Qwen3-VL-235B-A22B)

Код
Демо
HF
Чат
API

#VLM #OCR #assistant #reasoning #video2text #image2text #chat

MusicGPT

Сервис генерации / редактирования музыки и звука, в том числе речи

Похоже что можно использовать известные голоса и треки просто указывая их в промпте

Не знаю сколько сейчас дают кредитов на старте, я давно зарегался, тогда выдали 500. За одну генерацию забрали 100. Негусто учитывая что бесплатного тарифа нет. Да еще за скачивание берут 50 кредитов (mp3 можно сграбить из браузера бесплатно)

Сами понимаете - не разгуляешься тестить. Мой скоропалительный вердикт: музыку делает плохую (закину в комменты). Мало того что скучную, так еще и с фальшивыми нотами и звучит как секвенсер дешевых сэмплов. Так что сразу указывайте интересный референс.

Тестовый трек закину в комменты. Также можете заценить монолог идущего к реке в исполнении Моргана Фримена и Фредди Меркьюри. Промпт писал на русском

Просто пишешь в промпте "Голос Фредди Меркюри говорит на чистом русском языке ..."
Русские голоса или знает мало или не знает. Отказался говорить голосом Кроша, Всеволода Кузнецова, Сергея Чонишвили по причине что не нашел их в базе.

#musicediting #text2music #tts #text2audio

NeuTTS Air

Говорилка текста с возможностью мгновенного клонирования голоса на 0.7B параметров. Предназначена для локального использования на различных устройствах, "отличается реалистичностью звучания"

Построена на базе языковой модели Qwen 0.5B и использует собственный аудиокодек NeuCodec для высокого качества звука при низком битрейте

Генерирует речь в реальном времени на устройствах среднего уровня

Клонирует голос, используя всего 3 секунды аудио

Но боюсь, владеет только английским, монолог идущего к реке закину в комменты

GGUF Q8 и Q4

Гитхаб
Демо

#tts #text2speech #voicecloning #mobile #realtime

Chaplin

Визуальное распознавание речи (VSR), инструмент считывает движения губ в режиме реального времени и переводит в текст

Работает полностью локально.

#VSR #video2text #lipreading #realtime

ControlHair: Physically-based Video Diffusion for Controllable Dynamic Hair Rendering

Управляемый рендер динамических волос с использованием физически обоснованной видеодиффузии. Модель позволяет контролировать движение волос с помощью сигналов, генерируемых физическим симулятором

Сначала создает покадровую симуляцию с заданными исходными (направление ветра, жесткость волос, движение человека и т п), потом заворачивает ее с заданным ракурсом камеры в управляющий контролнет, а контролнет отдает видеогенератору.

Прикручено к модифицированному Wan 2.1

Код ждем

#simulation #controlnet #conditioning #image2video