oчень хорошо, но конечно не заменит маэстро

https://www.youtube.com/watch?v=beTuZ0mlkn4

а пик был тут если что (уберите себя от экрана если у вас синдром быстрого отвала п*)

Прикручивание LLM-систем к классическим способам моделирования, например CAD-системам проектирования.

Я тоже поначалу подумал, как же это тупо, неудобно и неэффективно — писать текстом то, что можно сделать руками по классике. Тем более если мы говорим про сложные сопряжения и неравномерные фаски.

Но если в вашей схеме под 500 деталей, и вам нужно вносить изменения в узлы, сдвинув на 0.032 mm отверстия, а потом запустить каждую деталь в симуляцию, чтобы ракета или корабль не отклонялся от курса или детали меньше изнашивались, то текст, как дополнение, будет увеличивать скорость ваших итераций в 10, а в некоторых моментах — в 50 раз. Так, по крайней мере, заявляет разработчик этого решения, Джордан Нун, исполнительный директор Zoo Creates — инфраструктуры для hardware design.

Юмор.

Когда после НГ обнулился салатный кэш и решил потестить GPT на бытовуху.

Сегодня, конечно, день Нвидия.

Они опенсорснули код Cosmos, и это, конечно, космос!

Developer-first world foundation model platform designed to help Physical AI developers build their Physical AI systems better and faster

Долго писать, это опенсорсная World Model.

Выглядит очень круто, го тестировать. Там и video search, и 3Д, и метаверсищще.

Pre-trained Diffusion-based world foundation models for Text2World and Video2World generation where a user can generate visual simulation based on text prompts and video prompts.
Pre-trained Autoregressive-based world foundation models for Video2World generation where a user can generate visual simulation based on video prompts and optional text prompts.
Video tokenizers for tokenizing videos into continuous tokens (latent vectors) and discrete tokens (integers) efficiently and effectively.
Post-training noscripts to post-train the pre-trained world foundation models for various Physical AI setup.
Video curation pipeline for building your own video dataset.

https://github.com/NVIDIA/Cosmos

Ссылки:

https://www.nvidia.com/en-us/ai/cosmos/
https://huggingface.co/nvidia/Cosmos-1.0-Guardrail

@cgevent

Очень занимательная и наглядная эволюция видео-моделей за два года (нашел в Твиттере). Для большего контраста можно было взять и китайский modelscope, но и так годно.

Тем временем SANA стала ваистену опенсорсной (правда, только код :D)
https://github.com/NVlabs/Sana

Llamav-o1

Файнтюн 11b llama-vision-inctruct на chain of thought неплохо вкатился в бенчи - где-то показывает себя па уровне gpt40k gpt4o-mini

Model
Paper

MicroDiT;
Stretching Each Dollar: Diffusion Training from Scratch on a Micro-Budget

Внезапно, Sony Research выкатили фреймворк для обучения 1.16b DiT до уровня StableDiffusion 1.5 за 2k$ с нуля.

Если мне не изменяет память, sd1.x обошелся в 130000$ :D

В целом, давно хотелось какого-то text2img бенчмарка вроде llm.c от Карпатыча, но при этом не на основе непонятного претрена, и с результатом, который можно оценить не только по метрикам, но и визуально.

Чтобы тестить разные архитектурные фишки с понятным бейзлайном.
Например, натренить эту модель с DC-AE и другими фишками из EfficientViT\SANA

Т.к. модель тренят в 4 этапа (256+маска, 256, 512+маска, 512), вполне можно гонять тесты на 256х256.

Ура товарищи!

paper
code
models

@derplearning

А ещё vp vlc делал nginx 😅

Ахахахаха напомнило мне как на какой-то конфе по wearables я встретил Филипп Кана, фаундера Borland

Я рассказал ему, как ещё школьником писал на борланд си в 91 году в компьютерной лабе у папы в институте, и студент, который там подрабатывал, был для меня прям начальник, инженеры - магами, а начальник лабы - богом

И тут я говорю с фаундером бля борланда, если бы тридцать лет назад мне кто-то такое сказал я б не поверил

А он мне рассказывает как в 90 он поехал делать бизнес в Москве, и как всё накрылось во время путча и как они с помощью бандитов получили свою инвестицию назад вагоном икры и вагоном водки