Отец знакомого работает в Microsoft. Сегодня срочно вызвали на совещание. Вернулся поздно и ничего не объяснил. Сказал лишь собирать всю технику и бежать в магазин за драйверами на две недели. Сейчас едем куда-то далеко за город. Не знаю что происходит, но мне кажется началось...

Design and Control of a Bipedal Robotic Character

Пейпер года конечно (по уровню милоты)

Paper

Llama 3.1 405B, квантизированная до 4 бит, запущенная на двух макбуках (128 гиг оперативки у каждого). Возможно это с помощью exo - тулы, позволяющей запускать модельку распределённо на нескольких девайсов. Поддерживаются практически любые GPU, телефоны, планшеты, макбуки и почти всё о чём можно подумать.

Запустить ламу на домашнем кластере

@ai_newz

Stretching Each Dollar: Diffusion Training from Scratch on
a Micro-Budget

Демократизация обучения text2image трансформеров во все поля!

Чюваки из Sony AI и University of California упоролись и сократили косты на обучение в 14 раз по сравнению с текущим SOTA-подходом и aж в 118 раз по сравнению с затратами на обучение StableDiffusion 2.1

Для сравнения:
их подход - $1890, 60 8xH100- часов
текущий SOTA - $28000, 18000 A100-часов
SD2.1 - 200000 A100-часов

Сделали они это просто потренив не на а100, а на h100 с помощью маскировки 75% патчей при обучении.

FID, конечно, немного притянут. Если уж два дня тренили, чего еще два дня не потренили, все равно фора огромная.

В целом тренд на демократизацию опенсорсного ИИ мне по душе, теперь и GPU-poor посоны (8xH100) смогут ворваться в мир диплерненга! Ура товарищи!

paper

Слили список видео, на которых тренировали Runway GEN-3.

Спойлер: конечно же, там куча пиратского контента. Также выкачивали красивые блогерскик видео с Ютуба.

Хз, правда кого в 2024-м можно этим удивить.

404media ссылается на бывшего сотрудника, который слил целый документ со ссылками на избранные плейлисты и каналы в ютубе для парсинга видео в датасет. Кроме того, документ содержит ссылки на сайты с пиратскими фильмами.

Примечательно, что такие сливы обычно опираются на "чьи-то слова" и притянутые за уши примеры похожих генераций, а тут прям целый документ с конкретными ссылками и тегами.

Смешно, что до обращения 404media runway спокойно генерала видосы с именами Ютуберов в промпте, а сейчас говорят, отказывается работать, лол.

Интересно, чем этот скандал закончится. Я не удивлюсь если и OpebAI тркнились на видео из Ютуба, и поэтому сейчас они особенно боятся давать доступ к SORA (вы ещё помните, что такая была?).

Источник
Документ

@ai_newz

🪺 Fast Food Memes

FastHTML

Чюваки из fast.ai \ answer.ai в очередной раз упоролись и выкатили фронтенд на питоне.
Наконец-то мы, питонисты, сможем делать свои всратые интерфейсы напрямую, без этих ваших градио и реактов!

В конце концов, you cannot spell html without ml 🥲

Fastht.ml

Интересный, даже не концепт, а реально работающая тулза для скетчинга шагающих машин.

Кроме привычных инструментов, RobotSketch позволяет прототипировать ваши нарисованные идеи, как если бы вы реально построили настоящего робота и обучали его ходьбе.

Очень сложно на ранних этапах понять, как будут взаимодействовать части и сочленения машин, насколько она будет устойчивой и способной. Поэтому прототипирование — это один из самых важных этапов производства. Прикрученный ML модуль помогает вам прогнать итерации и посмотреть, как ваш гомункул учится ходить.

В демке есть также приятный бонус в виде VR мода для тех, кому этот вид кажется удобным. Для Джурабаева, видимо.

Робототехника — это новый приятный мятно-латтевый аромат завода, повышенные зарплаты на ближайшие 20 лет, а потом забвение. Подробнее вы можете прочитать в (Player Piano) Курта Воннегута.

Видео

Для flux начали появляться первые робкие контролнеты!

Hf
Tweet

@derplearning