Hmmm

Генеративные модели достигли в программировании уровня сеньоров

Эппл закрыла проект собственного автомобиля и перевела сотрудников на разработку проприетарных кабелей для Vision Pro 2.

Также, возможно, не смогли пройти сертификацию из-за нахождения порта зарядки в днище автомобиля, либо из-за невозможности продавать подушки и ремни безопасности по подписке, а также из-за невозможности поменять колесо вне авторизованного сервисного центра.

/s

Welcome to City 17!

Dune 2 Спойлер без контекста

Opensource решения для достижения качества SORA

Banodoco — опенсорс сообщество, которое много раз меня вдохновляло на новые идеи в создании анимаций через AnimateDiff и Stable Diffusion Video. Недавно они написали в дискорде по поводу развития опенсоурс видеонейронок:

SORA невероятно впечатляет, но контроль является самым важным аспектом для создания великого искусства, и благодаря работе сообщества, AnimateDiff сейчас значительно превосходит по точности управления движениями.

Чтобы дальше улучшить управление в AnimateDiff и помочь в раскрытии силы/ценности художественного контроля, мы можем сделать следующее:

№1: Удвоить наше преимущество в управлении, создав открытую армию Motion LORAs.

№2: Использовать весь наш контроль, чтобы создавать удивительное работы по всему миру.

Это краткое изложение основных моментов предложения по улучшению контроля в AnimateDiff и поощрению художественного контроля с использованием нейронок и открытых источников.

И действительно армия Лор уже начинает формироваться, вот некоторые из них:

Bubbling Rings
ANTs
Drone Orbit

Обучалка на английском как добавить Motion Lora в A1111 (с зумерским монтажом) — Тут
Большая обучалка-стрим на английском про AnimateDiff в ComfyUI — Тут

От меня размышления: SORA ролики действительно впечатляют, только это черный ящик, судя по Dalle, где мы получаем невероятное понимание текста и при этом невероятные блоки на реализм, своих персонажей и качества выше 1024px, SORA будет такой же. Еще по GPU ресурсам: Не понятно сколько кластеров H100 используются для создания одного полминутного ролика.
Opensource варианты уже сейчас позволяют создавать 8к реалистичные картинки (да, это потребует опыта, кастомных решений и чуть больше прайса, чем одна картинка в Dalle).
Теперь мы приближаемся к видео генерациям, где у нас под контролем будут все параметры, при этом весь пайплайн будет собираться на локальных 3090 или T4 в аренде.

Помните я писал про секретный анонс фичи Gemini, который никто не продвигал, был лишь один ролик? Вот тут: https://news.1rj.ru/str/seeallochnaya/911, суть в том, что под каждый запрос LLM генерирует код интерфейса, в котором нужно показывать пользователю ответ, а затем уже его наполняет.

Vercel, компания, предоставляющая облачный сервис для развёртывания сайтов, обновила AI SDK до версии 3.0, добавив туда такую фичу. Формочки на демо не предзапрограммированны, а создаются на лету и могут содержать любой контент в любой форме. Думаю, что через пару лет такая персонализация будет широко распространена — особенно с учётом количества пользователей, на которых можно запускать A/B тесты и оптимизировать интерфейс до мельчайших деталей. И главное программисты, перекрашивающие годами две кнопки, будут не нужны!

Иван Бегтин сегодня анонсировал новую платформу для поиска данных — Dateno.

Это сайт, на котором можно найти открытые данные и статистику со всего мира по поисковому запросу. На нём уже проиндексировано 10 миллионов датасетов (из них — 219 тысяч по России), а к концу года это количество планируют расширить до 30 миллионов. Можно указать тематику, язык источника, формат данных. А работает это уже лучше, чем тот же Google Dataset Search.

Портал пока находится в стадии беты, но уже работает:
https://dateno.io/

Чюваки из стабилити так активно генерили очередной датасет в миджорни, что положили серваки аж на целые сутки, за что и были торжественно зобанены всем бараком

Смех да и только 😂

А если серьезно, то что это за стартап такой (с оборотами в сотни миллионов долларов), который не смог выдержать нагрузку в виде пусть даже сотни ботов, генерящих картинки?
Что касается банов, не факт, что это нарушает условия их сервиса напрямую, ведь он платный.
Больше похоже на борьбу с потенциальными конкурентами.


Твит от мж

Хотели сантабарбар? Их есть у нас.
Сэм Альтман вернётся в борду OpenAI.

QLoRa + FSDP: Finetune 70B models on Dual 24GB GPUs

Джереми пробудился! :D
Котаны из answer.ai, huggingface и Mobius Labs запилили пайплайн для народного тюна 70b моделей.
Теперь для лор не нужно 48гб VRAM, а можно разбить на 2х24 или 3х16, практически без потери в скорости.
Самое время наведаться к соседу за второй видюхой :D

Cуть подхода такова:
Берем 4-битную квантованную 70B модель, весящую 35Gb. Тренить ее саму мы не можем из-за квантования, но можем тренить ее лору. Это, собственно, и есть QLoRA.
Для этого нам все еще нужно 48Gb VRAM.
Мы можем раскидать ее на 2х24Gb GPU послойно, но тогда мы потеряем половину вычислительной мощности, так как слои будут обрабатываться последовательно. Тут-то на помощь и приходит FSDP или Fully Sharded DataParallel. Этот подход позволяет все так же раскидать слои по разным видеокартам, но обрабатывать данные параллельно, подгружая следующий слой с соседних видеокарт, пока обрабатывается предыдущий, а затем выгружая обратно.


твит
код
подробнее

@derplearning