​​LiteVAE: Lightweight and Efficient Variational Autoencoders for Latent Diffusion Models

Исследователи из Disney Studio представляют LiteVAE, семейство автоэнкодеров для LDMs, использующее 2D discrete wavelet transform для повышения масштабируемости и вычислительной эффективности по сравнению с обычными VAEs без потери качества.

Базовая модель LiteVAE сравнима по качеству с существующими VAEs в LDMs, при том, что количество параметров энкодера в шесть раз меньше - это значит, что тренировка идёт быстрее и нужно меньше памяти GPU. Более крупная модель превосходит VAEs аналогичной сложности по всем метрикам.

Paper link

Мои обзоры:
Personal blog
Medium
Linkedin Pulse

#paperreview

Власти США подают в суд на adobe

Не одних нас достали постоянные юридические финты ушами от этого гиганта хитровыделанности. Думаю, все в курсе и прошлогодних обновлений пользовательского соглашения, которое давало им разрешение тренить на ваших картинках, загруженных в Фотошоп, нейронки, а также нововведения этого года, которое вообще даёт им роялти-фри лицензию на ваш контент.

До этого дойдут позже, так как государственная машина неповоротлива, а пока предьявляют за намеренное превращение процедуры отписки в полосу препятствий, по прохождении которой можно выдавать краповый (в цвет логотипа адоба) берет отписчика.

Иск
Подробнее

Stable diffusion 3 banned from civit.ai

You can make this shit up 😅

Civit.ai временно скрыли все sd3-based модели и лоры.

Причина - широкая лицензия, которая даёт создателям sd3 права на контент, сгенеренный sd3, также модели, обученные на sd3 генерациях; так и непонятки с будущей судьбой stability. Через годик-другой новый владелец вполне может прийти и взыскать все просроченные платежи по подпискам. Ведь на civita.ai есть монетизация, что означает коммерческое использование sd3.

Post

Изучаем эволюцию терминаторов:
Т (банк или пиво?)
Т4 (Nvidia GPU)
Т5 (text to text transfer transformer)
Т9 (погубил больше всего людей)
Т34
Т800
Т1000

Предлагаем варианты в комментах

What if beastieboys sabotage was made in the 80s by Nintendo

Я тут постоянно говорю о том, что нам не хватает инструментов для более точной настройки генераций, чтобы можно было более гибко настраивать и получать более предсказуемые результаты, пригодные для продакшена.

Таких инструментов пока немного, и чаще всего они собраны энтузиастами на коленке.

Как пример, Stable Projectorz — инструмент, созданный для текстурирования 3D-моделей с помощью нейросетей.

Из интересного, функционал поддерживает загрузку 3D-моделей и консистентную генерацию по ракурсам, вспомогательно простраивая карту глубины в реальном времени. Так же очень полезной выглядит фича инпэинтинга по маскам.

Работает на видеокартах NVIDIA (от GTX 1080) или AMD с поддержкой Stable Diffusion и от 12 ГБ оперативки.

Самое главное — после просмотра процесса текстурирования возникает вопрос: для каких целей вы это используете? И что самое главное, если бы вы делали эти же самые манипуляции для качества продакшен реди, не было бы это быстрее сделано привычными пайплайнами текстурирования с более предсказуемыми результатами?

Кажется, что ответ пока всё тот же: для быстрых прототипов или объектов дальнего плана, при сильной стилизации, вполне может сгодиться. Для семи или фотореализма — едва ли.

Но автору безусловный респект за сборку и возможность протестировать бесплатно!

Yet another 8-bit filter
Неповторимый оригинал тут

DeepSeek Coder V2

Опенсорсная модель знающая 338 языков и умеющая кодить на уровне лучших проприетарных моделей - немного отстаёт лишь от Claude 3.5 Sonnet. Она в 3 раза быстрее LLaMa 70B из-за fine-grained MoE архитектуры и MLA, своего эффективного варианта Attention. Это позволяет сделать очень дешёвое API (дешевле Claude 3.5 Sonnet в 50 раз на генерации и в 35 раз на инпуте).

Для тренировки взяли чекпоинт на 4 триллиона токенов от оригинального DeepSeek V2 и дообучили его на 6 триллионах токенов микса кода (60%), математики (10%) и обычных токенов (30%).

Кроме большой модели на 236 миллиардов параметров выпустили ещё и Lite модель, которая кодит на уровне LLaMa 3 70B. Там всего 16 миллиардов параметров и полностью заполненный контекстом KV Cache занимает меньше 2 гигов, так что квантизированная до 4 бит модель прекрасно запускается на 11 гигабайтах видеопамяти.

Если вы уже пробовали использовать эту модель с ollama и она у вас сбивалась на китайский, то это из-за бага в промпте у ollama. Этот баг пофиксили сегодня утром.

Веса: 236B / 16B
Пейпер

@ai_newz

Superconducting supercomputers

В свежем IEEE Spectrum статья про сверхпроводящие компьютеры (https://spectrum.ieee.org/superconducting-computer) и целый стек, разрабатываемый сейчас международной организацией Imec (https://www.imec-int.com/en) со штаб-квартирой в Бельгии.

На фоне разговоров про триллионные кластеры с масштабами энергопотребления уровня 20% общего производства энергии США на один такой кластер (https://situational-awareness.ai/racing-to-the-trillion-dollar-cluster/#Training_compute) и энергию как одно из главных бутылочных горлышек таких затей (https://situational-awareness.ai/racing-to-the-trillion-dollar-cluster/#Power), и даже на фоне более ранних прогнозов из 2015-го про вычисления вообще, где говорилось что к 2040-му требуемая для вычислений энергия превзойдёт мировое производство оной (https://www.semiconductors.org/wp-content/uploads/2018/06/RITR-WEB-version-FINAL.pdf, Figure A8) если продолжать использовать типовые мейнстримовые вычислительные системы, все эти движения выглядят очень актуальными.

Imec разрабатывает решения сразу на всех уровнях стека, от материалов для сверхпроводящего железа, через новые схемотехнические решения для организации логических схем и памяти к архитектурным решениям на уровне совмещения с классической DRAM памятью.

Новые схемы основаны на использовании эффекта Джозефсона в устройствах под названием переход Джозефсона (Josephson junction, JJ, https://www.scientificamerican.com/article/what-are-josephson-juncti/). В них два слоя сверхпроводника разделены тонким слоем диэлектрика, через который туннелирует ток до тех пор, пока этот ток не превышает критическое значение. При превышении критического тока, в переходе возникает импульс напряжения, запускающий ток, который дальше будет течь по сверхпроводящему контуру с JJ бесконечно. На этих контурах можно построить логические элементы (ток течёт -- 1, не течёт -- 0) и память (два связанных контура, если ток в левом -- хранится 1, если ток в правом, а в левом нет -- 0).

Предложенная авторами плата под названием superconductor processing unit (SPU) содержит сверхпроводящие логические контуры и статическую память (SRAM) на JJ, охлаждённую жидким гелием до 4K, также через стеклянный изолятор на схеме есть классические не-сверхпроводящие CMOS DRAM охлаждённые до 77K и далее ведущие наружу в комнатной теплоты мир коннекторы.

Смоделирована система со ста такими платами, размером порядка обувной коробки (20x20x12 см), которая может выдавать 20 exaflops (10^18) в bf16 и потреблять всего 500 киловатт. У топового суперкомпьютера Frontier что-то типа чуть больше 1 экзафлопса, но правда это fp64, а не bf16. И энергопотребление в сотню раз выше. У DGX H100 с 8 GPU заявлено 32 petaflops в fp8, и соответственно 16 petaflops в bf16, то есть 20 exaflops потребует 10000 карт H100. Впечатляет в общем.

Да, требуется энергия на охлаждение, но начиная с некоторого масштаба (в районе десятка петафлопс) она уже полностью отбивается и сверхпроводящий суперкомпьютер обгоняет классический на GPU.

Из дополнительных интересных бонусов может быть более лёгкая интеграция с квантовыми компьютерами, которые требуют похожего охлаждения, а также с термодинамическими компьютерами типа как у Extropic, тоже использующими JJ (https://news.1rj.ru/str/gonzo_ML/2688).

Это потенциально очень интересное развитие. Может и не нужны будут гига-датацентры размером с футбольные поля с атомными электростанциями под боком, а будет свой маленький сверхпроводящий суперкомпьютер на районе? Со своим районным AI.

Карпатый готовит большой курс по LLM – LLM101n: Let's build a Storyteller

Андрей будет учить с нуля и буквально всему - архитектуре, подготовке датасетов, тюнингу, оптимизации, фреймворкам (PyTorch+Jax), CUDA. На выходе у студентов получится что-то похожее на ChatGPT, только написанное абсолютно с нуля.

Такое ему не в первой, он вместе со своим профом Ли Фей-Фей создал и вёл легендарный курс CS231 по глубокому обучению в Стенфорде (имхо этот курс – база, всем советую), да и обучающие видео у него выходят отличные.

В публичном доступе есть репа с содержанием курса, но самих лекций пока нету

Список туториалов Карпатого про LLM:
- Строим GPT с нуля, с разбором кода в ноутбуке (2ч)
- Как тренировали ChatGPT (large scale)
- Интро в большие языковые модели (LLM), тоже от Карпатого. (1ч)
- Токенизация в GPT и как ее закодить (2ч)
- Как воспроизвести и натренировать GPT-2 (124M) с нуля (4ч)

#ликбез
@ai_newz

До чего нейросети дошли!