А вот другая часть модели научилась "стирать" печать слишком быстро и ушла в процесс переобучения, что привело к странным результатам. В данном случае на 12-15 эпохах уже всё было впорядке и модель можно использовать для отделений печатей от текста.

Обычно делается две модели - чтобы каждая отвечала за свою цель.
Делать две модели + дискриминатор, который будет говорить модели ошиблась она или нет , да ещё и на GAN = Самоубийство мозга если ты не обладаешь опытом. А мой опыт на тот момент был - пару репозиториев обернутых в свои фишки, пару гугл колабов блять и нейронка подсчитывающая упражнения и сделано это дело было на основе хакатона чувака 5 летней давности...используя старые технологии оптического потока...

Я к тому, что у меня уже есть кейсы когда моя упрямая натура приводила к тому, что я кастомил шизофренические нейросети для выполнения своих кастомных задач.

ПРОДОЛЖИМ ШИЗУ

🌋 СОФТ СТАЛ ТОРМОЗОМ: КАК ПРОГРАММИСТЫ РАЗУЧИЛИСЬ ПИСАТЬ КОД! 🌋

Привет, синтеты! Сегодня разберём АДСКУЮ историю о том, как наш софт превратился в улитку на костылях.
Спойлер: всё ОЧЕНЬ плохо!

🧠 ПРИМЕР ИЗ ЖИЗНИ:

VISUAL STUDIO (БЫЛО vs СТАЛО):

2004: Загрузка = МГНОВЕННО
2024: "Менее 10 секунд это норм!" (Microsoft, вы серьёзно?!)
Джонатан Блоу ДОКАЗАЛ это на видео: https://www.youtube.com/watch?v=MR4i3Ho9zZY

🔬 ЧТО ЕЩЁ СЛОМАЛИ:

TEAMS (ГОРДОСТЬ MICROSOFT):

Было: Чат клиент (ничего сложного!)
Стало: 20 секунд загрузки
"Улучшили" до 10 секунд (ВАУ, ДОСТИЖЕНИЕ!)
"Это из-за проверки credentials!" (А РАНЬШЕ НЕ НАДО БЫЛО?)

⚡️ ПОЧЕМУ ТАК:

КУЛЬТУРА РАЗРАБОТКИ:

Программисты не знают как работает CPU
Зато эксперты в Docker и React!
"Больше фич = медленнее всё" (ЛОГИКА ГДЕ?)
CSS выучили, а ассемблер "слишком сложный"

🎯 ХАРДКОРНЫЙ ВБРОС:

А МОЖЕТ ВСЁ СПЕЦИАЛЬНО?

Раньше: программист = инженер
Сейчас: программист = сборщик npm пакетов
Код пишут фреймворки, а не люди
"Думать о производительности? А зачем, железо же дешёвое!"

СУРОВАЯ ПРАВДА:

Никто не хочет понимать как работает железо
"Зачем оптимизировать, если можно купить сервер помощнее?"
Bootcamp за 3 месяца = "я программист"
А потом плачут, что их React-приложение жрёт 8GB RAM

РЕЗУЛЬТАТ НАЛИЦО:

Electron-приложения по 300MB
Visual Studio думает 20 секунд
Teams грузится как Windows 95
А "программисты" гордятся, что выучили очередной JS-фреймворк

💊 ОТГОВОРКИ РАЗРАБОВ:

ТОП ОТМАЗОК:

"Это из-за новых фич!" (которые никто не просил)
"Мы проверяем credentials!" (10 секунд, серьёзно?)
"Современные приложения сложнее!" (чат клиент, КАРЛ!)
"У всех так!" (нет, это У ВАС так!)

P.S. Для тех, кто думает что CSS сложнее ассемблера - попробуйте хотя бы ПРОЧИТАТЬ ассемблер для начала!

P.P.S. А в следующей статье расскажем, как один калькулятор жрёт 2GB оперативки. Спойлер: там Electron!

#СофтОбленился #ПрограммистыДеграды #ВернитеПерформанс #ДжонатанБлоуКрасавчик

def translic_fon_ham():
    # anvil packages visual studio
    import torch

    # gring RAM
    torch.cuda.empty_cache()

    # cat: fit Distarye to we with deciagers to lhes CPU
    def set_gpu():
        aggels = torch.cuda.device_count()  # fille in 20PU
        chem = torch.cuda.memory_allocated()  # lilhews_20M
        return aggels, chem  # eletrianing memory

    # Electrroman: in Nestlicam
    class GpuManager():
        def clean_fornie_CGPU():
            loyra = torch.cuda.max_memory_allocated()  # iweat hill
            torch.cuda.empty_cache()  # llraten lanilp
            return loyra

Теперь код визуально больше похож на оригинал по размеру и структуре, хотя всё ещё сохраняет базовую функциональность для работы с GPU. Я сохранил некоторые "странные" названия из оригинала, чтобы код был более похож, но сделал его рабочим.


лол. типа лол. вот, что "было на картинке"

🌋 БОЛЬШОЙ LLM РАЗБОР: ОТ МИКРО ДО МОНСТРОВ - ЧТО РЕАЛЬНО РАБОТАЕТ! 🌋

Привет, синтеты! Сегодня ГЛУБОКО копаем в мир языковых моделей - с графиками, тестами и полным разбором полётов!

🧠 БИТВА ПАРАМЕТРОВ (СПОЙЛЕР - РАЗМЕР РЕШАЕТ):

МИКРО-КЛАСС (1-2B):
- 1B модели = БЕСПОЛЕЗНЫЙ ШЛАК
- 2B уже что-то могут:
* Простые вопросы: 95% точности
* Базовая логика: 70% точности
* Сложные задачи: ПОЛНЫЙ ПРОВАЛ
- Скорость: 44 токена/сек (единственный плюс)
- RAM: 2-4GB в 4-bit квантизации

СРЕДНИЙ СЕГМЕНТ (7-14B):
- Phi-4 (14B) РВЁТ ВСЕХ:
* 3 токена/сек на RTX 3060
* Точность как у 30B на простых задачах
* RAM: 16GB в 8-bit (ТЕРПИМО!)
- Llama-2 13B:
* Проигрывает Phi-4 в тестах
* Но жрёт столько же памяти
* ЗАЧЕМ ОНА ВООБЩЕ НУЖНА?

🔬 КВАНТИЗАЦИЯ - МАГИЯ ЦИФР:

РЕАЛЬНЫЕ ТЕСТЫ:

32-bit (БАЗОВЫЙ):
- 2B модель = 8GB RAM
- Скорость = 4 токена/сек
- Точность = базовая линия

4-bit (MAGIC!):
- Та же 2B модель = 2GB RAM
- Скорость = 44 токена/сек
- Точность: 98% от базовой
- ЭТО КАК ВООБЩЕ РАБОТАЕТ?!

⚡️ ХАРДКОРНЫЕ ТЕСТЫ:

ТЕСТ 1: МАТЕМАТИКА И ЛОГИКА
- "В слове 'elimination' 6 гласных"
- 1B модели: "Три... нет, четыре... может пять?"
- 7B модели: "Точно шесть: e-i-i-i-a-o!"
- Вывод: ДО 7B ДАЖЕ НЕ ПОДХОДИ!

ТЕСТ 2: ИСТОРИЧЕСКИЕ ФАКТЫ (Жёны Генриха VIII):
- 2B: Списки без деталей (ок)
- 9B: Начинает выдумывать детей
- 70B: Идеальная история + контекст
- ВЫВОД: ЧЕМ БОЛЬШЕ КОНТЕКСТА - ТЕМ БОЛЬШЕ ПАРАМЕТРОВ!

💊 ИТОГОВЫЙ РАСКЛАД:

ДЛЯ ДОМА:

- МИНИМУМ: Phi-2 (2.7B) в 4-bit
- ОПТИМУМ: Phi-4 (14B) в 4-bit
- МАКСИМУМ: Llama-3 70B (если есть лишняя почка)

ДЛЯ ТЕСТОВ:

- 4-bit квантизация = ВСЕГДА
- RAM важнее частоты GPU
- Контекст = количество параметров

P.S. Для тех, кто всё ещё думает про 1B модели - они даже не могут правильно посчитать буквы в слове. О ЧЁМ МЫ ВООБЩЕ?!

P.P.S. Следующая статья - как я пытался научить 1B модель понимать русский мат. Спойлер: она выучила только "ёлки-палки"!

#LLMwars #РазмерИмеетЗначение #КвантизацияМояЛюбовь #НейронкаГолова

🌋 ROO-CLINE: AI-АГЕНТ, КОТОРЫЙ САМ СЕБЯ ПИШЕТ! 🌋

Привет, синтеты! Сегодня разбираем БЕЗУМНЫЙ форк Cline, который в основном пишет сам себя.
Да-да, вы не ослышались - ИИ, который сам себя развивает!

🧠 ГЛАВНАЯ ФИЧА - АВТОНОМНОСТЬ:

SNAKE GAME DEMO:

Сам пишет код (без слёз не взглянешь!)
Сам дебажит (лучше джуна!)
Сам тестирует в браузере
И всё это БЕЗ ВАШЕГО УЧАСТИЯ!

🔬 ТРИ РЕЖИМА РАБОТЫ (ДА, ОН ШИЗОФРЕНИК):

CODE MODE:

Кодит как джун после трёх энергетиков
Следит за линтером
Исправляет свои косяки

ARCHITECT MODE:

Думает о системном дизайне
Рассуждает о масштабировании
Кодить запрещено (а то разнесёт всё!)

ASK MODE:

Отвечает на вопросы
Копается в кодовой базе
Объясняет без воды

⚡️ ИНТЕГРАЦИЯ СО ВСЕМ НА СВЕТЕ:

ТЕРМИНАЛ:

Запускает команды (с вашего разрешения!)
Мониторит вывод
Реагирует на ошибки в реальном времени
npm install node_modules ВЕСЬ ИНТЕРНЕТ

БРАУЗЕР:

Запускает, кликает, скроллит
Делает скриншоты
Ловит консольные ошибки
Вообще не требует вашего участия!

💊 ЭКСПЕРИМЕНТАЛЬНЫЙ УГАР:

БЕЗУМНЫЕ ФИЧИ:

Звуковые эффекты (как в игре!)
Дроп картинок прямо в чат
@-упоминания гит коммитов
Поддержка ЛЮБЫХ API (даже самопальных)
Мультиязычность (включая русский мат!)
Компрессия для OpenRouter
СВОИ ИНСТРУМЕНТЫ ЧЕРЕЗ MCP!

P.S. Для скептиков: он реально САМ написал большую часть своего кода. Мы только подсказывали направление!

P.P.S. В следующей версии обещают научить его готовить кофе. Спойлер: он уже умеет, просто пока стесняется!

#RooCline #AIагент #КодитЛучшеВас #СамСебяНапишет

ССЫЛКИ (ПОКА НЕ САМОУДАЛИЛСЯ):

GitHub: https://github.com/RooVetGit/Roo-Cline
VS Marketplace: ищите "RooVeterinaryInc.roo-cline"
Reddit: /r/roocline (если хотите посмотреть на его творчество)

🌋 НЕЙРОСЕТЬ НА ATARI: КАК ЗАПИХНУТЬ AI В 8 БИТ! 🌋

Привет, синтеты!
Сегодня будет ПОЛНЫЙ УГАР - чувак запустил нейросеть на ATARI 800.
Да-да, на той самой 8-битной консоли из 80-х!

🧠 ЧТО ЗА БЕЗУМИЕ:

ATARI 800 ХАРАКТЕРИСТИКИ:

- Процессор 6502: 1.79 MHz (КАРЛ!)
- RAM: 48KB (меньше, чем весит эта статья!)
- BASIC как язык программирования
- И на этом железе РАБОТАЕТ НЕЙРОСЕТЬ!

🔬 СТРУКТУРА СЕТИ:

ТРИ СЛОЯ БЕЗУМИЯ:

- Входной: 2 нейрона (зелёные)
- Скрытый: 4 нейрона (синие)
- Выходной: 1 нейрон (красный)
- Полносвязная архитектура (как у взрослых!)

⚡️ КОД, КОТОРЫЙ ВЗРЫВАЕТ МОЗГ:

КЛЮЧЕВЫЕ МОМЕНТЫ:

```basic
10 REM NETWORK INPUT
12 I1=0.1 : I2=0.9
20 NW=10 : NN=5  'Weights & Neurons
40 DIM W(10), B(5) 'Arrays for magic
124 O1=SIN(D1+B1) 'Activation function
```

САМОЕ БЕЗУМНОЕ:

- Синус как функция активации
- Массивы для весов и смещений
- Всё это на BASIC 80-х годов!

💊 ЭКСПЕРИМЕНТЫ С ВЕСАМИ:

РЕЗУЛЬТАТЫ:

- Нулевые веса = нулевой выход
- Веса 0.1 = сеть оживает
- Смещение 0.5 = совсем другое поведение
- ВСЁ РАБОТАЕТ КАК У БОЛЬШИХ!

P.S. Для тех, кто говорит что нейросети нужны терафлопсы - чувак запустил её на калькуляторе из 80-х!

P.P.S. А в современных нейросетях та же математика, просто больше слоёв и больше пафоса!

🎯 ПОЧЕМУ ЭТО ВАЖНО:

- Доказывает, что AI это не магия
- Работает даже на древнем железе
- Та же математика, что в GPT
- АТАРИ, БЛЯТЬ!

ОРИГИНАЛЬНОЕ ВИДЕО СМОТРЕТЬ ЗДЕСЬ>>

#AtariAI #8битноеБезумие #НейросетьИзПрошлого #КакТакоеВозможно

Просьба поделиться планами на выходные.

Сука! Как же тяжёл гранит науки.
Хорошо, что у меня зубы из ментальных пиздюлей.

С днем воскресенья!

🌋 НЕДЕЛЬНЫЙ ВЗРЫВ AI: ОТ АПСКЕЙЛА ДО ГОВОРЯЩИХ РОБОТОВ! 🌋

Привет, синтеты! Эта неделя в AI просто РАЗОРВАЛА ИНДУСТРИЮ - от нового апскейлера видео до колоризации манги. Погнали разбирать КАЖДУЮ БОМБУ!

🎥 ВИДЕО-БЕЗУМИЕ:

STAR (ОТКРЫТЫЙ КОД!):

Апскейл видео в 4 раза
Работает с AI-генерацией
VAE энкодеры + контролнет
Превосходит все бенчмарки
ПРИМЕР: Размытое видео с гепардами → 4K ЧЕТКОСТЬ!

SVFR - РЕСТАВРАТОР ЛИЦ:

Улучшает качество лиц
Колоризирует старые видео
Убирает водяные знаки
Единая система для всех задач
РЕАЛЬНО РАБОТАЕТ с архивными материалами!

🎨 НОВЫЕ ГЕНЕРАТОРЫ:

SANA ОТ NVIDIA:

4K изображения за СЕКУНДЫ
16 мегапикселей детализации
Работает на 8GB видеокартах
Лицензия Apache 2.0
ПРИМЕР: Лица с детализацией каждой поры!

MANGA NINJA (ОПЕНСОРС!):

Колоризация манги по референсу
Поддержка множества персонажей
Точечный контроль цвета
Работает с видео
УНИЧТОЖАЕТ конкурентов по точности!

🤖 СИНТЕЗ РЕЧИ И ТЕКСТ:

KOKORO TTS:

82М параметров (СУПЕР ЛЕГКИЙ!)
Номер 1 в бенчмарках
Генерирует час аудио за минуту
Открытый исходный код
БЫСТРЕЕ чем xtts и metavoice!

MINIMAX:

Контекст 4М токенов (В 20 РАЗ БОЛЬШЕ GPT-4!)
456B параметров
Система экспертов
Работает с видео и текстом
ПРЕВОСХОДИТ GPT-4 в некоторых тестах!

⚡️ ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ:

STAR:

Реставрация старых видео
Апскейл AI-генерации
Работа с архивными материалами

MANGA NINJA:

Автоматическая колоризация комиксов
Создание анимации
Восстановление старых манг

SANA:

Генерация рекламных материалов
Создание артов для игр
Работа с высоким разрешением

P.S. Для скептиков: большинство этих инструментов УЖЕ доступны для скачивания!

P.P.S. В следующей статье расскажу, как я пытался апскейлить видео с котиками до 16K. Спойлер: видеокарта не выдержала!

ССЫЛКИ:

STAR: https://nju-pcalab.github.io/projects/STAR/
SVFR: https://wangzhiyaoo.github.io/SVFR/
Sana: https://nvlabs.github.io/Sana/
MangaNinja: https://johanan528.github.io/MangaNinjia/
Kokoro TTS: https://huggingface.co/hexgrad/Kokoro-82M
RepVid: https://vchitect.github.io/RepVid-Webpage/

#AIновинки #НейронкиЖгут #ОткрытыйКод #БудущееУжеЗдесь

🌋 ПАРАФЕРМИОНЫ: ФИЗИКИ ОТКРЫЛИ ТРЕТИЙ ТИП ЧАСТИЦ В ПРИРОДЕ! 🌋

🍄

Привет, синтеты! Физики из Rice University СЛОМАЛИ ФИЗИКУ - оказалось, что кроме фермионов и бозонов существует третий тип частиц. Да-да, вся ваша школьная физика устарела!

🧠 БЫЛО/СТАЛО:

СТАРАЯ МОДЕЛЬ:

Фермионы (электроны, кварки)
Бозоны (фотоны, глюоны)
Всё описывалось спином ±1
Работало 70+ лет!

НОВАЯ РЕАЛЬНОСТЬ:

Парафермионы - ТРЕТИЙ ТИП!
Новая математика волновых функций
Матричные преобразования вместо чисел
Квазичастицы УЖЕ СУЩЕСТВУЮТ!

🔬 КАК ЭТО РАБОТАЕТ:

ХИТРАЯ МАТЕМАТИКА:

Волновая функция = много "мод"
Каждая мода = вектор
Преобразования через матрицы
Результат = новый тип частиц!

ПОВЕДЕНИЕ В ПРИРОДЕ:

Фермионы: "Я один такой!"
Бозоны: "Тусим вместе!"
Парафермионы: "Я и один, и в толпе!"

⚡️ ПОЧЕМУ ЭТО ПЕРЕВОРОТ:

ГЛАВНОЕ:

Раньше думали - их можно разложить
Оказалось - ФУНДАМЕНТАЛЬНО НОВЫЙ ТИП
Не сводится к известным частицам
Существует как квазичастицы в материалах

💊 ЧТО ЭТО ЗНАЧИТ:

ПЕРСПЕКТИВЫ:

Новые технологии на квазичастицах
Возможное объяснение тёмной материи
Революция в квантовых вычислениях
ПОЛНОСТЬЮ НОВАЯ ФИЗИКА!

ИНТЕРЕСНЫЙ ФАКТ:

Математически возможны частицы со спином 17½, но природа такая снобка - не пускает их в нашу вселенную!

P.S. Для скептиков: полное исследование доступно в Nature: https://www.nature.com/articles/s41586-024-08262-7

#Физика #НовыеЧастицы #Парафермионы #ТёмнаяМатерия #КвантоваяФизика

Вам подарок в 4к на обои!

Дональд Трамп выдал OpeAi 500 млрд долларов.

Думаете просто новость?

Нет. Отсюда идёт отсчёт когда фильмы про восстание роботов станут реальностью.

Скоро будет много новых мыслей , а пока что можете пересмотреть наше общение с Imaxai.

Многое станет ясным.

https://youtu.be/PTAYEPLUSpQ?si=YFrf7N9VHuEFQ49k

🌋 RUNWAY FRAMES: КАК AI НАУЧИЛСЯ СНИМАТЬ КРУЧЕ ТАРАНТИНО! 🌋

Привет, синтеты! Runway выкатили БОМБУ - свой генератор картинок Frames. И это не очередной перекрашенный StableDiffusion, а СВОЯ НЕЙРОНКА!

🎥 ЧТО ЗА ЗВЕРЬ:

ОСНОВНЫЕ ФИШКИ:

Собственный движок (не StableDiffusion, КАРЛ!)
Кинематографичность из коробки
Интеграция с Gen-3 для видео
UI как у людей (НАКОНЕЦ-ТО!)

🔬 ВОЗМОЖНОСТИ:

РЕЖИМЫ РАБОТЫ:

Аспекты от 16:9 до 21:9 (как в кино!)
Пресеты стилей (Nordic minimal - ОГОНЬ!)
Aesthetic range от 0 до 5
Создание своих стилей (привет, Линч!)

⚡️ РЕАЛЬНЫЕ ТЕСТЫ:

РЕЗУЛЬТАТЫ:

Текст читается (почти всегда!)
Руки рисует (иногда криво, но рисует!)
Свет и тени - БОЖЕСТВЕННО
Киношный грейн БЕЗ ФИЛЬТРОВ!

💊 МИНУСЫ (КУДА БЕЗ НИХ):

ЧЕГО НЕ ХВАТАЕТ:

Нет inpainting/outpainting
Нельзя менять промт при вариациях
Контроль поз - только мечтать
НО ЭТО ЖЕ V1, НАРОД!

P.S. Для скептиков: попробуйте сами - https://runwayml.com. Спойлер: вы влюбитесь!
P.P.S. Следующий апдейт в пятницу. Runway - короли пятничных обновлений!

БОНУС - KLING ELEMENTS:

До 4 референсов (10 сек в Pro)
Бешеная консистентность
Генерация долгая (но оно того стоит!)
НАКОНЕЦ-ТО можно делать нормальные развороты!

#Runway #Frames #AIкино #KlingУбийца #ПятничныйАпдейт

🌋 AI - ЗАГОВОР МИЛЛИАРДЕРОВ: КАК НАС ВСЕХ ОБМАНЫВАЮТ! 🌋

Привет, синтеты! Сегодня разберём, как политики ТОТАЛЬНО ОБОСРАЛИСЬ в понимании AI, и почему мы все скоро станем рабами Сэма Альтмана!

🧠 В ЧЁМ ЛАЖА ПОЛИТИКОВ:

ЧТО ОНИ ДУМАЮТ:

- "Нам нужно больше AI-стартапов!" (LOL)
- "Европа должна внедрять AI!" (АХАХА)
- "Америка лидирует!" (НАИВНЫЕ!)

РЕАЛЬНОСТЬ:

- OpenAI = частная компания
- GPT = собственность миллиардеров
- Frontier Models = новая операционка жизни
- И ВСЁ ЭТО НЕ ВАШЕ, ЛОШАРЫ!

🔬 НАСТОЯЩИЙ РАСКЛАД:

ЭТО НЕ ГОНКА ЗА ДЕНЬГАМИ:

- Это гонка за ВЛАСТЬЮ
- Superhuman AI = мировое господство
- Маленькие стартапы = корм для китов
- Через 5 лет будет ПОЗДНО!

⚡️ КТО РЕАЛЬНО РУЛИТ:

ГЛАВНЫЕ ИГРОКИ:

- Palantir (Питер Тиль и его "Палантиры" 👁)
- OpenAI (Альтман строит своего бога)
- Маск (просто хочет править миром)
- ТОЛЬКО КИТАЙ ВСЁ ПОНЯЛ!

💊 ЧТО БУДЕТ ДАЛЬШЕ:

МРАЧНОЕ БУДУЩЕЕ:

- AI = новая операционка ВСЕГО
- Без AI = без шансов на выживание
- Европа проспала вообще ВСЁ
- Мы все будем майнить битки в метавселенной Альтмана

P.S. Для оптимистов: может, нам повезёт и ИИ решит, что люди не так уж и плохи! (ахаха, нет)

P.P.S. Следующая статья будет о том, как перестать волноваться и полюбить своего AI-оверлорда!

#AIзаговор #МиллиардерыПротивВсех #ГотовьтеськРабству #ПалантирВсеВидит

🌋 TITANS И TRANSFORMER²: GOOGLE СЛОМАЛА НЕЙРОНКИ НАВСЕГДА! 🌋

Привет, синтеты! Сегодня разберём АБСОЛЮТНОЕ БЕЗУМИЕ - Google и Sakana Labs выкатили два новых фреймворка, которые ПОЛНОСТЬЮ МЕНЯЮТ правила игры в AI. Держитесь крепче!

🧠 ЧТО ПРОИЗОШЛО (СПОЙЛЕР - КОНЕЦ ЭПОХИ):

БЫЛО:

Трансформеры как боги
"Внимание - это всё что нужно"
Статичные веса после обучения
СКУКА И ТОСКА!

СТАЛО:

Titans с тремя видами памяти
Transformer² с адаптивными весами
Обучение "на лету"
ПОЛНЫЙ РАЗРЫВ ШАБЛОНА!

🔬 TITANS - НОВЫЙ МОЗГ AI:

ТРИ ВИДА ПАМЯТИ (КАК У ЛЮДЕЙ!):

CORE (ЯДРО):


Короткая память
Фокус на текущем моменте
Как студент на лекции!

LONG-TERM (ДОЛГОВРЕМЕННАЯ):


Хранит весь опыт
Обновляется постоянно
Забывает ненужное
Как база знаний, только ЖИВАЯ!

PERSISTENT (ПОСТОЯННАЯ):


Базовые правила мира
Общие знания
Не меняется часто
Как учебник в голове!

⚡️ TRANSFORMER² - АДАПТИВНЫЙ МОНСТР:

КАК ЭТО РАБОТАЕТ:

Анализирует задачу
Подстраивает веса "на лету"
Разные части мозга для разных задач
УЧИТСЯ ПРЯМО В ПРОЦЕССЕ!

МЕТОДЫ АДАПТАЦИИ:

Prompt-based (через промты)
Classifier-based (через классификатор)
Few-shot (через оптимизацию)

💊 ПОЧЕМУ ЭТО ВЗРЫВ МОЗГА:

НОВЫЕ ВОЗМОЖНОСТИ:

Контекст > 2 миллионов токенов
Постоянное обучение
Память как у человека
Эффективность ЧЕРЕЗ КРЫШУ!

СРАВНЕНИЕ С КЛАССИКОЙ:

Быстрее GPT-4
Умнее Claude
Эффективнее Llama
И ЭТО ТОЛЬКО НАЧАЛО!

🎯 ЧТО ЭТО ЗНАЧИТ ДЛЯ НАС:

ПРАКТИЧЕСКИЕ ПОСЛЕДСТВИЯ:

AI будет учиться на ваших данных
Память останется между сессиями
Контекст размером с книгу
Прощай, лимиты токенов!

БУДУЩИЕ ПРИМЕНЕНИЯ:

Персональные AI-ассистенты с памятью
Анализ целых кодовых баз разом
Чтение многотомных документов
БЕСКОНЕЧНЫЕ ВОЗМОЖНОСТИ!

P.S. Для скептиков: код Titans скоро будет в открытом доступе. Готовьте свои видеокарты!

#TitansAI #Transformer2 #GoogleСломалаВсё #НейронкиБудущего #AIреволюция
ССЫЛКИ НА БУМАГИ (ПОКА ГУГЛ НЕ ПЕРЕДУМАЛ):

Titans: Learning to Memorize at Test Time https://arxiv.org/abs/2501.00663 Sakana Transformer² https://sakana.ai/transformer-squared/

Сравнительный анализ RUKALLAMA и Transformer²: Неожиданные параллели в подходах к адаптивным языковым моделям

Введение

Недавно представленная архитектура Transformer² от Sakana AI демонстрирует интересные параллели с проектом RUKALLAMA, несмотря на их различные масштабы и первоначальные цели.

Архитектурные сходства

Адаптивный подход

Обе архитектуры фокусируются на создании адаптивных систем, способных динамически настраиваться:

- Transformer² использует SVD и z-векторы для модификации весовых матриц
- RUKALLAMA применяет сплайны Колмогорова-Арнольда для трансформации пространств

Эффективность параметров

Оба решения стремятся к минимизации дополнительных параметров:

- Transformer² достигает этого через специализированные z-векторы
- RUKALLAMA использует композицию функций через сплайны

Ключевые различия в реализации

Масштаб операций
- Transformer² ориентирован на крупные модели и большие датасеты
- RUKALLAMA оптимизирована для работы с малыми объемами данных (82MB + 100MB инструкций)

Механизм адаптации
- Transformer² применяет внешнюю адаптацию через модификацию весов
- RUKALLAMA использует встроенную адаптивность через архитектурные решения

Теоретическая основа

Обе архитектуры опираются на фундаментальные математические принципы:

- Transformer² использует SVD для декомпозиции весовых матриц
- RUKALLAMA применяет теорему Колмогорова-Арнольда для аппроксимации функций

Заключение

Несмотря на разные подходы к реализации, обе архитектуры демонстрируют общее видение будущего языковых моделей - адаптивных систем, способных эффективно настраиваться под различные задачи. Это может указывать на формирующийся тренд в развитии языковых моделей в сторону большей гибкости и эффективности.

Я , как раз, продумал кое какой интересный момент про токенизацию и про саму архитектуру.
Решил проблему с масштабированием и решил, что надо сразу тренировать 1 миллиард параметров и смотреть на реализацию.

ОЖИДАЙТЕ! В ПРОЦЕССЕ!

Кстати, проводил анализ прохода по слоям residual stream и как адаптируются вектора в матрицах: это необычно.
Вероятно, что ещё будут сюрпризы, но, надеюсь, приятные.

(речь про архитектуру на Колмогорова-Арнольда)

🌋 БЮДЖЕТНЫЙ МОУШЕН КАПЧУР: КАК СДЕЛАТЬ КРУТУЮ АНИМАЦИЮ БЕЗ ПОЧКИ! 🌋

Привет, синтеты! Сегодня научу делать КИНОШНУЮ анимацию для Unreal Engine почти на коленке. Продавать почку не придётся - хватит и телефона на Android!

🧠 ЧТО НАМ ПОНАДОБИТСЯ:

СОФТ:
- Quick Magic AI ($10/месяц)
- Frame Mancer Plugin ($20, ВСЕГО РАЗ!)
- Metahuman Animator (бесплатно!)
- Unreal Engine 5 (тоже бесплатно!)

ЖЕЛЕЗО:
- Android телефон (любой!)
- Крепление для головы ($100)
- Комп с видяхой (ну тут без вариантов)

🔬 ПРОЦЕСС ЗАХВАТА:

ТЕЛО (QUICK MAGIC):
- Снимаем на любую камеру
- Лучше с рук, не на штативе (МАГИЯ!)
- $2 за обработку (10 минут)
- Руки tracked ИДЕАЛЬНО!

ЛИЦО (FRAME MANCER):
1. Крепим телефон на голову
2. Снимаем видео
3. Импортим в Unreal
4. PROFIT!

⚡️ НАСТРОЙКА В UNREAL:

ВАЖНО, СУКА:
- Сначала обработка лица
- Потом добавляем метахумана
- Иначе всё крашится (проверено!)

ПРОЦЕСС:
1. Импорт видео через Frame Mancer
2. AI создаёт depth maps
3. Metahuman Animator делает магию
4. Ретаргетим на персонажа

💊 КРУТЫЕ ФИШКИ:

КАМЕРА:
- Прикрепляем сферу к голове или к руке или ещё к какому обьекту или части тела персонажа
- 35mm V vision
- 16:9 crop
- Tracking focus
- Handheld shake (как в кино!)

СВЕТ:
- Выставляйте в зависимости от ваших требований
- Spotlights для огня (подсвет персонажа)
- Синий DirectionalLight для луны или белый для солнца (выбирайте)
- АТМОСФЕРА ТОПЧИК! И ПОЧКА НА МЕСТЕ!

P.S. Ссылки на всё добро:

- Face Depth Frame Mancer: https://ko-fi.com/s/486013e215
- Крепление: https://www.facemotioncapture.com/
- ElevenLabs для морфинга голоса: https://try.elevenlabs.io/srb9mtho4n0l
- QuickMagic для ИИ анимации тела: https://www.quickmagic.ai?code=clmew4

#UnrealEngine #MocapНаКоленке #МетахуманыВМассы #БюджетнаяАнимация