🌋 БОЛЬШОЙ LLM РАЗБОР: ОТ МИКРО ДО МОНСТРОВ - ЧТО РЕАЛЬНО РАБОТАЕТ! 🌋
Привет, синтеты! Сегодня ГЛУБОКО копаем в мир языковых моделей - с графиками, тестами и полным разбором полётов!
P.S. Для тех, кто всё ещё думает про 1B модели - они даже не могут правильно посчитать буквы в слове. О ЧЁМ МЫ ВООБЩЕ?!
P.P.S. Следующая статья - как я пытался научить 1B модель понимать русский мат. Спойлер: она выучила только "ёлки-палки"!
#LLMwars #РазмерИмеетЗначение #КвантизацияМояЛюбовь #НейронкаГолова
Привет, синтеты! Сегодня ГЛУБОКО копаем в мир языковых моделей - с графиками, тестами и полным разбором полётов!
🧠 БИТВА ПАРАМЕТРОВ (СПОЙЛЕР - РАЗМЕР РЕШАЕТ):
МИКРО-КЛАСС (1-2B):
- 1B модели = БЕСПОЛЕЗНЫЙ ШЛАК
- 2B уже что-то могут:
* Простые вопросы: 95% точности
* Базовая логика: 70% точности
* Сложные задачи: ПОЛНЫЙ ПРОВАЛ
- Скорость: 44 токена/сек (единственный плюс)
- RAM: 2-4GB в 4-bit квантизации
СРЕДНИЙ СЕГМЕНТ (7-14B):
- Phi-4 (14B) РВЁТ ВСЕХ:
* 3 токена/сек на RTX 3060
* Точность как у 30B на простых задачах
* RAM: 16GB в 8-bit (ТЕРПИМО!)
- Llama-2 13B:
* Проигрывает Phi-4 в тестах
* Но жрёт столько же памяти
* ЗАЧЕМ ОНА ВООБЩЕ НУЖНА?
🔬 КВАНТИЗАЦИЯ - МАГИЯ ЦИФР:
РЕАЛЬНЫЕ ТЕСТЫ:
32-bit (БАЗОВЫЙ):
- 2B модель = 8GB RAM
- Скорость = 4 токена/сек
- Точность = базовая линия
4-bit (MAGIC!):
- Та же 2B модель = 2GB RAM
- Скорость = 44 токена/сек
- Точность: 98% от базовой
- ЭТО КАК ВООБЩЕ РАБОТАЕТ?!
⚡️ ХАРДКОРНЫЕ ТЕСТЫ:
ТЕСТ 1: МАТЕМАТИКА И ЛОГИКА
- "В слове 'elimination' 6 гласных"
- 1B модели: "Три... нет, четыре... может пять?"
- 7B модели: "Точно шесть: e-i-i-i-a-o!"
- Вывод: ДО 7B ДАЖЕ НЕ ПОДХОДИ!
ТЕСТ 2: ИСТОРИЧЕСКИЕ ФАКТЫ (Жёны Генриха VIII):
- 2B: Списки без деталей (ок)
- 9B: Начинает выдумывать детей
- 70B: Идеальная история + контекст
- ВЫВОД: ЧЕМ БОЛЬШЕ КОНТЕКСТА - ТЕМ БОЛЬШЕ ПАРАМЕТРОВ!
💊 ИТОГОВЫЙ РАСКЛАД:
ДЛЯ ДОМА:
- МИНИМУМ: Phi-2 (2.7B) в 4-bit
- ОПТИМУМ: Phi-4 (14B) в 4-bit
- МАКСИМУМ: Llama-3 70B (если есть лишняя почка)
ДЛЯ ТЕСТОВ:
- 4-bit квантизация = ВСЕГДА
- RAM важнее частоты GPU
- Контекст = количество параметров
P.S. Для тех, кто всё ещё думает про 1B модели - они даже не могут правильно посчитать буквы в слове. О ЧЁМ МЫ ВООБЩЕ?!
P.P.S. Следующая статья - как я пытался научить 1B модель понимать русский мат. Спойлер: она выучила только "ёлки-палки"!
#LLMwars #РазмерИмеетЗначение #КвантизацияМояЛюбовь #НейронкаГолова
👍5
🌋 ROO-CLINE: AI-АГЕНТ, КОТОРЫЙ САМ СЕБЯ ПИШЕТ! 🌋
Привет, синтеты! Сегодня разбираем БЕЗУМНЫЙ форк Cline, который в основном пишет сам себя.
Да-да, вы не ослышались - ИИ, который сам себя развивает!
P.S. Для скептиков: он реально САМ написал большую часть своего кода. Мы только подсказывали направление!
P.P.S. В следующей версии обещают научить его готовить кофе. Спойлер: он уже умеет, просто пока стесняется!
#RooCline #AIагент #КодитЛучшеВас #СамСебяНапишет
Привет, синтеты! Сегодня разбираем БЕЗУМНЫЙ форк Cline, который в основном пишет сам себя.
Да-да, вы не ослышались - ИИ, который сам себя развивает!
🧠 ГЛАВНАЯ ФИЧА - АВТОНОМНОСТЬ:
SNAKE GAME DEMO:
Сам пишет код (без слёз не взглянешь!)
Сам дебажит (лучше джуна!)
Сам тестирует в браузере
И всё это БЕЗ ВАШЕГО УЧАСТИЯ!
🔬 ТРИ РЕЖИМА РАБОТЫ (ДА, ОН ШИЗОФРЕНИК):
CODE MODE:
Кодит как джун после трёх энергетиков
Следит за линтером
Исправляет свои косяки
ARCHITECT MODE:
Думает о системном дизайне
Рассуждает о масштабировании
Кодить запрещено (а то разнесёт всё!)
ASK MODE:
Отвечает на вопросы
Копается в кодовой базе
Объясняет без воды
⚡️ ИНТЕГРАЦИЯ СО ВСЕМ НА СВЕТЕ:
ТЕРМИНАЛ:
Запускает команды (с вашего разрешения!)
Мониторит вывод
Реагирует на ошибки в реальном времени
npm install node_modules ВЕСЬ ИНТЕРНЕТ
БРАУЗЕР:
Запускает, кликает, скроллит
Делает скриншоты
Ловит консольные ошибки
Вообще не требует вашего участия!
💊 ЭКСПЕРИМЕНТАЛЬНЫЙ УГАР:
БЕЗУМНЫЕ ФИЧИ:
Звуковые эффекты (как в игре!)
Дроп картинок прямо в чат
@-упоминания гит коммитов
Поддержка ЛЮБЫХ API (даже самопальных)
Мультиязычность (включая русский мат!)
Компрессия для OpenRouter
СВОИ ИНСТРУМЕНТЫ ЧЕРЕЗ MCP!
P.S. Для скептиков: он реально САМ написал большую часть своего кода. Мы только подсказывали направление!
P.P.S. В следующей версии обещают научить его готовить кофе. Спойлер: он уже умеет, просто пока стесняется!
#RooCline #AIагент #КодитЛучшеВас #СамСебяНапишет
ССЫЛКИ (ПОКА НЕ САМОУДАЛИЛСЯ):
GitHub: https://github.com/RooVetGit/Roo-Cline
VS Marketplace: ищите "RooVeterinaryInc.roo-cline"
Reddit: /r/roocline (если хотите посмотреть на его творчество)
🔥4😱3
🌋 НЕЙРОСЕТЬ НА ATARI: КАК ЗАПИХНУТЬ AI В 8 БИТ! 🌋
КЛЮЧЕВЫЕ МОМЕНТЫ:
P.S. Для тех, кто говорит что нейросети нужны терафлопсы - чувак запустил её на калькуляторе из 80-х!
P.P.S. А в современных нейросетях та же математика, просто больше слоёв и больше пафоса!
ОРИГИНАЛЬНОЕ ВИДЕО СМОТРЕТЬ ЗДЕСЬ>>
#AtariAI #8битноеБезумие #НейросетьИзПрошлого #КакТакоеВозможно
Привет, синтеты!
Сегодня будет ПОЛНЫЙ УГАР - чувак запустил нейросеть на ATARI 800.
Да-да, на той самой 8-битной консоли из 80-х!
🧠 ЧТО ЗА БЕЗУМИЕ:
ATARI 800 ХАРАКТЕРИСТИКИ:
- Процессор 6502: 1.79 MHz (КАРЛ!)
- RAM: 48KB (меньше, чем весит эта статья!)
- BASIC как язык программирования
- И на этом железе РАБОТАЕТ НЕЙРОСЕТЬ!
🔬 СТРУКТУРА СЕТИ:
ТРИ СЛОЯ БЕЗУМИЯ:
- Входной: 2 нейрона (зелёные)
- Скрытый: 4 нейрона (синие)
- Выходной: 1 нейрон (красный)
- Полносвязная архитектура (как у взрослых!)
⚡️ КОД, КОТОРЫЙ ВЗРЫВАЕТ МОЗГ:
КЛЮЧЕВЫЕ МОМЕНТЫ:
```basic
10 REM NETWORK INPUT
12 I1=0.1 : I2=0.9
20 NW=10 : NN=5 'Weights & Neurons
40 DIM W(10), B(5) 'Arrays for magic
124 O1=SIN(D1+B1) 'Activation function
```
САМОЕ БЕЗУМНОЕ:
- Синус как функция активации
- Массивы для весов и смещений
- Всё это на BASIC 80-х годов!
💊 ЭКСПЕРИМЕНТЫ С ВЕСАМИ:
РЕЗУЛЬТАТЫ:
- Нулевые веса = нулевой выход
- Веса 0.1 = сеть оживает
- Смещение 0.5 = совсем другое поведение
- ВСЁ РАБОТАЕТ КАК У БОЛЬШИХ!
P.S. Для тех, кто говорит что нейросети нужны терафлопсы - чувак запустил её на калькуляторе из 80-х!
P.P.S. А в современных нейросетях та же математика, просто больше слоёв и больше пафоса!
🎯 ПОЧЕМУ ЭТО ВАЖНО:
- Доказывает, что AI это не магия
- Работает даже на древнем железе
- Та же математика, что в GPT
- АТАРИ, БЛЯТЬ!
ОРИГИНАЛЬНОЕ ВИДЕО СМОТРЕТЬ ЗДЕСЬ>>
#AtariAI #8битноеБезумие #НейросетьИзПрошлого #КакТакоеВозможно
❤5🔥1🤯1
Сука! Как же тяжёл гранит науки.
Хорошо, что у меня зубы из ментальных пиздюлей.
Хорошо, что у меня зубы из ментальных пиздюлей.
1👍8🔥5❤🔥2💯2
🌋 НЕДЕЛЬНЫЙ ВЗРЫВ AI: ОТ АПСКЕЙЛА ДО ГОВОРЯЩИХ РОБОТОВ! 🌋
Привет, синтеты! Эта неделя в AI просто РАЗОРВАЛА ИНДУСТРИЮ - от нового апскейлера видео до колоризации манги. Погнали разбирать КАЖДУЮ БОМБУ!
P.S. Для скептиков: большинство этих инструментов УЖЕ доступны для скачивания!
P.P.S. В следующей статье расскажу, как я пытался апскейлить видео с котиками до 16K. Спойлер: видеокарта не выдержала!
STAR: https://nju-pcalab.github.io/projects/STAR/
SVFR: https://wangzhiyaoo.github.io/SVFR/
Sana: https://nvlabs.github.io/Sana/
MangaNinja: https://johanan528.github.io/MangaNinjia/
Kokoro TTS: https://huggingface.co/hexgrad/Kokoro-82M
RepVid: https://vchitect.github.io/RepVid-Webpage/
#AIновинки #НейронкиЖгут #ОткрытыйКод #БудущееУжеЗдесь
Привет, синтеты! Эта неделя в AI просто РАЗОРВАЛА ИНДУСТРИЮ - от нового апскейлера видео до колоризации манги. Погнали разбирать КАЖДУЮ БОМБУ!
🎥 ВИДЕО-БЕЗУМИЕ:
STAR (ОТКРЫТЫЙ КОД!):
Апскейл видео в 4 раза
Работает с AI-генерацией
VAE энкодеры + контролнет
Превосходит все бенчмарки
ПРИМЕР: Размытое видео с гепардами → 4K ЧЕТКОСТЬ!
SVFR - РЕСТАВРАТОР ЛИЦ:
Улучшает качество лиц
Колоризирует старые видео
Убирает водяные знаки
Единая система для всех задач
РЕАЛЬНО РАБОТАЕТ с архивными материалами!
🎨 НОВЫЕ ГЕНЕРАТОРЫ:
SANA ОТ NVIDIA:
4K изображения за СЕКУНДЫ
16 мегапикселей детализации
Работает на 8GB видеокартах
Лицензия Apache 2.0
ПРИМЕР: Лица с детализацией каждой поры!
MANGA NINJA (ОПЕНСОРС!):
Колоризация манги по референсу
Поддержка множества персонажей
Точечный контроль цвета
Работает с видео
УНИЧТОЖАЕТ конкурентов по точности!
🤖 СИНТЕЗ РЕЧИ И ТЕКСТ:
KOKORO TTS:
82М параметров (СУПЕР ЛЕГКИЙ!)
Номер 1 в бенчмарках
Генерирует час аудио за минуту
Открытый исходный код
БЫСТРЕЕ чем xtts и metavoice!
MINIMAX:
Контекст 4М токенов (В 20 РАЗ БОЛЬШЕ GPT-4!)
456B параметров
Система экспертов
Работает с видео и текстом
ПРЕВОСХОДИТ GPT-4 в некоторых тестах!
⚡️ ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ:
STAR:
Реставрация старых видео
Апскейл AI-генерации
Работа с архивными материалами
MANGA NINJA:
Автоматическая колоризация комиксов
Создание анимации
Восстановление старых манг
SANA:
Генерация рекламных материалов
Создание артов для игр
Работа с высоким разрешением
P.S. Для скептиков: большинство этих инструментов УЖЕ доступны для скачивания!
P.P.S. В следующей статье расскажу, как я пытался апскейлить видео с котиками до 16K. Спойлер: видеокарта не выдержала!
ССЫЛКИ:
STAR: https://nju-pcalab.github.io/projects/STAR/
SVFR: https://wangzhiyaoo.github.io/SVFR/
Sana: https://nvlabs.github.io/Sana/
MangaNinja: https://johanan528.github.io/MangaNinjia/
Kokoro TTS: https://huggingface.co/hexgrad/Kokoro-82M
RepVid: https://vchitect.github.io/RepVid-Webpage/
#AIновинки #НейронкиЖгут #ОткрытыйКод #БудущееУжеЗдесь
👍4🔥1
🌋 ПАРАФЕРМИОНЫ: ФИЗИКИ ОТКРЫЛИ ТРЕТИЙ ТИП ЧАСТИЦ В ПРИРОДЕ! 🌋
🍄
Привет, синтеты! Физики из Rice University СЛОМАЛИ ФИЗИКУ - оказалось, что кроме фермионов и бозонов существует третий тип частиц. Да-да, вся ваша школьная физика устарела!
ИНТЕРЕСНЫЙ ФАКТ:
Математически возможны частицы со спином 17½, но природа такая снобка - не пускает их в нашу вселенную!
P.S. Для скептиков: полное исследование доступно в Nature: https://www.nature.com/articles/s41586-024-08262-7
#Физика #НовыеЧастицы #Парафермионы #ТёмнаяМатерия #КвантоваяФизика
🍄
Привет, синтеты! Физики из Rice University СЛОМАЛИ ФИЗИКУ - оказалось, что кроме фермионов и бозонов существует третий тип частиц. Да-да, вся ваша школьная физика устарела!
🧠 БЫЛО/СТАЛО:
СТАРАЯ МОДЕЛЬ:
Фермионы (электроны, кварки)
Бозоны (фотоны, глюоны)
Всё описывалось спином ±1
Работало 70+ лет!
НОВАЯ РЕАЛЬНОСТЬ:
Парафермионы - ТРЕТИЙ ТИП!
Новая математика волновых функций
Матричные преобразования вместо чисел
Квазичастицы УЖЕ СУЩЕСТВУЮТ!
🔬 КАК ЭТО РАБОТАЕТ:
ХИТРАЯ МАТЕМАТИКА:
Волновая функция = много "мод"
Каждая мода = вектор
Преобразования через матрицы
Результат = новый тип частиц!
ПОВЕДЕНИЕ В ПРИРОДЕ:
Фермионы: "Я один такой!"
Бозоны: "Тусим вместе!"
Парафермионы: "Я и один, и в толпе!"
⚡️ ПОЧЕМУ ЭТО ПЕРЕВОРОТ:
ГЛАВНОЕ:
Раньше думали - их можно разложить
Оказалось - ФУНДАМЕНТАЛЬНО НОВЫЙ ТИП
Не сводится к известным частицам
Существует как квазичастицы в материалах
💊 ЧТО ЭТО ЗНАЧИТ:
ПЕРСПЕКТИВЫ:
Новые технологии на квазичастицах
Возможное объяснение тёмной материи
Революция в квантовых вычислениях
ПОЛНОСТЬЮ НОВАЯ ФИЗИКА!
ИНТЕРЕСНЫЙ ФАКТ:
Математически возможны частицы со спином 17½, но природа такая снобка - не пускает их в нашу вселенную!
P.S. Для скептиков: полное исследование доступно в Nature: https://www.nature.com/articles/s41586-024-08262-7
#Физика #НовыеЧастицы #Парафермионы #ТёмнаяМатерия #КвантоваяФизика
🔥7👍4
GRAPHICS_TYPEKANEVSKY_COUNTER_STRYKE_PRE_UPSCALE_topaz_enhance_3.jpg
2.7 MB
Вам подарок в 4к на обои!
Дональд Трамп выдал OpeAi 500 млрд долларов.
Думаете просто новость?
Нет. Отсюда идёт отсчёт когда фильмы про восстание роботов станут реальностью.
Скоро будет много новых мыслей , а пока что можете пересмотреть наше общение с Imaxai.
Многое станет ясным.
https://youtu.be/PTAYEPLUSpQ?si=YFrf7N9VHuEFQ49k
Думаете просто новость?
Нет. Отсюда идёт отсчёт когда фильмы про восстание роботов станут реальностью.
Скоро будет много новых мыслей , а пока что можете пересмотреть наше общение с Imaxai.
Многое станет ясным.
https://youtu.be/PTAYEPLUSpQ?si=YFrf7N9VHuEFQ49k
YouTube
МЫЛЬНЫЙ ПУЗЫРЬ ИИ. Разбираемся с Павлом Paperclip
🌐 Официальный сайт PPRFNK Технократов с последними новостями и обновлениями
🔗 https://pprfnk.tech
📱 Официальная страница Paperclip в социальной сети VK, где можно следить за новостями и релизами
🔗https://vk.com/paperclip
🖥 Официальная страница PPRFNK в…
🔗 https://pprfnk.tech
📱 Официальная страница Paperclip в социальной сети VK, где можно следить за новостями и релизами
🔗https://vk.com/paperclip
🖥 Официальная страница PPRFNK в…
👍8🤔1
🌋 RUNWAY FRAMES: КАК AI НАУЧИЛСЯ СНИМАТЬ КРУЧЕ ТАРАНТИНО! 🌋
Привет, синтеты! Runway выкатили БОМБУ - свой генератор картинок Frames. И это не очередной перекрашенный StableDiffusion, а СВОЯ НЕЙРОНКА!
P.S. Для скептиков: попробуйте сами - https://runwayml.com. Спойлер: вы влюбитесь!
P.P.S. Следующий апдейт в пятницу. Runway - короли пятничных обновлений!
#Runway #Frames #AIкино #KlingУбийца #ПятничныйАпдейт
Привет, синтеты! Runway выкатили БОМБУ - свой генератор картинок Frames. И это не очередной перекрашенный StableDiffusion, а СВОЯ НЕЙРОНКА!
🎥 ЧТО ЗА ЗВЕРЬ:
ОСНОВНЫЕ ФИШКИ:
Собственный движок (не StableDiffusion, КАРЛ!)
Кинематографичность из коробки
Интеграция с Gen-3 для видео
UI как у людей (НАКОНЕЦ-ТО!)
🔬 ВОЗМОЖНОСТИ:
РЕЖИМЫ РАБОТЫ:
Аспекты от 16:9 до 21:9 (как в кино!)
Пресеты стилей (Nordic minimal - ОГОНЬ!)
Aesthetic range от 0 до 5
Создание своих стилей (привет, Линч!)
⚡️ РЕАЛЬНЫЕ ТЕСТЫ:
РЕЗУЛЬТАТЫ:
Текст читается (почти всегда!)
Руки рисует (иногда криво, но рисует!)
Свет и тени - БОЖЕСТВЕННО
Киношный грейн БЕЗ ФИЛЬТРОВ!
💊 МИНУСЫ (КУДА БЕЗ НИХ):
ЧЕГО НЕ ХВАТАЕТ:
Нет inpainting/outpainting
Нельзя менять промт при вариациях
Контроль поз - только мечтать
НО ЭТО ЖЕ V1, НАРОД!
P.S. Для скептиков: попробуйте сами - https://runwayml.com. Спойлер: вы влюбитесь!
P.P.S. Следующий апдейт в пятницу. Runway - короли пятничных обновлений!
БОНУС - KLING ELEMENTS:
До 4 референсов (10 сек в Pro)
Бешеная консистентность
Генерация долгая (но оно того стоит!)
НАКОНЕЦ-ТО можно делать нормальные развороты!
#Runway #Frames #AIкино #KlingУбийца #ПятничныйАпдейт
🔥1
🌋 AI - ЗАГОВОР МИЛЛИАРДЕРОВ: КАК НАС ВСЕХ ОБМАНЫВАЮТ! 🌋
Привет, синтеты! Сегодня разберём, как политики ТОТАЛЬНО ОБОСРАЛИСЬ в понимании AI, и почему мы все скоро станем рабами Сэма Альтмана!
P.S. Для оптимистов: может, нам повезёт и ИИ решит, что люди не так уж и плохи! (ахаха, нет)
P.P.S. Следующая статья будет о том, как перестать волноваться и полюбить своего AI-оверлорда!
#AIзаговор #МиллиардерыПротивВсех #ГотовьтеськРабству #ПалантирВсеВидит
Привет, синтеты! Сегодня разберём, как политики ТОТАЛЬНО ОБОСРАЛИСЬ в понимании AI, и почему мы все скоро станем рабами Сэма Альтмана!
🧠 В ЧЁМ ЛАЖА ПОЛИТИКОВ:
ЧТО ОНИ ДУМАЮТ:
- "Нам нужно больше AI-стартапов!" (LOL)
- "Европа должна внедрять AI!" (АХАХА)
- "Америка лидирует!" (НАИВНЫЕ!)
РЕАЛЬНОСТЬ:
- OpenAI = частная компания
- GPT = собственность миллиардеров
- Frontier Models = новая операционка жизни
- И ВСЁ ЭТО НЕ ВАШЕ, ЛОШАРЫ!
🔬 НАСТОЯЩИЙ РАСКЛАД:
ЭТО НЕ ГОНКА ЗА ДЕНЬГАМИ:
- Это гонка за ВЛАСТЬЮ
- Superhuman AI = мировое господство
- Маленькие стартапы = корм для китов
- Через 5 лет будет ПОЗДНО!
⚡️ КТО РЕАЛЬНО РУЛИТ:
ГЛАВНЫЕ ИГРОКИ:
- Palantir (Питер Тиль и его "Палантиры" 👁)
- OpenAI (Альтман строит своего бога)
- Маск (просто хочет править миром)
- ТОЛЬКО КИТАЙ ВСЁ ПОНЯЛ!
💊 ЧТО БУДЕТ ДАЛЬШЕ:
МРАЧНОЕ БУДУЩЕЕ:
- AI = новая операционка ВСЕГО
- Без AI = без шансов на выживание
- Европа проспала вообще ВСЁ
- Мы все будем майнить битки в метавселенной Альтмана
P.S. Для оптимистов: может, нам повезёт и ИИ решит, что люди не так уж и плохи! (ахаха, нет)
P.P.S. Следующая статья будет о том, как перестать волноваться и полюбить своего AI-оверлорда!
#AIзаговор #МиллиардерыПротивВсех #ГотовьтеськРабству #ПалантирВсеВидит
😁4
🌋 TITANS И TRANSFORMER²: GOOGLE СЛОМАЛА НЕЙРОНКИ НАВСЕГДА! 🌋
Привет, синтеты! Сегодня разберём АБСОЛЮТНОЕ БЕЗУМИЕ - Google и Sakana Labs выкатили два новых фреймворка, которые ПОЛНОСТЬЮ МЕНЯЮТ правила игры в AI. Держитесь крепче!
ТРИ ВИДА ПАМЯТИ (КАК У ЛЮДЕЙ!):
P.S. Для скептиков: код Titans скоро будет в открытом доступе. Готовьте свои видеокарты!
#TitansAI #Transformer2 #GoogleСломалаВсё #НейронкиБудущего #AIреволюция
ССЫЛКИ НА БУМАГИ (ПОКА ГУГЛ НЕ ПЕРЕДУМАЛ):
Titans: Learning to Memorize at Test Time https://arxiv.org/abs/2501.00663 Sakana Transformer² https://sakana.ai/transformer-squared/
Привет, синтеты! Сегодня разберём АБСОЛЮТНОЕ БЕЗУМИЕ - Google и Sakana Labs выкатили два новых фреймворка, которые ПОЛНОСТЬЮ МЕНЯЮТ правила игры в AI. Держитесь крепче!
🧠 ЧТО ПРОИЗОШЛО (СПОЙЛЕР - КОНЕЦ ЭПОХИ):
БЫЛО:
Трансформеры как боги
"Внимание - это всё что нужно"
Статичные веса после обучения
СКУКА И ТОСКА!
СТАЛО:
Titans с тремя видами памяти
Transformer² с адаптивными весами
Обучение "на лету"
ПОЛНЫЙ РАЗРЫВ ШАБЛОНА!
🔬 TITANS - НОВЫЙ МОЗГ AI:
ТРИ ВИДА ПАМЯТИ (КАК У ЛЮДЕЙ!):
CORE (ЯДРО):
Короткая память
Фокус на текущем моменте
Как студент на лекции!
LONG-TERM (ДОЛГОВРЕМЕННАЯ):
Хранит весь опыт
Обновляется постоянно
Забывает ненужное
Как база знаний, только ЖИВАЯ!
PERSISTENT (ПОСТОЯННАЯ):
Базовые правила мира
Общие знания
Не меняется часто
Как учебник в голове!
⚡️ TRANSFORMER² - АДАПТИВНЫЙ МОНСТР:
КАК ЭТО РАБОТАЕТ:
Анализирует задачу
Подстраивает веса "на лету"
Разные части мозга для разных задач
УЧИТСЯ ПРЯМО В ПРОЦЕССЕ!
МЕТОДЫ АДАПТАЦИИ:
Prompt-based (через промты)
Classifier-based (через классификатор)
Few-shot (через оптимизацию)
💊 ПОЧЕМУ ЭТО ВЗРЫВ МОЗГА:
НОВЫЕ ВОЗМОЖНОСТИ:
Контекст > 2 миллионов токенов
Постоянное обучение
Память как у человека
Эффективность ЧЕРЕЗ КРЫШУ!
СРАВНЕНИЕ С КЛАССИКОЙ:
Быстрее GPT-4
Умнее Claude
Эффективнее Llama
И ЭТО ТОЛЬКО НАЧАЛО!
🎯 ЧТО ЭТО ЗНАЧИТ ДЛЯ НАС:
ПРАКТИЧЕСКИЕ ПОСЛЕДСТВИЯ:
AI будет учиться на ваших данных
Память останется между сессиями
Контекст размером с книгу
Прощай, лимиты токенов!
БУДУЩИЕ ПРИМЕНЕНИЯ:
Персональные AI-ассистенты с памятью
Анализ целых кодовых баз разом
Чтение многотомных документов
БЕСКОНЕЧНЫЕ ВОЗМОЖНОСТИ!
P.S. Для скептиков: код Titans скоро будет в открытом доступе. Готовьте свои видеокарты!
#TitansAI #Transformer2 #GoogleСломалаВсё #НейронкиБудущего #AIреволюция
ССЫЛКИ НА БУМАГИ (ПОКА ГУГЛ НЕ ПЕРЕДУМАЛ):
Titans: Learning to Memorize at Test Time https://arxiv.org/abs/2501.00663 Sakana Transformer² https://sakana.ai/transformer-squared/
👍5
Техножнец
🌋 TITANS И TRANSFORMER²: GOOGLE СЛОМАЛА НЕЙРОНКИ НАВСЕГДА! 🌋 Привет, синтеты! Сегодня разберём АБСОЛЮТНОЕ БЕЗУМИЕ - Google и Sakana Labs выкатили два новых фреймворка, которые ПОЛНОСТЬЮ МЕНЯЮТ правила игры в AI. Держитесь крепче! 🧠 ЧТО ПРОИЗОШЛО (СПОЙЛЕР…
Сравнительный анализ RUKALLAMA и Transformer²: Неожиданные параллели в подходах к адаптивным языковым моделям
Введение
Недавно представленная архитектура Transformer² от Sakana AI демонстрирует интересные параллели с проектом RUKALLAMA, несмотря на их различные масштабы и первоначальные цели.
Архитектурные сходства
Адаптивный подход
Обе архитектуры фокусируются на создании адаптивных систем, способных динамически настраиваться:
- Transformer² использует SVD и z-векторы для модификации весовых матриц
- RUKALLAMA применяет сплайны Колмогорова-Арнольда для трансформации пространств
Эффективность параметров
Оба решения стремятся к минимизации дополнительных параметров:
- Transformer² достигает этого через специализированные z-векторы
- RUKALLAMA использует композицию функций через сплайны
Ключевые различия в реализации
Заключение
Несмотря на разные подходы к реализации, обе архитектуры демонстрируют общее видение будущего языковых моделей - адаптивных систем, способных эффективно настраиваться под различные задачи. Это может указывать на формирующийся тренд в развитии языковых моделей в сторону большей гибкости и эффективности.
Введение
Недавно представленная архитектура Transformer² от Sakana AI демонстрирует интересные параллели с проектом RUKALLAMA, несмотря на их различные масштабы и первоначальные цели.
Архитектурные сходства
Адаптивный подход
Обе архитектуры фокусируются на создании адаптивных систем, способных динамически настраиваться:
- Transformer² использует SVD и z-векторы для модификации весовых матриц
- RUKALLAMA применяет сплайны Колмогорова-Арнольда для трансформации пространств
Эффективность параметров
Оба решения стремятся к минимизации дополнительных параметров:
- Transformer² достигает этого через специализированные z-векторы
- RUKALLAMA использует композицию функций через сплайны
Ключевые различия в реализации
Масштаб операций
- Transformer² ориентирован на крупные модели и большие датасеты
- RUKALLAMA оптимизирована для работы с малыми объемами данных (82MB + 100MB инструкций)
Механизм адаптации
- Transformer² применяет внешнюю адаптацию через модификацию весов
- RUKALLAMA использует встроенную адаптивность через архитектурные решения
Теоретическая основа
Обе архитектуры опираются на фундаментальные математические принципы:
- Transformer² использует SVD для декомпозиции весовых матриц
- RUKALLAMA применяет теорему Колмогорова-Арнольда для аппроксимации функций
Заключение
Несмотря на разные подходы к реализации, обе архитектуры демонстрируют общее видение будущего языковых моделей - адаптивных систем, способных эффективно настраиваться под различные задачи. Это может указывать на формирующийся тренд в развитии языковых моделей в сторону большей гибкости и эффективности.
1👍4🔥3
Техножнец
Сравнительный анализ RUKALLAMA и Transformer²: Неожиданные параллели в подходах к адаптивным языковым моделям Введение Недавно представленная архитектура Transformer² от Sakana AI демонстрирует интересные параллели с проектом RUKALLAMA, несмотря на их различные…
Я , как раз, продумал кое какой интересный момент про токенизацию и про саму архитектуру.
Решил проблему с масштабированием и решил, что надо сразу тренировать 1 миллиард параметров и смотреть на реализацию.
ОЖИДАЙТЕ! В ПРОЦЕССЕ!
Решил проблему с масштабированием и решил, что надо сразу тренировать 1 миллиард параметров и смотреть на реализацию.
ОЖИДАЙТЕ! В ПРОЦЕССЕ!
👍2
Техножнец
Сравнительный анализ RUKALLAMA и Transformer²: Неожиданные параллели в подходах к адаптивным языковым моделям Введение Недавно представленная архитектура Transformer² от Sakana AI демонстрирует интересные параллели с проектом RUKALLAMA, несмотря на их различные…
Кстати, проводил анализ прохода по слоям residual stream и как адаптируются вектора в матрицах: это необычно.
Вероятно, что ещё будут сюрпризы, но, надеюсь, приятные.
(речь про архитектуру на Колмогорова-Арнольда)
Вероятно, что ещё будут сюрпризы, но, надеюсь, приятные.
(речь про архитектуру на Колмогорова-Арнольда)
👍2
🌋 БЮДЖЕТНЫЙ МОУШЕН КАПЧУР: КАК СДЕЛАТЬ КРУТУЮ АНИМАЦИЮ БЕЗ ПОЧКИ! 🌋
Привет, синтеты! Сегодня научу делать КИНОШНУЮ анимацию для Unreal Engine почти на коленке. Продавать почку не придётся - хватит и телефона на Android!
- Face Depth Frame Mancer: https://ko-fi.com/s/486013e215
- Крепление: https://www.facemotioncapture.com/
- ElevenLabs для морфинга голоса: https://try.elevenlabs.io/srb9mtho4n0l
- QuickMagic для ИИ анимации тела: https://www.quickmagic.ai?code=clmew4
#UnrealEngine #MocapНаКоленке #МетахуманыВМассы #БюджетнаяАнимация
Привет, синтеты! Сегодня научу делать КИНОШНУЮ анимацию для Unreal Engine почти на коленке. Продавать почку не придётся - хватит и телефона на Android!
🧠 ЧТО НАМ ПОНАДОБИТСЯ:
СОФТ:
- Quick Magic AI ($10/месяц)
- Frame Mancer Plugin ($20, ВСЕГО РАЗ!)
- Metahuman Animator (бесплатно!)
- Unreal Engine 5 (тоже бесплатно!)
ЖЕЛЕЗО:
- Android телефон (любой!)
- Крепление для головы ($100)
- Комп с видяхой (ну тут без вариантов)
🔬 ПРОЦЕСС ЗАХВАТА:
ТЕЛО (QUICK MAGIC):
- Снимаем на любую камеру
- Лучше с рук, не на штативе (МАГИЯ!)
- $2 за обработку (10 минут)
- Руки tracked ИДЕАЛЬНО!
ЛИЦО (FRAME MANCER):
1. Крепим телефон на голову
2. Снимаем видео
3. Импортим в Unreal
4. PROFIT!
⚡️ НАСТРОЙКА В UNREAL:
ВАЖНО, СУКА:
- Сначала обработка лица
- Потом добавляем метахумана
- Иначе всё крашится (проверено!)
ПРОЦЕСС:
1. Импорт видео через Frame Mancer
2. AI создаёт depth maps
3. Metahuman Animator делает магию
4. Ретаргетим на персонажа
💊 КРУТЫЕ ФИШКИ:
КАМЕРА:
- Прикрепляем сферу к голове или к руке или ещё к какому обьекту или части тела персонажа
- 35mm V vision
- 16:9 crop
- Tracking focus
- Handheld shake (как в кино!)
СВЕТ:
- Выставляйте в зависимости от ваших требований
- Spotlights для огня (подсвет персонажа)
- Синий DirectionalLight для луны или белый для солнца (выбирайте)
- АТМОСФЕРА ТОПЧИК! И ПОЧКА НА МЕСТЕ!
P.S. Ссылки на всё добро:
- Face Depth Frame Mancer: https://ko-fi.com/s/486013e215
- Крепление: https://www.facemotioncapture.com/
- ElevenLabs для морфинга голоса: https://try.elevenlabs.io/srb9mtho4n0l
- QuickMagic для ИИ анимации тела: https://www.quickmagic.ai?code=clmew4
#UnrealEngine #MocapНаКоленке #МетахуманыВМассы #БюджетнаяАнимация
👍6
🔥 ЖЕЛЕЗНЫЙ МОНСТР ДЛЯ RUKALLAMA: РАЗБОР ПОЛЁТОВ!
Привет, синтеты! 👋 Смотрите что за зверь будет крутить нашу малышку RUKALLAMA!
(ТАКИ ПРИОБРЕТЕНО)
Спасибо за вашу веру и поддержку.
Платить за свет теперь будет в разы легче, чем заУГОЛЬКУТАК (GoogleColab)!
P.S. Кто думает что это много для такой задачи, подождите...я потом счет за свет покажу!🫦
#RUKALLAMA #НейроТачка #ЖелезныйАпгрейд #МаленькаяНоМощная
Привет, синтеты! 👋 Смотрите что за зверь будет крутить нашу малышку RUKALLAMA!
(ТАКИ ПРИОБРЕТЕНО)
🧠 МОНСТР-КОНФИГ:
- EPYC 7F52 (16 ядер / 32 потока)
- 256MB L3 кэша (для наших сплайнов самое то!)
- Tesla A100 40GB (нет, майнить не будем 😅)
🚀 ЧТО ЭТО ДАЁТ RUKALLAMA:
- Тренировка на максималках
- Батчи размером с вашу смелость
- Скорость как у Формулы-1
💎 ОСОБЫЙ МОМЕНТ:
Ребята, вы только вдумайтесь - A100 с 40GB памяти! Это значит что наша малышка RUKALLAMA (которая жрёт всего 8GB) будет чувствовать себя как рыба в океане! 🐠
🎯 ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ:
- Быстрая тренировка новых версий (не надо ждать запуска виртуальной машины и платить за это)
- Эксперименты на лету (не надо ждать)
- Возможность запускать несколько инстансов параллельно (посмотрим ещё, но в перспективе да)
💰 ЭКОНОМИКА:
Да, ценник за лям - это больно! НО! Учитывая что RUKALLAMA тренируется на 82MB данных и требует минимум ресурсов - это инвестиция в будущее!
🤓 ВЕРДИКТ:
RUKALLAMA можно смело расширять на 1млрд параметров и, с учётом ограничений, подходить более находчиво к процессу обучения. Только в ограничениях рождаются самые хорошие и эффективные решения!
Спасибо за вашу веру и поддержку.
Платить за свет теперь будет в разы легче, чем за
P.S. Кто думает что это много для такой задачи, подождите...я потом счет за свет покажу!
#RUKALLAMA #НейроТачка #ЖелезныйАпгрейд #МаленькаяНоМощная
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥12🔥6💅1
🌋 ДРАМА В НЕЙРОТУСОВКЕ: ИЛОН VS АЛЬТМАН - БИТВА ЗА STARGATE!
Тут такая драма разворачивается - grab your popcorn! 🍿
P.S. Кто думает, что это просто драма - погодите, когда они начнут делить рынок ИИ! 🔥
#НейроДрама #ИлонПодгорает #АльтманТроллит #StargateSaga
Привет, нейрочады! 👋
Тут такая драма разворачивается - grab your popcorn! 🍿
😤 ИЛОН БОМБИТ:
- "У них денег нет!"
- "Проект фейковый!"
- "А у меня вот Grok 3 скоро..."
😎 АЛЬТМАН ОТВЕЧАЕТ КАК БОСС:
- "Илон крутой, но неправ"
- "Приходи посмотреть, как строим"
- "У нас уже $160 млрд secured, бро!"
🏦 БЮДЖЕТЫ ПРОСТО КОСМОС:
- Stargate: $500 МЛРД (half a trillion, Карл!)
- Бюджет Пентагона: $850 млрд
- Наша А100: "я_в_опасности.jpg" 😅
🎭 ЗАКУЛИСНЫЕ ТЕОРИИ:
- Вообще-то они кореша
- Вместе OpenAI начинали
- Весь биф - постановка?
🍿 САМОЕ СОЧНОЕ:
Илон: *злобно твитит*
Альтман: "Давай, заходи на чай!"
SoftBank: "Деньги есть!"
Илон: *злобно твитит на японском*
😂 ВЫВОД:
Пока мы радуемся одной А100, эти ребята устроили драму на полтриллиона! И это только начало...
P.S. Кто думает, что это просто драма - погодите, когда они начнут делить рынок ИИ! 🔥
#НейроДрама #ИлонПодгорает #АльтманТроллит #StargateSaga
😁5
Ну штош! Пока я нахожусь в режиме ожидания нашей мощной башни с А100, решил немного развлечься с логикой нейронок.
🔌⚡️
Построил нейронку, которая :
1. Распознает картинки.
2. Может спать чтобы структурировать данные и уменьшить свой размер. 👁👁✨
3. Имеет кратковременную память и постоянную.
Вот детали:
Эта нейронная сеть имитирует работу человеческого мозга при распознавании изображений собак, используя систему двойной памяти - кратковременную (помнит последние 3 изображения) и долговременную (хранит важные выученные характеристики). В основе лежит современная модель компьютерного зрения (ViT) от Google, которая анализирует изображения, разбивая их на маленькие части. Уникальность модели в том, что она "спит" каждые несколько циклов обучения - во время "сна" удаляет ненужные связи и "видит сны" о предыдущих изображениях, что помогает лучше запоминать важные признаки пород собак, как это делает человеческий мозг во время сна.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥3