🌋 ДРАМА В НЕЙРОТУСОВКЕ: ИЛОН VS АЛЬТМАН - БИТВА ЗА STARGATE!

Привет, нейрочады! 👋 

Тут такая драма разворачивается - grab your popcorn! 🍿

😤 ИЛОН БОМБИТ:

- "У них денег нет!"
- "Проект фейковый!"
- "А у меня вот Grok 3 скоро..."

😎 АЛЬТМАН ОТВЕЧАЕТ КАК БОСС:

- "Илон крутой, но неправ"
- "Приходи посмотреть, как строим"
- "У нас уже $160 млрд secured, бро!"

🏦 БЮДЖЕТЫ ПРОСТО КОСМОС:

- Stargate: $500 МЛРД (half a trillion, Карл!)
- Бюджет Пентагона: $850 млрд
- Наша А100: "я_в_опасности.jpg" 😅

🎭 ЗАКУЛИСНЫЕ ТЕОРИИ:

- Вообще-то они кореша
- Вместе OpenAI начинали
- Весь биф - постановка?

🍿 САМОЕ СОЧНОЕ:

Илон: *злобно твитит*
Альтман: "Давай, заходи на чай!"
SoftBank: "Деньги есть!"
Илон: *злобно твитит на японском*

😂 ВЫВОД:

Пока мы радуемся одной А100, эти ребята устроили драму на полтриллиона! И это только начало...

P.S. Кто думает, что это просто драма - погодите, когда они начнут делить рынок ИИ! 🔥

#НейроДрама #ИлонПодгорает #АльтманТроллит #StargateSaga

🔄 На всякий случай запустил параллельно ещё одну версию

📊 Как получится, покажу метрики и точность

🧠 Это очень интересный эксперимент, если в этом будет цимес

🔬 то я продолжу исследования биомеметических моделей нейронок

🔧 Это очень кастомная тема
🧬 Она требует понимания на уровне нейробиологии
❓ Что приходится изучать?
🐁 Огромное количество видео с визуализациями экспериментов мышей
⚡️ Работа нейронов, аксонов, сигналы кортекса - это очень крутые штуки
🌐 Обширная область когнитивных искажений, восприятия, генеративных моделей мозга и так далее

💻 Сама область предсказаний чего стоит, поэтому очень хочется углубиться в это и найти перекликание в математике или python

# 📊 SLEEPNET: Анализ обучения

📈 Прогресс модели
*Увеличивает точность с каждой эпохой, но LOSS стабильно держится. Вероятно, что это некое плато.*

⚙️ Корректировка подхода
*Именно поэтому я поставил более медленное обучение, потому что может быть перескакивание нужных мест обобщений для модели. Что не очень грамотно!*

🔍 Заключение
Детали, детали, детали!

🌙 Объяснение сна в нейронной сети
Просто, скажем так, моё видение сна таким образом:
Представьте, что сон нейронной сети - это особый режим работы, похожий на человеческий сон, где происходит несколько важных процессов:
🌿 Прунинг (очистка)
Как садовник обрезает слабые ветки, так и нейронная сеть во время "сна" удаляет малозначимые связи. Это помогает:

Уменьшить размер сети
Сохранить только важные связи
Улучшить эффективность работы

💭 "Сновидения" (реактивация)
Сеть "просматривает" предыдущие изображения собак, как человек во сне перебирает дневные впечатления:

Повторно обрабатывает важные признаки
Укрепляет значимые связи
Переносит информацию из кратковременной памяти в долговременную

🔄 Структуризация
Во время "сна" происходит упорядочивание данных:

Группировка схожих признаков
Выделение ключевых характеристик
Оптимизация хранения информации

Именно так нейронная сеть учится эффективнее распознавать породы собак, становясь компактнее и точнее с каждым циклом сна.

Что в итоге?

SLEEPNET KAN

В итоге сделал на Колмогорова-Арнольда модель зрения.
Будет учиться разбирать породы собак.

Есть момент, где можно оптимизироваться.

# SLEEPNET KAN: Трансформер со сном

SLEEPNET KAN представляет собой биоинспирированную архитектуру Vision Transformer для классификации изображений. Ключевая особенность - имитация процессов сна и памяти человеческого мозга. Модель содержит около 300 миллионов параметров и использует двойную систему памяти: кратковременную (хранит 30 последних изображений) и долговременную (сохраняет статистику весов).

СОН

Каждые 5 эпох модель входит в "фазу сна", где происходит несколько важных процессов: очистка кратковременной памяти, удаление слабых нейронных связей (прунинг), синхронизация с долговременной памятью и "сновидения" - повторное проигрывание предыдущего опыта с добавлением шума. Это помогает модели лучше обобщать данные и избегать переобучения.

АРХИТЕКТУРА

Вместо стандартных линейных слоев в архитектуре используются сплайны Колмогорова-Арнольда - специальные нейронные структуры с внутренними и внешними функциями, способные лучше аппроксимировать сложные зависимости. Механизм внимания также модифицирован: использует сплайновые преобразования для Q, K, V проекций и включает 12 голов внимания.

СВОЙСТВА

Модель демонстрирует несколько уникальных свойств: темпоральную связность (использование информации из предыдущих изображений), самооптимизацию через "сон", адаптивность к изменениям в данных и эффективную регуляризацию. Для оптимизации вычислений используется смешанная точность (mixed precision) и аккумуляция градиентов, что позволяет эффективно обрабатывать большие батчи данных.

#AI #MachineLearning #NeuralNetworks #ComputerVision

Отчитываюсь: модель поспала.

уже чето снова копошится с собаками!

Ну, типа.

Я тут новый тип визуального трансформера сделал...все дела.

Новые знания - новая скорбь.

Всем вам большой от меня - ПРИВЕТ.

Я нащупал нужный конфиг.

Теперь буду тренировать до упора: 97%

Смотрите:

Модель "поспала" и результат на след "утро" закрепился.

до сна: Точность: 3.74%
после сна: Точность: 3.94%

Причем по времени "сон" занимает в 30 раз меньше , чем тренировка, а по результатам работает примерно также. Т.е. это интересный рабочий подход.

ШТОШ! ЭКСПЕРИМЕНТ НЕУДАЧНЫЙ!

Потери лютые.
Спать нейронки по моим правилам не умеют.

Техножнец: Краткий Обзор для Тех, Кому Лень Читать

Кто: Павел, 37 лет, музыкант, ставший IT-шником.
Что: Канал про AI, технологии, нейронки, программирование.
Как: Честно, без хайпа, с матом и юмором.

Главный проект: RuKaLLaMA - русская языковая модель на советских текстах.
Цель: Создать мощную и независимую LLM, обученную на качественных данных.

Проекты:

"Исследования в 1 клик" - быстрый анализ любых тем.
"Fyzcoin" - майнинг крипты за упражнения.
"Настя" - AI-помощник для @dailyneuro.
AI OVERLAY - программа для чатинга с LLM (нашего спеца проект).
Генератор таблиц.
Модель для удаления штампов с документов.
Распознавание упражнений.
Распознавание таблиц.
Переводчик для стримов.
Автоматический суммаризатор.

Фишки:

Тестирование новых технологий (Qwen, Gemini, SORA, KREA, etc.).
Обзоры ИИ-новостей и инструментов.
Критика хайпа и "еблоторговли".
Много экспериментов и исследований.
Свои разработки и проекты.
Юмор, мат, авторский стиль.

Для кого: Для тех, кто интересуется AI, но не хочет читать скучные статьи.

Короче: Техножнец делает крутые штуки с нейронками, делится результатами и не боится говорить правду.

Подписывайся, если:

Тебе интересен AI.
Ты устал от скучных обзоров.
Хочешь быть в курсе последних разработок.
Любишь честный и неформальный подход.

Не подписывайся, если:

Ты не любишь мат.
Тебе нужна только сухая информация.
Ты не готов к экспериментам.
Ты работаешь в OpenAI.
Короче, Техножнец - это про AI без купюр и с огоньком!

Техножнец: УЛЬТРА КРАТКО!

Кто: Павел, 37 лет, музыкант, ставший IT-шником.
Что: Канал про AI, технологии, нейронки, программирование.
Как: Честно, без хайпа, с матом и юмором.

Главный проект: RuKaLLaMA - русская языковая модель (аналог ChatGPT) на советских текстах.
Цель: Создать мощную и независимую LLM, обученную на качественных данных.

Касаемо нашей любимой нейросетки RUKALLAMA!

Помните? Я просил вас накинуть данных для обучения.
Мы скачали, в 4 смычка это делали....ну ...там гб 400 получилось.

Теперь мне надо будет сделать вот что: (во первых перевести pdf в текст, далее починить нейронкой поврежденные текста)

1) Перевести каждый учебник и книгу в размеченную инструкцию. (не одну)
2) Отдельно перевести учебники русского языка в обширные инструкции чтобы модель одупляла почти всё.
3) Подвергнуть анализу корпус языка "НКРЯ" и выбрать оттуда наилучшие тексты для работы.
4) Всё сверять с бумагами от DEEPSEEK V3 , R1 и прочих других.

Я буду держать вас в курсах насчет разработки.
Ничего не стоит на месте - всё очень стремительно развивается!

Как только приступим к тренировке модели с нуля на 1млрд параметров, но уже с учетом косяков и исправлений, тогда и сразу же вам сообщу обо всех деталях происходящего с RUKALLAMA!

🌋 НЕДЕЛЯ AI-БЕЗУМИЯ: КИТАЙЦЫ, NETFLIX И DEEPSEEK ВЗРЫВАЮТ МОЗГ! 🌋

Привет, синтеты! Эта неделя в AI просто СНЕСЛА КРЫШУ. Десять новых нейронок, и все ОПЕНСОРС! Погнали разбирать этот ТЕХНОЛОГИЧЕСКИЙ ПЕРЕДОЗ!

🧠 ЧАСТЬ 1: 3D И ВИДЕО БЕЗУМИЕ

HUNYUAN 3D-2 (КИТАЙСКИЙ МОНСТР):

Генерит 3D из текста за СЕКУНДЫ
2.6B параметров (как у GPT в туалете!)
Разделяет форму и текстуру
УНИЧТОЖИЛ Microsoft в тестах
https://3d-models.hunyuan.tencent.com/

NETFLIX "GO WITH THE FLOW":

Двигаешь объекты в видео КАК ХОЧЕШЬ
Меняешь размеры НА ЛЕТУ
Warped noise магия
First frame editing = РАЗРЫВ ШАБЛОНА
https://eyeline-research.github.io/Go-with-the-Flow/

DREAM CATALYST (NERF НА СТЕРОИДАХ):

Превращает людей в кого угодно
Меняет времена года в 3D
Идеально для игр и VR
Neural Radiance Fields = МАГИЯ!

🔬 ЧАСТЬ 2: СТИРАТЕЛИ РЕАЛЬНОСТИ

DIFFUERASER (ФОТОШОП НА МАКСИМАЛКАХ):

Удаляет объекты из видео ИДЕАЛЬНО
Temporal attention (не спрашивайте как!)
Работает с несколькими объектами
https://lixiaowen-xw.github.io/DiffuEraser-page/

⚡️ ЧАСТЬ 3: AI АГЕНТЫ (ВОССТАНИЕ МАШИН)

UI-TARS (АВТОМАТИЗАТОР ИЗ АДА):

Работает с ЛЮБЫМ софтом
Автоматизирует ВСЁ
Открытый код от ByteDance
УНИЧТОЖАЕТ GPT-4 в тестах
https://github.com/bytedance/UI-TARS-desktop

OPERATOR ОТ OPENAI:

Только браузер (лол, слабаки!)
Спрашивает разрешения на ВСЁ
Нужна подписка за $20
https://openai.com/index/introducing-operator/

💊 ЧАСТЬ 4: НОВЫЕ МОНСТРЫ AI

DEEPSEEK R1:

Бьёт OpenAI O1 как ребёнка
Полностью открытый код
Reinforcement learning РУЛИТ
https://github.com/deepseek-ai/DeepSeek-R1/tree/main

KIMI K1.5:

Multimodal монстр
Тоже бьёт O1 (ТРЕНД, ОДНАКО!)
Vision + Text в одном флаконе
https://github.com/MoonshotAI/kimi-k1.5?tab=readme-ov-file

🎯 БОНУС: GOOGLE БЕЗУМИЕ

TOKEN-VERSE:

Миксует объекты из разных картинок
Переносит стили и позы
Скоро будет открытый код
Уже можно тестить!

VIDEO DEPTH ANYTHING:

Глубина в видео БЕЗ ЛИДАРА
28M параметров (КАРЛИК!)
Работает на калькуляторе
Точнее всех конкурентов

P.S. Для тех, кто думал, что AI замедлился - как вам такая неделька?!

#AIбезумие #НейронкиЖгут #КитайцыВпереди #OpenSourceРулит #ПочкаПодождет