КОРОЧЕ, КАКОЙ ПЛАН:

1) Добавлено кол-во слоёв треубемое для кол-ва параметров в 1B
2) Переработан токенизатор чтобы работал адекватно с последовательностями (точность высокая)
3) Добавлю механизм длинного контекста как в новом вышедшем QWEN на 1млн токенов
4) Отчитаюсь по теме процессинга документов с помощью DEEPSEEK и расскажу каким образом можно создавать инструкции дёшево и, главное, массово.

🧠 СИТУАЦИЯ НА ПАЛЬЦАХ:

СМОТРИМ В МИКРОСКОП:

Два абсолютно одинаковых нейрона
Один и тот же входной сигнал
Одинаковая структура

Казалось бы - ДОЛЖНЫ РАБОТАТЬ КАК БЛИЗНЕЦЫ!
НО РЕАЛЬНОСТЬ ОФИГЕННЕЕ:

Разные реакции на один сигнал
Хаотичное поведение
Уникальные паттерны активации
КАЖДЫЙ САМ ПО СЕБЕ!

🔬 НАУЧНАЯ КРАСОТА:

СИНАПТИЧЕСКИЙ ШУМ:

Квантовые флуктуации в синапсах
Случайное освобождение нейромедиаторов
Тепловой шум на мембранах
И ВСЁ ЭТО ВЛИЯЕТ НА РАБОТУ!

ПОСЛЕДСТВИЯ:

Нелинейная динамика
Стохастические процессы
Эмерджентное поведение
НАСТОЯЩИЙ КВАНТОВЫЙ КОМПЬЮТЕР В ГОЛОВЕ! (причем, сука, теплый)

⚡️ ПОЧЕМУ ЭТО ВАЖНО:

ДЛЯ НАУКИ:

Новое понимание работы мозга
Переосмысление нейронных сетей
Квантовая биология в действии
РЕВОЛЮЦИЯ В НЕЙРОНАУКЕ!

ДЛЯ AI:

Нужно добавлять случайность
Детерминизм = путь в никуда
Шум = источник креативности
ПРИРОДА ЗНАЕТ ЛУЧШЕ!

💊 ПРАКТИЧЕСКИЕ ВЫВОДЫ:

ДЛЯ ИССЛЕДОВАТЕЛЕЙ:

Нельзя предсказать поведение нейрона
Статистика важнее детерминизма
Хаос = норма, а не исключение

ДЛЯ AI-РАЗРАБОТЧИКОВ:

Добавляйте случайный шум
Используйте стохастические модели
Забудьте о точных предсказаниях

🧠 ЧТО СЛУЧИЛОСЬ:

АТАКА:

Масштабная кибератака на сервисы
Пришлось ограничить регистрации
Существующие юзеры могут работать
TIMING ПОДОЗРИТЕЛЬНЫЙ, НЕ НАХОДИТЕ?

🔬 КОНТЕКСТ СОБЫТИЙ:

НЕДАВНИЕ УСПЕХИ:

Обошёл ChatGPT в App Store
Модель R1 порвала конкурентов
Затраты в разы меньше OpenAI
И тут ВНЕЗАПНО атака...

⚡️ ПОСЛЕДСТВИЯ:

РЫНОК В ШОКЕ:

Обвал акций tech-компаний
Паника среди инвесторов
Вопросы о пузыре в AI
КТО-ТО ЯВНО БОИТСЯ КОНКУРЕНЦИИ!

💊 ЧТО ЭТО ЗНАЧИТ:

ФАКТЫ НА СТОЛ:

Основан в 2023 (МЛАДЕНЕЦ ЕЩЁ!)
Цель - общий AI (АМБИЦИИ!)
Бюджет меньше, результат лучше
КОМУ-ТО ЭТО ОЧЕНЬ НЕ НРАВИТСЯ...

Общая производительность

Начальный прогресс:

В начале обучения модель показала значительное улучшение как в потере (loss), так и в точности (accuracy). Например, после первой эпохи потери валидации составили 4.7715 с точностью 1.14%, а к пятой эпохе они уменьшились до 4.6318 с точностью 2.04%. Это указывает на то, что модель успешно обучается и адаптируется к данным.

Средний этап обучения:

Продолжилось улучшение модели, и к десятой эпохе потери валидации снизились до 4.4753 с точностью 3.64%. К двенадцатой эпохе потери валидации были минимальными — 4.4509 с точностью 4.01%.

Поздний этап обучения:

После пятнадцатой эпохи модель начала терять способность улучшаться. Потери валидации остались примерно на одном уровне (около 4.78), и точность также не изменилась существенно (около 1%). Это привело к триггеру early stopping после двадцать пятой эпохи, когда модель не улучшалась на протяжении 10 эпох.

Оценка моделей и их конфигурации

Конфигурация модели:

Размер эмбеддинга: 384
Количество слоев: 8
Количество голов внимания: 8
Размер батча: 16
Learning rate: 0.001
Память: 2000 кадров
Синхронизация памяти: 0.1
Порог прунинга: 0.05

Метрики и моменты просадок:

Наблюдается устойчивое снижение потерь обучения и валидации, а также рост точности. В конце эпохи 15 модель достигает минимального значения потерь валидации — 4.3334.

После запуска первого цикла сна начинается резкий рост потерь обучения и валидации. Например, в эпохе 16 потери валидации выросли до 4.7848, а точность упала до 1.31%.

Причины просадки

Изменения в весах после сна :
Вывод в логах показывает, что среднее изменение весов после сна составляет 0.007355. Это может указывать на то, что изменения в весах оказались слишком значительными для текущего состояния модели, что привело к ухудшению её производительности.

Недостаточная адаптация модели :
Механизмы долговременной памяти и повторного воспроизведения могут не быть достаточно хорошо настроены для текущей конфигурации модели и данных. Возможно, нужно скорректировать параметры, такие как memory_sync_strength и prune_threshold.

Шум и деградация данных :
Шум, добавляемый в процессе мечтательного воспроизведения, может быть слишком большим или некорректно применяемым, что приводит к деградации качества входных данных для модели.

ГЛАВНОЕ:

7 миллиардов параметров
Один трансформер для всего
Отдельные пути для картинок
ВСЁ В ОДНОМ ФЛАКОНЕ!

АРХИТЕКТУРА:

SigLIP-L для понимания картинок (384x384)
Отдельный токенизатор для генерации
Даунсэмплинг в 16 раз
ПРОСТО И ГЕНИАЛЬНО!

ПРЕИМУЩЕСТВА:

Превосходит специализированные модели
Гибкость на максималках
Простота использования
И ВСЁ ЭТО В MIT LICENSE!

ДЛЯ РАЗРАБОТЧИКОВ:

Один API для всего
Меньше головной боли
Больше возможностей
ЭКОНОМИЯ ВРЕМЕНИ И НЕРВОВ!

🧠 ЧТО ПРОИСХОДИТ:

МАСШТАБ БЕЗУМИЯ:

1 триллион юаней общих инвестиций
300 миллиардов на акции и облигации
5 лет на реализацию
ЭТО БОЛЬШЕ ЧЕМ ВСЯ КАПИТАЛИЗАЦИЯ OPENAI!

🔬 НА ЧТО ПОЙДУТ ДЕНЬГИ:

ИНФРАСТРУКТУРА:
Вычислительные центры
Умные технопарки
Страховка для новых технологий

ИННОВАЦИИ:
Разработка моделей и алгоритмов
Поддержка стартапов
"Единороги" в каждый дом!

ТЕХНОЛОГИИ:
AI + Роботы
AI + Дроны
AI + Биотехнологии
AI + Новые материалы

ГЛОБАЛЬНАЯ ЭКСПАНСИЯ:
"Один пояс - один AI"
Глобальная поддержка
Международная экспансия

⚡️ ПОЧЕМУ ЭТО ВАЖНО:

ПОСЛЕДСТВИЯ:

Китай входит в игру ПО-ВЗРОСЛОМУ
Финансирование на уровне госбанка
Полный цикл от идеи до продукта
OPENAI, ВЫ ТАМ ДЕРЖИТЕСЬ!

💊 ЧТО ЭТО ЗНАЧИТ:

ДЛЯ РЫНКА:
Взрыв конкуренции
Новые игроки
Снижение цен

ДЛЯ НАС:
Больше доступных AI-сервисов
Дешевле железо
Быстрее инновации

🧠 ЧТО СЛУЧИЛОСЬ:

DEEPSEEK ПОРВАЛ ВСЕХ:

Номер 1 в App Store США (обошёл ChatGPT!)
В 20-40 раз ДЕШЕВЛЕ OpenAI
Работает без чипов NVIDIA
И это БЕСПЛАТНО, КАРЛ!

🔬 ПОЧЕМУ ЭТО ВАЖНО:

РЫНОК В ПАНИКЕ:

Акции технокомпаний летят вниз
PE Ratio = 38 (пузырь 2000 был 44)
NVIDIA теряет монополию
Маск нервно курит в Twitter

⚡️ ГЛОБАЛЬНЫЕ ПОСЛЕДСТВИЯ:

КИТАЙСКАЯ АТАКА:

iPhone уже третий в Китае
BYD убивает Tesla (в 4 раза дешевле!)
DeepSeek убивает OpenAI
США теряет технолидерство! лол

💊 ЧТО БУДЕТ ДАЛЬШЕ:

МРАЧНЫЕ ПЕРСПЕКТИВЫ:

Маск может обанкротиться
Акции техкомпаний обвалятся
AI станет доступным как вода
Америка проиграет AI-гонку

ПРЕДСКАЗАНИЯ ПО ИИ ЗА 4 МЕСЯЦА? 
БЫЛО ТАКОЕ...ну...

У меня, конечно же, вопрос к комментаторам, которые мне рассказывали кто и что я.
Мне очень приятно, что все эти комментаторы ощущают сейчас теплую струю в лицо.
Надеюсь, что в эту прохладную зиму - их согреет. От души душевно в душу.

🧠 ГЛАВНЫЕ ТЕЗИСЫ:

РЫНОК МЕНЯЕТСЯ:

Модели станут как вода - БЕСПЛАТНЫЕ и ДОСТУПНЫЕ
Open Source уверенно лидирует над закрытыми системами
Hugging Face достиг 10М разработчиков всего за 2 года!
Фокус смещается на ПРИЛОЖЕНИЯ, а не на сами модели

🔬 ПОЧЕМУ OPEN SOURCE ДОМИНИРУЕТ:

ПРЕИМУЩЕСТВА:

Работает локально на телефоне/ноутбуке
Гарантирует приватность данных
Возможность кастомизации под конкретные задачи
Независимость от крупных корпораций

⚡️ ТРЕНДЫ 2025:

AI-АГЕНТЫ:

Глубокая интеграция с базами данных
Взаимодействие с внешними инструментами и API
Решение комплексных бизнес-задач
Создание экосистемы AI-приложений (по аналогии с AirBnB)

💊 ГЛАВНЫЕ ВЫЗОВЫ:

ОБРАЗОВАНИЕ:

Острая потребность в квалифицированных AI-разработчиках
Демократизация инструментов разработки AI
Акцент на практическое применение, а не на теоретические исследования
Бизнесу нужны эффективные решения, а не "нобелевские" разработки

🚀 ДОПОЛНИТЕЛЬНЫЕ ИНСАЙТЫ:

Мультимодальность: Будущее за моделями, работающими с текстом, изображениями и звуком одновременно.
Edge AI: Рост популярности AI на конечных устройствах для повышения скорости и приватности.
AI Ethics: Усиление внимания к этическим аспектам и прозрачности AI-систем.
Federated Learning: Развитие технологий обучения моделей без централизованного сбора данных.

Американский рынок: теряет $1.4 ТРИЛЛИОНА
(Это почти два ВВП Польши, КАРЛ!)
Илон Маск: нервно прячет кожанку
OpenAI: судорожно пересчитывает нули в ценнике
NVIDIA: "Может, нам тоже в Китай?"

"Четыре русских разработчика за $0 сделали ремейк Vice City лучше, чем команда Rockstar за миллионы долларов. Через два дня релиза Take-Two заблокировала их канал. Но было поздно - мод уже попал в сеть..."

История о том, как энтузиасты из России создали идеальный ремейк культовой игры на движке GTA IV, добавили все миссии, улучшили графику, физику и анимации. И как корпорация попыталась это уничтожить.

Вот самая значимая цитата из видео Мудахара, которая отлично показывает его позицию:

"Если эти ребята могли создать ЭТО, я абсолютно шокирован, почему целая команда Rockstar не может просто нанять этих людей для ремейка GTA 3 или San Andreas на движке RAGE... Это чертовски хорошо сделанный мод, настолько, что некоторые могут считать его идеальным способом играть в Vice City - даже лучше, чем официальный ремейк или оригинал на PS2."

И его финальное обращение к Rockstar:

"Если есть хоть какой-то способ, как Rockstar Games может поработать с этими русскими ребятами и выпустить настоящее Grand Theft Auto Vice City Definitive Edition, используя эту работу... пожалуйста, Rockstar, сделайте это. Я бы купил это за полную цену не задумываясь."

🧠 КТО ТАКОЙ:

ЛИЧНОСТЬ:

Основатель SomeOrdinaryGamers
Технарь до мозга костей
3.5M+ подписчиков
И огромные стальные... аргументы!

🔬 ЧЕМ ЗНАМЕНИТ:

КОНТЕНТ:

Разборы вирусов и малвари
Глубокие технические обзоры
Расследования игровых скандалов
ЧЕСТНОСТЬ на грани безумия!

⚡️ ПОЧЕМУ ЭТО ВАЖНО:

ПОДХОД:

Не боится корпораций
Показывает запрещённый контент
Объясняет технические детали
Защищает моддеров и разработчиков

💊 ПОСЛЕДНИЙ ПОДВИГ:

VICE CITY МОД:

Подробный обзор запрещённого мода
Объяснение почему Rockstar неправа
Призыв нанять русских разработчиков
И всё это под угрозой страйка!