🧠 DEEPSEEK - УБИЙЦА CHATGPT:

ЧТО СЛУЧИЛОСЬ:

- Первое место в App Store США (САСАЙ, OpenAI!)
- Модель DeepSeek-R1 ПОРВАЛА o1
- Затраты: $5.58М vs МИЛЛИАРДЫ OpenAI
- И ВСЁ ЭТО БЕСПЛАТНО, КАРЛ!

ГЕОГРАФИЯ ДОМИНИРОВАНИЯ:

- США (прямо на заднем дворе OpenAI!)
- Австралия (кенгуру одобряют!)
- Канада (сорри, ChatGPT!)
- Сингапур, UK (ВЕЗДЕ!)

QWEN2.5-1M - ЭТО КОСМОС:

- 1 МИЛЛИОН токенов контекста
- Две версии: 7B и 14B (выбирай яд!)
- Глотает книги как семечки
- Память как у слона на стероидах!

ПРАКТИЧЕСКИЕ ПОСЛЕДСТВИЯ:

- Читает ЦЕЛЫЕ КНИГИ за раз
- Помнит ВСЮ историю чата
- Анализирует юридические талмуды
- Понимает сложную логику КАК БОСС!

СРАВНЕНИЕ С КОНКУРЕНТАМИ:

- GPT-4: 128K токенов (ЛОЛЧТО?)
- Claude: 200K токенов (СЛАБЕНЬКО!)
- Gemini: 2M токенов (НО с амнезией...)
- Qwen: МИЛЛИОН, ДЕТКА!

ДЛЯ РЫНКА:
- США больше НЕ МОНОПОЛИСТ
- Санкции? НЕ СЛЫШАЛИ!
- Китай показал, КТО ПАПОЧКА
- OpenAI нервно курит в сторонке!

ДЛЯ НАС:
- Бесплатный доступ к топовому AI
- Больше никаких лимитов
- Конкуренция = ЛУЧШЕ КАЧЕСТВО
- БУДУЩЕЕ УЖЕ ЗДЕСЬ!

DeepSeek:
Работает на менее мощных чипах 💻
Результаты как у ChatGPT, но дешевле в 170 раз 💰

Alibaba Qwen2.5-1M:
Контекст 1 млн токенов (vs 128K у GPT-4) 🚀

Реакция экспертов:
Citi: "Покупать Nvidia (несмотря на падение)"
Аналитики: "Доминирование в AI под вопросом" ⚠️

Что дальше?

📉 Возможное снижение цен на AI-сервисы
🇨🇳 Китай демонстрирует мощь, несмотря на санкции
💼 Инвесторам: пересмотреть оценку техкомпаний

Вывод: Рынок AI остается высококонкурентным.
Американские компании все еще сильны, но китайский прорыв может изменить расклад сил. Следим за развитием! 👀

КОРОЧЕ, КАКОЙ ПЛАН:

1) Добавлено кол-во слоёв треубемое для кол-ва параметров в 1B
2) Переработан токенизатор чтобы работал адекватно с последовательностями (точность высокая)
3) Добавлю механизм длинного контекста как в новом вышедшем QWEN на 1млн токенов
4) Отчитаюсь по теме процессинга документов с помощью DEEPSEEK и расскажу каким образом можно создавать инструкции дёшево и, главное, массово.

🧠 СИТУАЦИЯ НА ПАЛЬЦАХ:

СМОТРИМ В МИКРОСКОП:

Два абсолютно одинаковых нейрона
Один и тот же входной сигнал
Одинаковая структура

Казалось бы - ДОЛЖНЫ РАБОТАТЬ КАК БЛИЗНЕЦЫ!
НО РЕАЛЬНОСТЬ ОФИГЕННЕЕ:

Разные реакции на один сигнал
Хаотичное поведение
Уникальные паттерны активации
КАЖДЫЙ САМ ПО СЕБЕ!

🔬 НАУЧНАЯ КРАСОТА:

СИНАПТИЧЕСКИЙ ШУМ:

Квантовые флуктуации в синапсах
Случайное освобождение нейромедиаторов
Тепловой шум на мембранах
И ВСЁ ЭТО ВЛИЯЕТ НА РАБОТУ!

ПОСЛЕДСТВИЯ:

Нелинейная динамика
Стохастические процессы
Эмерджентное поведение
НАСТОЯЩИЙ КВАНТОВЫЙ КОМПЬЮТЕР В ГОЛОВЕ! (причем, сука, теплый)

⚡️ ПОЧЕМУ ЭТО ВАЖНО:

ДЛЯ НАУКИ:

Новое понимание работы мозга
Переосмысление нейронных сетей
Квантовая биология в действии
РЕВОЛЮЦИЯ В НЕЙРОНАУКЕ!

ДЛЯ AI:

Нужно добавлять случайность
Детерминизм = путь в никуда
Шум = источник креативности
ПРИРОДА ЗНАЕТ ЛУЧШЕ!

💊 ПРАКТИЧЕСКИЕ ВЫВОДЫ:

ДЛЯ ИССЛЕДОВАТЕЛЕЙ:

Нельзя предсказать поведение нейрона
Статистика важнее детерминизма
Хаос = норма, а не исключение

ДЛЯ AI-РАЗРАБОТЧИКОВ:

Добавляйте случайный шум
Используйте стохастические модели
Забудьте о точных предсказаниях

🧠 ЧТО СЛУЧИЛОСЬ:

АТАКА:

Масштабная кибератака на сервисы
Пришлось ограничить регистрации
Существующие юзеры могут работать
TIMING ПОДОЗРИТЕЛЬНЫЙ, НЕ НАХОДИТЕ?

🔬 КОНТЕКСТ СОБЫТИЙ:

НЕДАВНИЕ УСПЕХИ:

Обошёл ChatGPT в App Store
Модель R1 порвала конкурентов
Затраты в разы меньше OpenAI
И тут ВНЕЗАПНО атака...

⚡️ ПОСЛЕДСТВИЯ:

РЫНОК В ШОКЕ:

Обвал акций tech-компаний
Паника среди инвесторов
Вопросы о пузыре в AI
КТО-ТО ЯВНО БОИТСЯ КОНКУРЕНЦИИ!

💊 ЧТО ЭТО ЗНАЧИТ:

ФАКТЫ НА СТОЛ:

Основан в 2023 (МЛАДЕНЕЦ ЕЩЁ!)
Цель - общий AI (АМБИЦИИ!)
Бюджет меньше, результат лучше
КОМУ-ТО ЭТО ОЧЕНЬ НЕ НРАВИТСЯ...

Общая производительность

Начальный прогресс:

В начале обучения модель показала значительное улучшение как в потере (loss), так и в точности (accuracy). Например, после первой эпохи потери валидации составили 4.7715 с точностью 1.14%, а к пятой эпохе они уменьшились до 4.6318 с точностью 2.04%. Это указывает на то, что модель успешно обучается и адаптируется к данным.

Средний этап обучения:

Продолжилось улучшение модели, и к десятой эпохе потери валидации снизились до 4.4753 с точностью 3.64%. К двенадцатой эпохе потери валидации были минимальными — 4.4509 с точностью 4.01%.

Поздний этап обучения:

После пятнадцатой эпохи модель начала терять способность улучшаться. Потери валидации остались примерно на одном уровне (около 4.78), и точность также не изменилась существенно (около 1%). Это привело к триггеру early stopping после двадцать пятой эпохи, когда модель не улучшалась на протяжении 10 эпох.

Оценка моделей и их конфигурации

Конфигурация модели:

Размер эмбеддинга: 384
Количество слоев: 8
Количество голов внимания: 8
Размер батча: 16
Learning rate: 0.001
Память: 2000 кадров
Синхронизация памяти: 0.1
Порог прунинга: 0.05

Метрики и моменты просадок:

Наблюдается устойчивое снижение потерь обучения и валидации, а также рост точности. В конце эпохи 15 модель достигает минимального значения потерь валидации — 4.3334.

После запуска первого цикла сна начинается резкий рост потерь обучения и валидации. Например, в эпохе 16 потери валидации выросли до 4.7848, а точность упала до 1.31%.

Причины просадки

Изменения в весах после сна :
Вывод в логах показывает, что среднее изменение весов после сна составляет 0.007355. Это может указывать на то, что изменения в весах оказались слишком значительными для текущего состояния модели, что привело к ухудшению её производительности.

Недостаточная адаптация модели :
Механизмы долговременной памяти и повторного воспроизведения могут не быть достаточно хорошо настроены для текущей конфигурации модели и данных. Возможно, нужно скорректировать параметры, такие как memory_sync_strength и prune_threshold.

Шум и деградация данных :
Шум, добавляемый в процессе мечтательного воспроизведения, может быть слишком большим или некорректно применяемым, что приводит к деградации качества входных данных для модели.

ГЛАВНОЕ:

7 миллиардов параметров
Один трансформер для всего
Отдельные пути для картинок
ВСЁ В ОДНОМ ФЛАКОНЕ!

АРХИТЕКТУРА:

SigLIP-L для понимания картинок (384x384)
Отдельный токенизатор для генерации
Даунсэмплинг в 16 раз
ПРОСТО И ГЕНИАЛЬНО!

ПРЕИМУЩЕСТВА:

Превосходит специализированные модели
Гибкость на максималках
Простота использования
И ВСЁ ЭТО В MIT LICENSE!

ДЛЯ РАЗРАБОТЧИКОВ:

Один API для всего
Меньше головной боли
Больше возможностей
ЭКОНОМИЯ ВРЕМЕНИ И НЕРВОВ!

🧠 ЧТО ПРОИСХОДИТ:

МАСШТАБ БЕЗУМИЯ:

1 триллион юаней общих инвестиций
300 миллиардов на акции и облигации
5 лет на реализацию
ЭТО БОЛЬШЕ ЧЕМ ВСЯ КАПИТАЛИЗАЦИЯ OPENAI!

🔬 НА ЧТО ПОЙДУТ ДЕНЬГИ:

ИНФРАСТРУКТУРА:
Вычислительные центры
Умные технопарки
Страховка для новых технологий

ИННОВАЦИИ:
Разработка моделей и алгоритмов
Поддержка стартапов
"Единороги" в каждый дом!

ТЕХНОЛОГИИ:
AI + Роботы
AI + Дроны
AI + Биотехнологии
AI + Новые материалы

ГЛОБАЛЬНАЯ ЭКСПАНСИЯ:
"Один пояс - один AI"
Глобальная поддержка
Международная экспансия

⚡️ ПОЧЕМУ ЭТО ВАЖНО:

ПОСЛЕДСТВИЯ:

Китай входит в игру ПО-ВЗРОСЛОМУ
Финансирование на уровне госбанка
Полный цикл от идеи до продукта
OPENAI, ВЫ ТАМ ДЕРЖИТЕСЬ!

💊 ЧТО ЭТО ЗНАЧИТ:

ДЛЯ РЫНКА:
Взрыв конкуренции
Новые игроки
Снижение цен

ДЛЯ НАС:
Больше доступных AI-сервисов
Дешевле железо
Быстрее инновации

🧠 ЧТО СЛУЧИЛОСЬ:

DEEPSEEK ПОРВАЛ ВСЕХ:

Номер 1 в App Store США (обошёл ChatGPT!)
В 20-40 раз ДЕШЕВЛЕ OpenAI
Работает без чипов NVIDIA
И это БЕСПЛАТНО, КАРЛ!

🔬 ПОЧЕМУ ЭТО ВАЖНО:

РЫНОК В ПАНИКЕ:

Акции технокомпаний летят вниз
PE Ratio = 38 (пузырь 2000 был 44)
NVIDIA теряет монополию
Маск нервно курит в Twitter

⚡️ ГЛОБАЛЬНЫЕ ПОСЛЕДСТВИЯ:

КИТАЙСКАЯ АТАКА:

iPhone уже третий в Китае
BYD убивает Tesla (в 4 раза дешевле!)
DeepSeek убивает OpenAI
США теряет технолидерство! лол

💊 ЧТО БУДЕТ ДАЛЬШЕ:

МРАЧНЫЕ ПЕРСПЕКТИВЫ:

Маск может обанкротиться
Акции техкомпаний обвалятся
AI станет доступным как вода
Америка проиграет AI-гонку