Размер контекста имеет значение
Уже тошнит от еженедельных хайповых релизов «новая китайская модель опережает OpenAI и Claude и теперь в топе по всем тестам!». Сорри, но ваши тесты — говно, очень плохо отражающее реальные задачи.
Все опенсорсные модели на контексте выше 32К превращаются в бессвязно лопочущих идиотов. Дипсики, квены и прочие. Единственное семейство моделей, сохраняющих осмысленность и выдающих приличный результат на высоких контекстах — гугловские Gemini 2.5 Pro/Flash (UPD: GPT-5 потеснила Gemini с пьедестала). До 100К ещё можно использовать Claude, Grok и топовые модели OpenAI. У всего остального потолок — 32К, дальше идёт мусор. При заявленных контекстах в 128К, 256К или даже 1М токенов.
Токен — единица текстового смысла. Для английского языка один токен примерно соответствует 0.75 слова, то есть, 32К токенов это примерно 24 тысячи слов (без форматирования). Русский язык «прожорливее»: можно ориентироваться на коэффициент 0.5, т.е. 32К токенов ≈ 16 тысяч слов на русском.
Контекст — это вся информация, которую нейросеть принимает во внимание, когда даёт вам ответ. В привычном уже формате чата контекстом будет весь предыдущий диалог, включая все ваши реплики и ответы нейросети. Если он становится слишком длинным, качество ответов резко деградирует вплоть до полной бессвязности.
Но реплики это ещё не всё. Существенную часть «бюджета токенов» съедает системный промпт — скрытая от вас инструкция для нейросети, подготовленная разработчиками. У современных чатботов она может запросто достигать 8-10 тысяч токенов, то есть, для осмысленного диалога остаётся, в хорошем случае, 16 тысяч слов.
Если модель «думающая» (вы видите, как модель «рассуждает», прежде чем выдать ответ), токены рассуждений тоже вычитайте из бюджета! Таким образом, деградация может начаться уже после 2-3 реплик. А если добавить в диалог какие-то файлы, или использовать внешние инструменты (поиск в интернете, доступ к файлам на гугл драйве и т.п.) — вы можете исчерпать способности модели с первого запроса. Приложенные картинки тоже сжирают сразу кучу токенов.
Думаю, что это одна из ключевых причин эпических фейлов вайбкодинга. Когда проект становится чуть больше примитивного hello world и для понимания логики приходится держать в поле зрения несколько больших кусков кода одновременно, большой контекст становится необходимостью. У меня в текущих задачах контекст иногда улетает за 100К даже при относительно простых изменениях.
Опубликовано в блоге: 25 июля 2025
Уже тошнит от еженедельных хайповых релизов «новая китайская модель опережает OpenAI и Claude и теперь в топе по всем тестам!». Сорри, но ваши тесты — говно, очень плохо отражающее реальные задачи.
Все опенсорсные модели на контексте выше 32К превращаются в бессвязно лопочущих идиотов. Дипсики, квены и прочие. Единственное семейство моделей, сохраняющих осмысленность и выдающих приличный результат на высоких контекстах — гугловские Gemini 2.5 Pro/Flash (UPD: GPT-5 потеснила Gemini с пьедестала). До 100К ещё можно использовать Claude, Grok и топовые модели OpenAI. У всего остального потолок — 32К, дальше идёт мусор. При заявленных контекстах в 128К, 256К или даже 1М токенов.
Токен — единица текстового смысла. Для английского языка один токен примерно соответствует 0.75 слова, то есть, 32К токенов это примерно 24 тысячи слов (без форматирования). Русский язык «прожорливее»: можно ориентироваться на коэффициент 0.5, т.е. 32К токенов ≈ 16 тысяч слов на русском.
Контекст — это вся информация, которую нейросеть принимает во внимание, когда даёт вам ответ. В привычном уже формате чата контекстом будет весь предыдущий диалог, включая все ваши реплики и ответы нейросети. Если он становится слишком длинным, качество ответов резко деградирует вплоть до полной бессвязности.
Но реплики это ещё не всё. Существенную часть «бюджета токенов» съедает системный промпт — скрытая от вас инструкция для нейросети, подготовленная разработчиками. У современных чатботов она может запросто достигать 8-10 тысяч токенов, то есть, для осмысленного диалога остаётся, в хорошем случае, 16 тысяч слов.
Если модель «думающая» (вы видите, как модель «рассуждает», прежде чем выдать ответ), токены рассуждений тоже вычитайте из бюджета! Таким образом, деградация может начаться уже после 2-3 реплик. А если добавить в диалог какие-то файлы, или использовать внешние инструменты (поиск в интернете, доступ к файлам на гугл драйве и т.п.) — вы можете исчерпать способности модели с первого запроса. Приложенные картинки тоже сжирают сразу кучу токенов.
Думаю, что это одна из ключевых причин эпических фейлов вайбкодинга. Когда проект становится чуть больше примитивного hello world и для понимания логики приходится держать в поле зрения несколько больших кусков кода одновременно, большой контекст становится необходимостью. У меня в текущих задачах контекст иногда улетает за 100К даже при относительно простых изменениях.
Опубликовано в блоге: 25 июля 2025
🙏2💯2🎃1
Контекстная гигиена или конфеты из говна
Несмотря на множество раздражающих ограничений, пользовательское приложение ChatGPT остаётся для меня важным повседневным инструментом. Однако любой инструмент требует правильного использования и заточки, иначе и результата не получишь, и сам порежешься. ChatGPT не исключение: если пользоваться им как обычным чатом, на выходе часто будет мусор.
Как улучшить ситуацию? Перестаньте воспринимать ваш чат с моделью как чат.
Диалог с ChatGPT — не чат, а запись в вашей базе знаний. В ней не должно быть мусора: некорректной и посторонней информации. Тогда и на выходе мусора будет меньше.
Первая статья серии про практический контекст-инжиниринг: редактирование сообщений как один из действенных приёмов улучшения результатов в ChatGPT.
Опубликовано в блоге: 25 сентября 2025
Несмотря на множество раздражающих ограничений, пользовательское приложение ChatGPT остаётся для меня важным повседневным инструментом. Однако любой инструмент требует правильного использования и заточки, иначе и результата не получишь, и сам порежешься. ChatGPT не исключение: если пользоваться им как обычным чатом, на выходе часто будет мусор.
Как улучшить ситуацию? Перестаньте воспринимать ваш чат с моделью как чат.
Диалог с ChatGPT — не чат, а запись в вашей базе знаний. В ней не должно быть мусора: некорректной и посторонней информации. Тогда и на выходе мусора будет меньше.
Первая статья серии про практический контекст-инжиниринг: редактирование сообщений как один из действенных приёмов улучшения результатов в ChatGPT.
Опубликовано в блоге: 25 сентября 2025
dsent.me
Контекстная гигиена или конфеты из говна
Практический разбор контекст‑инжиниринга в пользовательских чат‑моделях: почему «garbage in — garbage out», как чистить контекст, редактировать ход диалога и превращать чат в базу знаний.
👍4❤1🥰1👾1
Кратко: я сделал ИИ-переводчик (custom GPT) для нескольких языков, которые плохо переводит Гугл.
Вы открываете диалог в ChatGPT, но работает он как переводчик, а не как чат: просто отправляете текст, скрин, фото или голосовое — а он переводит, без инструкций типа «переведи это», «а теперь вон то». Есть режим диалога, как в Google Translate: разговариваете с собеседником, а ChatGPT понимает язык каждой фразы и переводит вслух. Можно добавлять контекст:
А главное — короткие команды для объяснения перевода и произношения, чтобы изучать язык на реальных задачах. Корованы грабить нельзя; это в планах на версию 0.3 .
Подробнее:
В чужой стране иностранный язык нужен постоянно. К сожалению, все популярные приложения для перевода ужасны. Вот что сразу бросается в глаза:
😡 Дрянное качество перевода для всех языков, кроме самых популярных. Гугл выдаёт полную чушь даже для турецкого, а с сербским — просто жопа. И Google, и Яндекс пишут по-сербски кириллицей, которой, кроме церкви и полиции, никто особо не пользуется.
🤯 Контекста нет, уточнить нельзя (лук, лук или лук?).
💬 Нельзя выбрать вариацию языка. Американский английский или австралийский? Каталонский испанский или северо-мексиканский? Сербский кириллицей или латиницей? (понятно, что латиницей, но выбрать-то нельзя!)
🧑🏫 Переводчик не объясняет свои переводы. Худо-бедно объяснился — а в голове пусто, язык не осваиваешь.
Большие языковые модели переводят отлично, но удобных приложений-переводчиков на их основе нет.
Устав от страданий и унижений, я решил оные приумножить и сделал свой переводчик с функциями изучения языка на базе ChatGPT (Custom GPT). Результаты, друзья, превзошли все мои ожидания: всего лишь за год использования переводчика я не начал свободно говорить на сербском, не завёл друзей, никого к себе не расположил и не вырастил волосы там, где их не было. И вообще слегка оскуфидонился (а кто из нас молодеет?).
И всё же, я успешно решил сотни повседневных задач коммуникации, да и в голове что-то да осело. Начала формироваться интуиция в отношении падежей и других грамматических конструкций, при том, что целенаправленно языком я не занимался ни одного дня, да и с местными я общаюсь преступно мало, сидя целыми днями дома за компом, как сыч.
Теперь, когда мне нужно куда-то идти, я заготавливаю фразы с помощью переводчика. Он подсказывает правильное произношение, я заучиваю по дороге — этого хватает, чтобы начать разговор, а дальше как-то идёт.
Глядя на реакцию друзей, которые видели, как я пользуюсь переводчиком, решил всё-таки опубликовать результаты. Заодно сделал такие же кастомы для грузинского, литовского, латышского (об этом никто не просил, но я, контра недодеколонизированная, сначала перепутал его с литовским, о котором просили, а потом уже жалко было удалять), эстонского и кастильского испанского. Уже имея обкатанные промпты, несложно добавить и другие языки. Если будет интерес, попробую сделать и отдельное приложение или телеграм-бота.
На сайте: Обзор возможностей и ссылки на установку кастома.
Вы открываете диалог в ChatGPT, но работает он как переводчик, а не как чат: просто отправляете текст, скрин, фото или голосовое — а он переводит, без инструкций типа «переведи это», «а теперь вон то». Есть режим диалога, как в Google Translate: разговариваете с собеседником, а ChatGPT понимает язык каждой фразы и переводит вслух. Можно добавлять контекст:
«хлопок [бавовна]» или «хлопок [одной ладонью]».А главное — короткие команды для объяснения перевода и произношения, чтобы изучать язык на реальных задачах. Корованы грабить нельзя
Подробнее:
В чужой стране иностранный язык нужен постоянно. К сожалению, все популярные приложения для перевода ужасны. Вот что сразу бросается в глаза:
😡 Дрянное качество перевода для всех языков, кроме самых популярных. Гугл выдаёт полную чушь даже для турецкого, а с сербским — просто жопа. И Google, и Яндекс пишут по-сербски кириллицей, которой, кроме церкви и полиции, никто особо не пользуется.
🤯 Контекста нет, уточнить нельзя (лук, лук или лук?).
💬 Нельзя выбрать вариацию языка. Американский английский или австралийский? Каталонский испанский или северо-мексиканский? Сербский кириллицей или латиницей? (понятно, что латиницей, но выбрать-то нельзя!)
🧑🏫 Переводчик не объясняет свои переводы. Худо-бедно объяснился — а в голове пусто, язык не осваиваешь.
Большие языковые модели переводят отлично, но удобных приложений-переводчиков на их основе нет.
Устав от страданий и унижений, я решил оные приумножить и сделал свой переводчик с функциями изучения языка на базе ChatGPT (Custom GPT). Результаты, друзья, превзошли все мои ожидания: всего лишь за год использования переводчика я не начал свободно говорить на сербском, не завёл друзей, никого к себе не расположил и не вырастил волосы там, где их не было. И вообще слегка оскуфидонился (а кто из нас молодеет?).
И всё же, я успешно решил сотни повседневных задач коммуникации, да и в голове что-то да осело. Начала формироваться интуиция в отношении падежей и других грамматических конструкций, при том, что целенаправленно языком я не занимался ни одного дня, да и с местными я общаюсь преступно мало, сидя целыми днями дома за компом, как сыч.
Теперь, когда мне нужно куда-то идти, я заготавливаю фразы с помощью переводчика. Он подсказывает правильное произношение, я заучиваю по дороге — этого хватает, чтобы начать разговор, а дальше как-то идёт.
Глядя на реакцию друзей, которые видели, как я пользуюсь переводчиком, решил всё-таки опубликовать результаты. Заодно сделал такие же кастомы для грузинского, литовского, латышского (об этом никто не просил, но я, контра недодеколонизированная, сначала перепутал его с литовским, о котором просили, а потом уже жалко было удалять), эстонского и кастильского испанского. Уже имея обкатанные промпты, несложно добавить и другие языки. Если будет интерес, попробую сделать и отдельное приложение или телеграм-бота.
На сайте: Обзор возможностей и ссылки на установку кастома.
dsent.me
Переводчик для изучающих язык
Кастомные GPT‑переводчики для русскоязычных. Сербский, грузинский, литовский, латышский, эстонский, испанский. Перевод текста, голоса и фото, изучение языка. Ссылки и инструкция по использованию.
❤5🔥5🤯2
(По какой причине отвалились комменты, мне неведомо. Все вопросы к П. Дурову)
Кратко: Новые модели ноября 2025
Днями и ночами тружусь аки пчолка над обновлением переводчиков и другими (секретными✨ ) проектами, но решил вынырнуть, чтобы прокомментировать ноябрьский урожай новых моделей (вышедших, кстати, без медиа-цирка как при выходе GPT-5).
✨ Gemini 3.0 Pro — на сегодня лучшая модель для любых задач. Прекрасно держит инструкции и огромный контекст. В связке с моделью-спутником Nano Banana Pro закрывает практически все сценарии. Не пришлось даже ничего адаптировать; просто заменил модель — и БАМ! — результаты стали ощутимо лучше, хотя весь пайплайн был выстроен под GPT-5.1.
В общем, теперь это моя основная модель. Бонусом совершенно бомбические улучшения в NotebookLM и клёвая фича Visual Layout в официальном приложении Gemini.
🛠 GPT-5.1 и 5.1 Codex стали лучше в кодинге, но деградировали в остальном. В переводах качество упало, количество галлюцинаций выросло.
Переводчики я откатил к старой GPT-5 Instant. Для тривиальных правок кода по прежнему использую GPT-5 mini (точнее, её файнтюн от Github — Raptor mini, он классный; если у вас есть доступ — рекомендую).
🖼 Claude 4.5 Opus — модель достойная, хотя на практике слабее Gemini Pro (не верьте цифрам бенчмарков, они уже давно мало что значат). Лимиты выросли, цены выровнялись с конкурентами и теперь по крайней мере снова есть смысл пользоваться Claude. Sonnet 4.5 был откровенно слабым; старый Opus на Pro-аккаунте выгребал лимиты за три запроса, а в API стоил совсем неадекватных денег.
Отдельно замечу: Claude Code — по-прежнему прекрасный инструмент, выжимающий максимум даже из средней модели, а с новыми лимитами Opus он снова стал практичным выбором для агентного кодинга.
🐉 Kimi K2 Thinking — лучшая на сегодня опенсорсная модель, конкурирующая с топами по качеству текстов. Но практическое контекстное окно схлопывается после 10К токенов, как у всех остальных китайцев.
Очень интересна Kimi Linear 48B A3B — экспериментальная модель с новым механизмом внимания. Она «глуповата» для сложных задач, но демонстрирует отсутствие деградации при увеличении контекста. Жду эту технологию в более умных моделях; возможно, проклятие коротких контекстов, наконец, будет преодолено и опенсорсные модели станут юзабельны в серьёзных пайплайнах.
Полный текст в блоге от 26.11.2025
Днями и ночами тружусь аки пчолка над обновлением переводчиков и другими (секретными
✨ Gemini 3.0 Pro — на сегодня лучшая модель для любых задач. Прекрасно держит инструкции и огромный контекст. В связке с моделью-спутником Nano Banana Pro закрывает практически все сценарии. Не пришлось даже ничего адаптировать; просто заменил модель — и БАМ! — результаты стали ощутимо лучше, хотя весь пайплайн был выстроен под GPT-5.1.
В общем, теперь это моя основная модель. Бонусом совершенно бомбические улучшения в NotebookLM и клёвая фича Visual Layout в официальном приложении Gemini.
🛠 GPT-5.1 и 5.1 Codex стали лучше в кодинге, но деградировали в остальном. В переводах качество упало, количество галлюцинаций выросло.
Переводчики я откатил к старой GPT-5 Instant. Для тривиальных правок кода по прежнему использую GPT-5 mini (точнее, её файнтюн от Github — Raptor mini, он классный; если у вас есть доступ — рекомендую).
🖼 Claude 4.5 Opus — модель достойная, хотя на практике слабее Gemini Pro (не верьте цифрам бенчмарков, они уже давно мало что значат). Лимиты выросли, цены выровнялись с конкурентами и теперь по крайней мере снова есть смысл пользоваться Claude. Sonnet 4.5 был откровенно слабым; старый Opus на Pro-аккаунте выгребал лимиты за три запроса, а в API стоил совсем неадекватных денег.
Отдельно замечу: Claude Code — по-прежнему прекрасный инструмент, выжимающий максимум даже из средней модели, а с новыми лимитами Opus он снова стал практичным выбором для агентного кодинга.
🐉 Kimi K2 Thinking — лучшая на сегодня опенсорсная модель, конкурирующая с топами по качеству текстов. Но практическое контекстное окно схлопывается после 10К токенов, как у всех остальных китайцев.
Очень интересна Kimi Linear 48B A3B — экспериментальная модель с новым механизмом внимания. Она «глуповата» для сложных задач, но демонстрирует отсутствие деградации при увеличении контекста. Жду эту технологию в более умных моделях; возможно, проклятие коротких контекстов, наконец, будет преодолено и опенсорсные модели станут юзабельны в серьёзных пайплайнах.
Полный текст в блоге от 26.11.2025
Please open Telegram to view this post
VIEW IN TELEGRAM
dsent.me
Новые модели ноября 2025
Краткий разбор релизов: Gemini 3.0 Pro как новый основной выбор, спорные обновления GPT‑5.1, возвращение интереса к Claude 4.5 Opus, и опенсорс Kimi K2 Thinking и Linear 48B A3B с их плюсами и ограничениями длинного контекста.
👍5
Все подводят итоги и поздравляют, а я что-то с итогами не успел. Вот вам игрушка зато, простенькая, но с глубоким философским смыслом: https://artifacts.dsent.me/tetromino-escape/
Желаю нам всем выкарабкаться в новом году, даже если сверху наваливают и наваливают!
(пишите обратную связь по игрушке, кто попробовал, мне это важно 🙃)
Желаю нам всем выкарабкаться в новом году, даже если сверху наваливают и наваливают!
(пишите обратную связь по игрушке, кто попробовал, мне это важно 🙃)
🔥6