Что умеет UDTF? У вас есть текстовое поле, и вы хотите превратить каждое слово в отдельную строку. С UDF так не получится, он вернёт только одно значение. А UDTF легко «разворачивает» данные: одна входная строка превращается в десятки выходных. Таким образом можно:

• Разбивать текст на слова, списки на элементы
• Рраспаковывать коллекции или делать cartesian-развёртки
• Получать более гибкие трансформации без громоздкого кода

Как это выглядит? UDTF оформляется как Python-класс с методом eval, где можно yield-ить столько строк, сколько нужно. Например, разбиение строки на слова превращается в лаконичный цикл for word in text.split(): yield (word,). Результат в Spark будет выглядеть как таблица, где каждое слово — отдельная строка.

Другой пример — генерация чисел и их квадратов. Обычный цикл for num in range(start, end): yield (num, num*num) вернёт сразу множество строк. Всё прозрачно: одна запись на входе — много записей на выходе.

Зачем это в продакшене? Главное преимущество UDTF — гибкость. В задачах анализа данных часто нужно «развернуть» структуру: например, массив тегов превратить в таблицу или подсчитать все комбинации значений. Раньше такие приёмы были неудобными, теперь они встроены в PySpark.

import dask.dataframe as dd

# Загружаем огромный CSV как будто это Pandas
df = dd.read_csv("data.csv")

# Считаем топ-10 самых популярных значений в колонке
top10 = df["category"].value_counts().compute()
print(top10)

• dask под капотом разбивает файл на маленькие части
• Вы работаете с DataFrame так же, как в Pandas
• compute() запускает реальный расчёт, но только когда нужно

Где ИИ реально помогает. Современные LLM могут быть не просто «генераторами кода», а инструментами для восстановления концепций, которые когда-то закладывали архитекторы. Это снимает боль с ключевых этапов:

• Трассировка кода — автоматический обход AST и выделение связей, которые определяют функциональность
• Сбор контекста БД — привязка SQL-запросов к конкретным модулям кода
• Визуализации (PlantUML) — превращение кода в диаграммы, понятные не только инженерам
• Автоматизация BRD — модели составляют бизнес-требования на основе исходного кода и базы

Возьмём e-commerce: розница работает, потом добавили опт, но всё осталось на старой архитектуре. В итоге новая логика строится поверх старых правил. Это и есть концептуальный дрейф. LLM помогают не только его обнаружить, но и предложить варианты архитектурных решений, уменьшая риски при переписывании.

Как работает DeepConf? Вместо того чтобы одинаково рассматривать все возможные варианты решения (включая ошибочные), DeepConf анализирует уровень «уверенности» самой модели. Если вероятность правильного ответа падает ниже порога — такой путь просто отсекается. В итоге остаются только сильные кандидаты, среди которых проходит «взвешенное голосование».

Экономия ресурсов и рост точности. DeepConf умеет работать в двух режимах: offline (после генерации) и online (на лету). Второй вариант особенно полезен — слабые цепочки обрубаются ещё до конца рассуждений. Это не только ускоряет процесс, но и экономит вычислительные мощности. В тестах метод показал впечатляющий результат: 99,9% точности на AIME 2025 при сокращении числа токенов почти на 85%.

— Почему tRPC: вместо REST или GraphQL используется TypeScript-first RPC-фреймворк. Он позволяет описывать API без схем, прямо функциями, а типы автоматически «протягиваются» на фронтенд. Итог — меньше бойлерплейта и меньше багов на ранних этапах.

— Как работает пайплайн: резюме и вакансия загружаются в сервис, оттуда извлекается текст, ключевые слова выделяются с помощью простых NLP-приёмов (токенизация, поиск существительных и заглавных слов), а дальше результат прогоняется через Gemini, который возвращает JSON с оценкой совпадения, сильными сторонами и рекомендациями.

Идея проста: зачем писать свой алгоритм сопоставления навыков, если можно отдать работу модели? Такой подход ускоряет прототипирование и отлично подходит для внутренних инструментов или быстрых демо.

Теперь с появлением рабочих моделей кода всё проще. Мы описываем задачу на человеческом языке, добавляем тесты — и получаем небольшой модуль без лишнего «жира». Такой кусочек кода легко читать, менять и проверять.

Где ИИ уже заменяет OSS
— Индикаторы и статистика: EMA, RSI, Z-score, корреляции окон — Узкие клиенты для работы с API биржи — Скелеты бэктестов или пайплайнов — Адаптеры и конвертеры форматов

Где границы? ИИ отлично справляется с утилитарными задачами. Но криптография, протоколы с жёсткими SLA, движки БД и численные солверы остаются в зоне зрелого OSS — там нужна предсказуемость и годами проверенные решения.

В первой части книги внимание уделяется ключевым аспектам работы с агентами, таким как цепочка команд, маршрутизация и параллелизация — все это с реальными примерами кода. Важно подчеркнуть, что каждый из разделов направлен на то, чтобы разработчики могли не только понять теорию, но и интегрировать эти методы в свои проекты.

Вторая часть книги посвящена памяти и адаптивности, а также ключевым протоколам взаимодействия между агентами. В процессе изучения материалов разработчики смогут научиться строить модели, которые способны не только решать поставленные задачи, но и улучшать свою работу на основе предыдущего опыта.

Также стоит отметить, что книга включает в себя полезные приложения: от углубленных техник подсказок до подробного описания внутреннего устройства агентов, что позволит читателям получить полное представление о создании эффективных и безопасных интеллектуальных систем.

Где горят деньги? По новым расчетам, в 2025 году расходы превысят $8 млрд, а уже к 2028-му достигнут $45 млрд. Для сравнения: в старом прогнозе на этот год фигурировала сумма всего $11 млрд. Львиная доля пойдет на обучение моделей ($9 млрд в 2025-м и $19 млрд в 2026-м), а также на компенсации сотрудникам акциями — их объем в прогнозе вырос на $20 млрд.

А как с доходами? Только ChatGPT в 2025-м должен принести почти $10 млрд — на $2 млрд выше прежних ожиданий. К 2030-му выручка чатбота оценивается уже в $90 млрд. Общая выручка компании к концу десятилетия должна достичь $200 млрд. Главная ставка — монетизация бесплатной аудитории через подписки и рекламу: ожидается около $110 млрд допдохода за 2026–2030 годы. При этом OpenAI планирует увеличить средний доход на пользователя с $2 до $15 и довести число еженедельных активных пользователей до 2 млрд.

Сегодня мы видим, как сокращаются команды, увольняют сотрудников, и компании активно утверждают, что ИИ повысит продуктивность. Но кто будет управлять командами разработки в будущем, если исключить джунов из процесса обучения? Джуны играют ключевую роль в подготовке нового поколения инженеров, и без их участия в обучении мы рискуем потерять тех, кто впоследствии станет лидерами.

Да, ИИ изменяет правила игры, но он не может заменить начальные позиции в команде, которые дают шанс развиваться и расти. Современные джуны должны научиться работать с ИИ, адаптируя его возможности под реальные задачи, а не полагаться на него как на замену человеческого труда.

Для этого джунам стоит не только овладеть новыми техническими навыками, но и развивать коммуникацию и способность работать с различными стейкхолдерами. Самый важный навык на пути к успеху — это способность к обучению и адаптации в условиях изменений, а ИИ может стать отличным помощником на этом пути, если научиться правильно его использовать.

Инструменты ИИ, такие как агентные IDE и автодополнение, помогают ускорить рутинные задачи, но ключевым остаётся умение понимать, где ИИ работает лучше, а где нужен человеческий подход. Джунам нужно освоить этот баланс, чтобы не только эффективно работать с ИИ, но и стать полноценными участниками команды, готовыми к лидерству в будущем.

Метод, получивший название Memento, использует Memory-augmented MDP — концепцию, где ИИ «вспоминает» решения из прошлого, чтобы справляться с новыми задачами. Такой подход избавляет от необходимости обновлять параметры модели, улучшая эффективность и масштабируемость.

Как это работает? Memento состоит из трёх компонентов:

• Планировщик, который анализирует задачу и обращается к памяти
• Исполнитель, решающий подзадачи
• Банк случаев, где сохраняются решения, пригодные для использования в будущем

Этот метод не только решает текущие задачи, но и делает систему ИИ более гибкой и адаптивной к изменениям.

Как активировать режим разработчика?

— Перейдите в настройки
— Выберите раздел коннекторы
— Включите опцию дополнительные настройки и активируйте Режим разработчика

Что дает Режим разработчика?

• Включать Режим разработчика для отдельных чатов через иконку «+»
• В меню «Добавить источники» указать адрес вашего MCP-сервера
• Настроить дополнительные параметры для подключения и взаимодействия с внешними сервисами

Что такое MCP?

MCP (Model Context Protocol) — это протокол, который позволяет ИИ взаимодействовать с внешними системами. Например, можно подключить ChatGPT к корпоративным базам данных или интегрировать с системами тикетов вроде Jira, если настроены соответствующие разрешения.

Ранее в ChatGPT поддерживались только MCP, одобренные OpenAI. С новым режимом разработчика пользователи и разработчики смогут подключать любые MCP — но при этом важно помнить о безопасности. Подключая сторонние сервисы, вы берете на себя ответственность за безопасность данных и интеграций.

1. dlt — авто-создание датасетов для различных источников данных
dlt — это Python-библиотека с открытым исходным кодом, которая позволяет генерировать датасеты из самых разных источников: SQL, векторные хранилища, локальные БД и многое другое. dlt не только помогает преобразовать данные, но и поддерживает автоматическую миграцию схем, инкрементальную загрузку и мониторинг. Это идеальное решение для быстрого формирования и нормализации больших объемов данных.

2. Databonsai — оптимизация данных с помощью LLM
Databonsai помогает очищать и разметить данные с использованием LLM. Библиотека позволяет категоризировать неструктурированные данные и даже обрабатывать их пакетами для экономии токенов. В дополнение, Databonsai поддерживает трансформацию данных, создавая улучшенные шаблоны вывода для структурированных результатов. Это идеальный инструмент для тех, кто работает с большим количеством неструктурированных данных.

3. Lilac — проверка и кластеризация неструктурированных данных
Lilac был создан для обработки неструктурированных данных перед обучением LLM. Этот инструмент помогает фильтровать, кластеризовать и аннотировать данные, а также отслеживать изменения в разных версиях датасетов. Lilac особенно полезен для обработки текстов и изображений, а его интеграция с Databricks позволяет более эффективно работать с большими данными. Это решение помогает устранить ошибки в данных до того, как они попадут в модель.

4. Oxen — система контроля версий для больших данных
Oxen — это система для контроля версий больших датасетов, таких как CSV-файлы с миллионами строк. В отличие от стандартных инструментов, таких как Git LFS, Oxen оптимизирован для работы с крупными данными. Он имеет интерфейс командной строки и библиотеки для Python и Rust, а также интеграцию с HTTP. Это идеальный выбор для разработчиков, работающих с большими объемами данных и нуждающихся в высокой скорости.

— Base: для исследований и дообучения
— Instruct: основная версия для приложений и общения
— Thinking: для задач, требующих пошагового рассуждения, например, в математике или логике

Что нового в Qwen3-Next? Qwen3-Next использует уникальную архитектуру mixture-of-experts: из 80 миллиардов параметров модель задействует лишь 3 миллиарда, выбирая «нужных специалистов» под задачу. Это позволяет значительно ускорить работу без потери качества.
Кроме того, модель поддерживает работу с очень длинными документами — до 262 тысяч токенов «из коробки» и до 1 миллиона токенов в специальном режиме. По заявлению разработчиков, обучение модели обходится в 10 раз дешевле, чем у предыдущей версии Qwen3-32B, а её пропускная способность на длинных контекстах увеличена более чем в 10 раз.

• Уровень производительности сопоставим с Gemini 2.5 Flash и Qwen3-235B, но при этом запуск требует меньших ресурсов
• Открытая лицензия Apache-2.0, доступ через Hugging Face

Как работает ArcMemo?

В обычных моделях длинные цепочки рассуждений исчезают после каждого запроса, что приводит к потере полезных паттернов и концепций. Вот что предлагает ArcMemo:

• Сохранение концепций: ArcMemo позволяет сохранять абстрактные модули как концепции, представленные на естественном языке или в виде параметрических мини-функций.

• Типы концепций. Открытые — описание ситуации и подсказка. Программируемые — псевдокод и функции с параметрами.

• Процесс работы: после решения задачи она обобщается в набор таких концепций. Для новой задачи модель выбирает релевантные концепции и комбинирует их для решения.

• Обновление памяти: с каждым тестом модель получает обратную связь, что позволяет расширять и актуализировать память.

Система ArcMemo продемонстрировала +7.5% улучшения по сравнению с базовой моделью на бенчмарке ARC-AGI.