☄️ GenAI на вашем устройстве: Chrome, Chromebook Plus и Pixel Watch с LiteRT-LM

Время от времени появляется что-то, что может изменить подход к разработке приложений. Google выпустил новый фреймворк LiteRT-LM, который позволяет запускать LLM (Large Language Models) прямо на устройствах, таких как Chrome, Chromebook Plus и Pixel Watch. Да, вы правильно поняли — GenAI теперь доступен в оффлайне, без необходимости в API-вызовах и без задержек, которые часто возникают при обращении к удалённым серверам.

💥 Для разработчиков это настоящая находка. Почему? Всё просто:

• Отсутствие задержек — LLM теперь работает прямо на устройстве, что исключает лаги, связанные с удалёнными серверными вызовами.
• Нет расходов на API — экономия на сервисах, которые обычно требуют платных запросов.
• Локальный GenAI — теперь все вычисления и процессы происходят непосредственно на вашем устройстве.

🔔 Что стоит знать о LiteRT-LM?

Google использует LiteRT-LM в своих устройствах, таких как Gemini Nano, Chromebook Plus и Pixel Watch. Фреймворк открывает доступ к множеству возможностей:

• Открытый C++ интерфейс — это позволяет интегрировать LiteRT-LM в кастомные решения. Вы можете настроить систему под свои задачи.

• Архитектура: LiteRT-LM состоит из Engine и Session. Engine хранит базовую модель и ресурсы, доступные для всех функций. Session — это контекст, с возможностью клонирования и переключения задач с минимальными затратами ресурсов.

• Поддержка аппаратного ускорения (CPU, GPU, NPU) и кроссплатформенность — работает на Android, Linux, macOS и Windows, обеспечивая широкие возможности для различных устройств.

• Минимальный pipeline для Pixel Watch — Google продумал оптимизацию под ограниченные ресурсы устройства, что позволяет запускать GenAI даже на устройствах с небольшой памятью.

⚠️ Что включает в себя новый стек от Google?

Google не просто выпустил LiteRT-LM, а открыл целый стек для работы с GenAI:

• LiteRT — это движок, который быстро запускает AI-модели прямо на устройстве, оптимизируя время отклика.

• LiteRT-LM — интерфейс C++ для работы с LLM, объединяющий кэширование промптов, хранение контекста, клонирование сессий и прочее.

• LLM Inference API — готовые решения для интеграции GenAI в приложения, доступные для разработчиков на Kotlin, Swift и JS. Эти интерфейсы облегчают процесс внедрения GenAI в мобильные и веб-приложения.

Это целая экосистема для создания мощных, высокопроизводительных решений, которые работают в оффлайне, на вашем устройстве, без задержек и дополнительных расходов на API. Если вы разрабатываете приложение, использование этого фреймворка может значительно ускорить процесс и снизить стоимость.

Data Science

Как грамотно управлять LLM для эффективных решений в продакшене?

Когда речь идет о больших языковых моделях (LLM), большинство людей думают, что всё сводится к поиску «хитрого» промпта. Но это не так. На самом деле, успешная работа с LLM в продакшн-среде зависит не только от того, что мы ей даём, но и от того, как управляем её рассуждениями и как обрабатываем результат. Сегодня хочу поделиться своими мыслями о паттернах, которые я использую, чтобы превратить эту мощную технологию в инструмент, способный решать реальные задачи.

Что за паттерны?
Задумайтесь: мы работаем с LLM как с набором инструментов, а не как с волшебной коробочкой, которая даст вам готовый ответ на всё. Тут важно понимать, как и на каких этапах можно вмешиваться в процесс. Итак, рассмотрим паттерны работы с LLM по этапам: от ввода (Input) до вывода (Output). Я собрал основные подходы, которые помогут вам извлечь максимум пользы из нейросетей.

✔️ Входные данные: как настроить контекст

Всё начинается с контекста. Даем ли мы LLM достаточно информации для правильного понимания задачи? От этого зависит, как она сгенерирует ответ. Промптинг — это базовый шаг, где вы формулируете запрос, подставляя в него все необходимые переменные. Здесь важно быть максимально точным и учесть все нюансы. Вы также можете использовать такие технологии, как Retrieval-Augmented Generation (RAG), чтобы дополнить запрос свежей информацией из базы данных.

✔️ Управление рассуждениями: как заставить модель думать

Теперь, когда LLM понимает задачу, важно, чтобы она правильно решала её. Часто модели делают ошибки, пытаясь «сразу ответить». Чтобы этого избежать, можно разбить задачу на шаги. Например, используйте технику Chain of Thought (CoT), чтобы попросить модель «думать по шагам».

Другой интересный паттерн — это агенты и инструменты, которые предоставляют модели дополнительные возможности для работы с внешними системами, такими как поиск в интернете или доступ к API. С помощью инструментов модель может «вызывать» внешние функции, например, искать информацию в интернете или работать с базой данных.

✔️ Структурированные выводы: как гарантировать правильность результата

Порой важно, чтобы вывод был не только точным, но и структурированным. Для этого можно использовать структурированные выводы, например, Pydantic-классы, которые задают схему данных. Это поможет избежать ошибок в форматировании, а модель будет следовать правилам, не выходя за рамки нужной структуры.

✔️ Работа с результатом: как его обрабатывать и улучшать

После того как модель сгенерировала ответ, важно его проверить и отформатировать. Если ответ оказался ошибочным, используйте исправляющие промпты, чтобы модель перегенерировала результат с учётом ошибок.

Также не забывайте про Guardrails — фильтры безопасности, которые могут предотвратить нежелательные или опасные ответы. Это может быть полезно, например, для исключения токсичного контента или нежелательных результатов.

Как видите, работа с LLM требует грамотного подхода на каждом этапе: от формирования запроса до обработки результатов. Здесь важно не только дать машине информацию, но и контролировать её мышление. Успех в продакшн-среде зависит от того, насколько чётко вы выстроите взаимодействие с моделью.

Data Science

🚫 Как ИИ может создать путаницу в планах на путешествие

Технологии планирования путешествий с использованием ИИ стремительно завоевывают популярность, и это неудивительно. Сервисы вроде ChatGPT или Layla делают нашу жизнь проще, помогая нам найти интересные маршруты, рекомендации по достопримечательностям и даже бронировать билеты. Но, как и любая новация, эти инструменты имеют свои темные стороны. Недавние случаи с «путеводителями» ИИ показали, как легко можно попасть в ловушку, доверившись такой системе.

❌ Несуществующие места и опасные советы

Недавняя история из Перу – яркий пример того, как ИИ может сбить с толку. Путешественники, вооруженные рекомендациями из ChatGPT, искали путь к несуществующему Священному каньону Умантай. Они поверили в описание, которое звучало убедительно, но, как выяснилось, это был просто фальшивый маршрут, созданный ИИ. Разочарование могло закончиться трагически: местность в Перу требует четкого планирования и знания маршрутов, иначе можно попасть в экстремальные условия. Эта ошибка стоит напоминания: технологии — не всегда надежные советчики.

🥸 От ошибок к «галлюцинациям» ИИ

Система ИИ не «знает» фактов. Она лишь анализирует огромные объемы информации и создает текст, который звучит правдоподобно. Это приводит к так называемым «галлюцинациям» - когда ИИ выдает ложные или искаженные данные, при этом не имея никакого сомнения в их правдивости. Недавний случай, когда сервис Layla уверял путешественников, что в Пекине стоит Эйфелева башня, — это пример того, как быстро можно попасть в нелепую ситуацию, просто следуя советам ИИ.

💯 Неоправданная уверенность ИИ

Проблема в том, что ИИ часто выдает информацию с такой уверенностью, что пользователь не замечает ошибок. Причем такие галлюцинации могут быть не только смешными, но и опасными. Например, карты и маршруты, предложенные ИИ, могут привести нас в места, которые не существуют или которые не подходят для туристов. Проблемы появляются, когда люди, не проверяя информацию, следуют этим путеводителям.

Планируя путешествия с помощью ИИ, важно помнить, что полагаться на систему как на единственный источник истины нельзя. Прежде чем отправиться в путь, важно перепроверить все данные, заданные искусственным интеллектом. Не забывайте сохранять гибкость и быть готовыми к изменениям, ведь чем бы ни оказалось ваше путешествие, в конечном итоге важно получать удовольствие.

Data Science

😁 Сложности организации новогоднего корпоратива:

💥 xCode Journal

🌐 Google ADK и «Startup Technical Guide: AI Agents»: новый стандарт создания AI-агентов

Еще недавно не существовало четкой дорожной карты для создания AI-агента. В новом документе Google, на 64 страницах, охватывает весь путь от концепции до внедрения в продакшн, делая акцент на том, что важна не только идея, но и практика. Но чем же он отличается от всего, что было до этого?

📌 Почему AI-агенты — это не чат-боты

Одно из главных отличий, о котором говорит гайд, — это то, что AI-агенты — это не просто чат-боты, а полноценная парадигма. Мы не просто даем команду и получаем ответ. Агент, в отличие от бота, может планировать, принимать решения, привлекать различные источники данных и инструменты для решения комплексных задач. Это что-то гораздо более амбициозное. Например, агент может самостоятельно организовать запуск продукта или решить проблему в цепочке поставок.

Это, на мой взгляд, действительно переломный момент. Я сам, когда впервые создал простейшего агента, который выполняет сложные задачи без постоянного контроля, почувствовал, что это совсем не тот же чат-бот. Это совершенно новый класс решений, и Google, похоже, задает стандарты для всех нас.

🕯 ЛЛМ не достаточно — нужно строить инфраструктуру

Google прямо заявляет: даже самая мощная языковая модель не сделает агента работоспособным без грамотной инфраструктуры. Для того чтобы агент стал чем-то большим, чем просто демонстрацией возможностей LLM, нужна четкая архитектура, интеграция данных и скалируемые инструменты. И гайд подробно расписывает, что нужно для этого — от памяти и оркестрации до логики работы с внешними источниками.

Именно такие моменты зачастую игнорируются. Вначале создается нечто вроде скрипта с GPT-4 и API, а потом агент не выдерживает нагрузок и просто падает. Google предлагает решение: использовать готовую инфраструктуру, которая упрощает создание стабильного и работоспособного агента. Это каркас, который снимает часть головной боли и позволяет сосредоточиться на более важных аспектах.

⚠️ Погружение в реальность: от фантазий к фактам

Еще один важный момент — это Grounding. Как избежать «галлюцинаций» модели? Google предлагает привязать агента к достоверным источникам данных через методы, такие как Retrieval-Augmented Generation (RAG), что значительно повышает точность ответов. Агент становится не просто генератором текста, а исследователем, который проверяет свои данные.

Часто агенты, не подключенные к реальным источникам данных, могут выдавать совершенно некорректные ответы. Здесь, например, Google использует возможность интеграции с поисковыми системами, чтобы агент сам решал, когда и как использовать данные.

⛔️ Безопасность и этика — обязательные требования

Особое внимание уделяется безопасности. В процессе разработки AI-агентов важнейшим фактором является защита данных и этическое поведение. На этом этапе уже невозможно пускать все на самотек. Для таких проектов нужны системные проверки, ограничения и мониторинг на каждом шаге. У Google в этом плане четкий подход: безопасность должна быть встроена в процесс с самого начала.

Прочитав этот гайд, я понял, что Google действительно задает новый стандарт в области создания AI-агентов. Это не просто документация, а руководство по построению надежных, безопасных и масштабируемых систем. Дисциплинированный подход, который пропагандирует Google, станет основой разработки таких технологий.

Data Science

Российские генеративные модели Kandinsky 5.0 Video Lite и Pro в международной text-to-video арене

🔘Pro версия является ТОП-1 опенсорсом в мире

🔘Lite версия (2B параметров) лучше первой версии Sora

🔘На данный момент Сбер уступает только топовым мировым бигтех компаниям: Google (Veo 3.1, Veo 3), OpenAI (Sora 2), Alibaba (Wan 2.5), KlingAI (Kling 2.5, 2.6); в паритете с Luma AI (Ray 3), MiniMax (Hailuo 2.3) — отрыв по ELO максимум 3 балла, при 95% доверительном интервале оценивания +-21 балла

🔘Для российских генеративных моделей выход на международную арену — уникальное событие

🚀 Полезные ссылки:
🔘Посмотреть весь лидерборд: lmarena
🔘Почитать подробнее про Kandinsky 5.0: пост, техрепорт
🔘Open Source Kandinsky 5.0: github и hf

✔️ Фотоника и искусственный интеллект

ИИ стремительно развивается. Но несмотря на все достижения, есть одно «но», которое не даёт индустрии двигаться вперёд так стремительно, как хотелось бы. Мы не можем забывать о физических ограничениях. Например, если заглянуть в будущее, мы видим, что текущий подход к вычислениям в ИИ, ориентированный на увеличение объема моделей (экстенсивный рост), сталкивается с неизбежными барьерами, такими как высокие затраты на энергию и охлаждение. Подобные ограничения буквально сводят на нет многие амбиции, особенно на уровне железа.

📌 Тем не менее, есть ли альтернативы, которые могут радикально изменить картину? Ответ, возможно, в фотонике.

Мы все привыкли к идее «бесконечного» роста вычислительных мощностей, но с 2006 года закон Мура не работает, как раньше. Транзисторы почти достигли своих физических пределов, а производительность процессоров больше не зависит от тактовой частоты. Все больше мы видим отказ от принципа моноядерных процессоров в пользу многоядерных решений, но тут тоже есть проблемы. Многозадачность и многопоточность, несмотря на свою популярность, не всегда приносят реальный выигрыш.

Задумайтесь на секунду: это ли не прямой путь к масштабированию проблем, а не их решению? Как бы мы ни пытались улучшить старую архитектуру, её физические ограничения — перегрев, высокое энергопотребление и медленный доступ к памяти — всё равно остаются.

💬 Фотоника: революционный шаг вперёд

Вот тут и появляется возможность для изменения парадигмы — фотоника. Это технология, основанная на использовании света для передачи данных. В отличие от традиционных электроники, фотоника позволяет значительно ускорить вычисления благодаря скорости распространения света и моментальному изменению состояний.

🕯 Фотонные устройства обладают множеством преимуществ: они не перегреваются, потребляют гораздо меньше энергии и могут работать с гигантскими объёмами данных. Но есть и сложности — например, трудность хранения данных. В фотонных системах оперативная память почти не используется, а данные обрабатываются по принципу параллельных вычислений с разными длинами волн.

Но эти ограничения могут стать преимуществами в специфических задачах — например, в инференсе ИИ, где важна высокая пропускная способность и минимальное энергопотребление. И тут фотоника может стать настоящей находкой, особенно если говорить о масштабных проектах, таких как вычислительные фабрики.

Итак, несмотря на очевидные трудности, фотоника представляет собой реальный шанс для решения множества вычислительных задач. Однако чтобы эта технология стала мейнстримом, нужно больше исследований и интеграции с существующими системами.

Data Science