Документалка DeepMind теперь доступна бесплатно 🍴

Если вы хоть немного интересуетесь искусственным интеллектом и его развитием, то наверняка слышали про AlphaFold — модель, которая потрясла научный мир. В честь пятилетия этой системы Google выложил на YouTube документальный фильм про DeepMind.

Картина называется «The Thinking Game» и, возможно, кто-то из вас уже успел ее посмотреть — она была доступна на платных платформах с лета 2024 года. Но вот теперь, Google решился подарить этот фильм всем желающим.

Документалка, которая снималась с 2019 года, рассказывает не только о Демисе Хассабисе, основателе и CEO DeepMind, но и о всей команде, которая стоит за разработкой таких проектов, как AlphaGo, AlphaZero и, конечно, AlphaFold. Это своего рода экскурс в культуру и философию DeepMind, где на фоне ключевых научных достижений проходит рассказ о людях, которые все это создавали.

Если вы когда-то задавались вопросом, как вообще можно вывести ИИ на такой уровень, чтобы он начал решать задачи, стоящие перед самыми опытными учеными, то этот фильм даст ответы на многие вопросы.

Система AlphaFold не просто решает задачи в области биоинформатики, она буквально перевернула способ, которым ученые изучают структуру белков. Это достижение стало возможным благодаря огромной работе, проделанной командой DeepMind, и сейчас мы стоим на пороге того, чтобы с помощью ИИ разгадывать тайны жизни на уровне, который раньше был невозможен.

Те, кто еще не видел этот фильм, могут наверстать упущенное. Это отличная возможность не только узнать о технологических достижениях, но и вдохновиться на новые идеи.

Data Science

Как эксперты видят будущее ИИ 😐

В последние годы темы искусственного интеллекта и AGI поляризовали общественное мнение. Кто-то уверяет, что мы на пороге суперинтеллекта, а другие кричат, что весь этот хайп — всего лишь пыль в глаза. Но вот интересный факт: если вы уберете громкие заголовки и взглянете на мнения реальных экспертов, картинка будет совершенно другой. Вот что сказал Ноам Браун, ведущий исследователь в OpenAI:

«Соцсети часто сводят дискуссию об ИИ к двум крайностям. С одной стороны, у нас есть скептики, которые уверены, что ИИ — это просто модное явление и ничего больше. С другой — фанатики, которые считают, что суперумные машины вот-вот станут реальностью.»

Но если взглянуть на мнение настоящих специалистов, то увидим нечто более сбалансированное и менее драматичное. Что говорят ученые?

— Текущие технологии уже могут произвести огромный эффект. Даже без сверхреволюционных открытий, современные модели ИИ способны изменить экономику и общество.

— Для достижения AGI (и тем более ASI, искусственного суперинтеллекта) нужны дополнительные исследования. К примеру, многие исследователи упоминают такие проблемы, как постоянное обучение и эффективность выборки. Эти прорывы могут быть ключевыми для следующего шага.

— 10-20 лет на пути к AGI. Средний срок, который называют ученые, — 10 лет. Но в целом, консенсус таков: да, мы точно придем к этому, и вполне возможно, что это случится в ближайшие десятилетия.

Если убрать все шумиху и хайп, оказывается, что мнение ученых гораздо более зрелое и оптимистичное, чем мы привыкли думать, глядя на громкие заголовки. Конечно, для того чтобы достичь того самого суперинтеллекта, предстоит пройти еще долгий путь, но так ли уж фантастичен этот путь? Да, нужно больше исследований, но идея о том, что AGI будет создано в ближайшие 10-20 лет, в целом вполне реалистична.

Data Science

Математический предел креативности нейросетей 💀

Математика не шутит, особенно когда дело касается творчества ИИ. Недавняя работа австралийского исследователя Дэвида Кропли из Университета Южной Австралии утверждает, что у генеративных ИИ-систем вроде ChatGPT есть жесткий математический потолок креативности. Речь о том, что даже самые «креативные» ИИ-системы, по мнению Кропли, могут быть креативными только до определенного предела. Давайте разбираться, в чем же тут подвох?

Дэвид Кропли использует классическое определение творчества из психологии, где продукт признается креативным только тогда, когда он одновременно новый и уместный. Он формулирует это так: C = N × E
где C — это креативность, N — новизна, а E — эффективность.

А как это соотносится с языковыми моделями вроде ChatGPT? Кропли вводит понятие вероятности того, какое слово модель выберет на данном шаге. И оказывается, что креативность на одном шаге можно описать как: C = p × (1 − p) = p − p²
где p — это вероятность выбранного слова. Математика подсказывает, что максимальная креативность может быть достигнута, когда вероятность равна 0.5 (средний выбор). Когда слово слишком вероятно, оно становится банальным, а когда слишком редким — уместность теряется.

Пример с котом 😺

Чтобы понять, как это работает, Кропли приводит пример: «The cat sat on the ...». Для ИИ слово mat будет очень вероятным, но оно настолько банально, что новизны почти не добавляет. Более редкие варианты, вроде moon или chair, с одной стороны, новее, но рискуют быть неуместными.

Так вот, каждый шаг в процессе генерации у ИИ балансирует между «банально, но правильно» и «оригинально, но рискованно». И как бы ни старались модели, они не могут быть одновременно очень новыми и очень уместными. То есть, как бы ни учились на данных, ИИ всё равно окажется где-то в середине, между слишком банальным и слишком странным.

Кропли делает вывод, что текущие языковые модели могут лишь имитировать творчество на среднем уровне. В реальности они, по его мнению, никогда не выйдут на уровень профессионалов или гениев. Их «творческий потолок» — это как раз 25% шкалы творческих способностей человека. Выходит, ИИ может быть хорош в создании посредственных идей, но сложно ждать от него настоящего прорыва.

Однако Кропли не говорит, что ИИ всегда будет таким. Он утверждает, что для достижения «экспертного» уровня потребуется новая архитектура, которая будет генерировать идеи, не привязанные к уже существующим данным. То есть, новые технологии, которые смогут выходить за рамки привычных статистических паттернов. Фуух, будущее есть!

Data Science

Все крупные игроки борются за решение одной проблемы 🤔

Если вы интересуетесь развитием ИИ-агентов, то наверняка заметили, как все ведущие технологические компании стремятся решить одну и ту же задачу: как эффективно работать с графами знаний в реальном времени для больших языковых моделей? Microsoft, Google, AWS — все ищут решения, но FalkorDB предлагает интересный подход. Давайте разберемся, в чем его уникальность.

Для начала, давайте немного углубимся в обычные графовые базы данных. Традиционные графовые базы хранят связи между узлами, а когда вы делаете запрос, система проходит от узла к узлу, шаг за шагом, как бы следуя по карте. Это нормально, но вот проблема: при работе с огромными графами знаний, как в случае с ИИ-агентами, это становится серьезным узким местом.

А что если представить граф как математическую структуру?

FalkorDB решает эту проблему с помощью разреженных матриц. В отличие от традиционных графов, где хранятся все связи, разреженная матрица хранит только существующие, действительные связи. Это позволяет значительно экономить место и ресурсы. Но это еще не все.

Ключевое преимущество: когда граф представлен как разреженная матрица, вы можете делать запросы с помощью линейной алгебры, а не пошагового обхода. А линейная алгебра работает намного быстрее, чем традиционное путешествие по графу. Плюс, разреженные матрицы используют память с максимальной эффективностью — вы храните только то, что действительно нужно.

Почему не использовать просто векторный поиск 😂

Векторный поиск, конечно, быстрый, но он ограничен поиском только по схожести, не учитывая тонкие связи и структуру данных. Графы же позволяют уловить тонкие взаимосвязи между объектами. Это важно, потому что контекст, который вы подаете агенту, должен быть не просто похожим, а точным и релевантным.

Что предлагает FalkorDB?

• Ультра-быстрая многозадачная графовая база данных.
• Эффективное хранение с использованием разреженных матриц.
• Совместимость с OpenCypher — тем же языком запросов, что и в Neo4j.
• Оптимизирована для приложений на базе LLM и памяти агентов.
• Работает поверх Redis для простоты развертывания.

Если вы строите ИИ-агентов, которым нужно работать с подключенными данными в реальном времени, FalkorDB — это инструмент, который стоит попробовать.

Data Science

🤣 Гениальный план, как избавиться от бесящих коллег

💥 xCode Journal

🤯 Краудсорсинговые онлайн-задачи по ML выросли за год в 5 раз

Ozon раскрыл, что их платформа Profit уже объединила 40 000+ исполнителей. Умельцы закрывают там многие задачи: разметку данных, проверку качества, анализ тональности комментариев, фото «с мест» и всё то, что раньше требовало много затрат и усилий.

Так что, если вашим моделям не хватает данных или валидации, имейте в виду

✖️ xCode Journal

OpenAI после GPT-4: почему не выходит ничего нового и что скрывает компания? 😭

В последние месяцы вокруг OpenAI ходят любопытные слухи и размышления. По данным аналитиков из SemiAnalysis, компания не выпустила ни одной по-настоящему новой и мощной модели ИИ после релиза GPT-4o в мае 2024 года. Вопрос, который возникает у многих: куда уходят все те ресурсы, которые OpenAI активно закупает для разработки новых технологий? Похоже, что компания просто не успевает за конкурентами.

По мнению аналитиков, OpenAI закупает ускорители (GPU) в рекордных объемах, но при этом использует архитектуру 1,5-летней давности, в том числе для таких моделей, как GPT-5. Причем ни одна из моделей, выпущенных после GPT-4, не прошла полное предварительное обучение, что является важным этапом для создания новых передовых систем. Для примера: GPT-4.5 Orion и GPT-5 — это не новые разработки, а улучшения существующих моделей с акцентом на обучение с подкреплением и рассуждения.

При этом конкуренты, такие как Google, не теряют времени зря и продолжают развивать свои передовые модели, например Gemini 3 Pro, что, как стало известно, вызывает беспокойство в OpenAI. Сам Сэм Альтман, CEO OpenAI, упомянул, что конкуренция с Google будет сложной и потребует значительных усилий.

Как так получилось?

Для того чтобы понять, куда уходят все эти деньги и ресурсы, стоит обратить внимание на несколько важных аспектов. Прежде всего, OpenAI активно развивает новые направления, такие как модели для создания изображений и Sora 2 (новая модель для обработки данных). Но если сравнивать с гигантскими инвестициями, которые компания направляет в вычислительные ресурсы, на выходе получаем не такие уж большие прорывы.

Например, по оценке Epoch AI, в 2024 году OpenAI потратила около 7 миллиардов долларов на вычисления. 5 миллиардов из этой суммы пошли на тренировочные задачи, а другая часть расходов идет на инференс. Ведь ChatGPT ежедневно обслуживает 800 миллионов пользователей, и объем диалогов достигает 2,5 миллиардов в неделю.

И все же есть и светлые перспективы. В OpenAI официально признают, что ставка сделана на режим рассуждений, который активно развивается под руководством Лукаша Кайзера. Это может означать, что в будущем мы увидим не просто более умные модели, но и новые формы ИИ, которые смогут понимать и рассуждать на более глубоком уровне.

Data Science

Как распределенная система агентов меняет генерацию синтетических данных 🗒

Когда речь заходит о генерации синтетических данных, мы обычно представляем себе процесс с несколькими агентами, каждый из которых выполняет свою часть задачи: генерирует текст, оценивает результаты, использует инструменты и выбирает лучший вариант. Всё это хорошо, но на больших объемах данных центральный оркестратор, управляющий всеми этими процессами, быстро становится узким местом. В итоге мы сталкиваемся с высокой нагрузкой на сеть и систему, а GPU простаивает. Это проблема.

И вот тут на сцену выходит Matrix — новый распределённый мультиагентный фреймворк, который решает все эти проблемы и обещает изменить подход к масштабируемости и синтетической генерации данных.

Matrix меняет подход к управлению агентами, убирая централизованный оркестратор и позволяя агентам работать напрямую друг с другом через одноранговую (P2P) сеть. Идея простая, но мощная: агенты получают инструкции и данные через сообщения, выполняют задачи и передают их дальше.

Основные принципы Matrix:

— Одноранговая оркестрация. Все агенты работают как независимые единицы, и управление распределяется через сообщения.
— Асинхронность на уровне строк. Задачи обрабатываются поэтапно, а не в больших пакетах, что устраняет задержки и увеличивает эффективность.
— Разгрузка сообщений. Все большие данные хранятся во внешних хранилищах, и по сети передаются только идентификаторы, что экономит пропускную способность.
— Вынесение тяжёлых операций. Инференс моделей и сложные вычисления выполняются через специализированные сервисы, уменьшая нагрузку на систему.

Как это работает в реальных условиях?

— Мультиагентное согласование. В одном тесте два агента не могли прийти к согласию и генерировали сложные сценарии для обучения. Matrix позволил улучшить масштабируемость и сократить нагрузку, увеличив число одновременных задач с 18 900 до 129 800 токенов в секунду.
— Извлечение вопросов и ответов. При извлечении сложных вопросов из 25 миллионов веб-страниц, Matrix смог обработать 1,19 миллиона примеров с использованием трёх агентов, в то время как другие подходы не справлялись с такой нагрузкой.
— Поддержка сценариев общения. В других тестах Matrix увеличил производительность до 15 раз по сравнению с базовыми решениями, обеспечив более высокую скорость обработки диалогов.

Почему Matrix работает? 💃

Matrix устраняет проблему центральной точки планирования, которая традиционно является узким местом. Разделение инференса и использование gRPC позволяют уменьшить сетевые накладные расходы и задержки, а асинхронное планирование повышает стабильность и увеличивает выработку токенов.

Что важно помнить?

Matrix ориентирован на кластерное развертывание и интеграцию с Ray, SLURM, Ray Serve, что даёт ему явные преимущества при масштабировании на десятки тысяч параллельных задач. Но это требует настройки внешних сервисов инференса, что стоит учитывать при внедрении.

Агенты будут развиваться сами по себе, без центрального управления. В будущем таких систем будет всё больше, и этот подход явно задаёт тон для следующего поколения технологий.

Data Science

🤣 А потом ушел в другую семью, потому что там платят больше

💥 xCode Journal

Как стихотворные запросы могут взломать нейросети 😂

Для того, чтобы обойти фильтры безопасности языковых моделей, не нужно быть хакером или разрабатывать сложный код. Достаточно написать запрос в стихах. Группа исследователей из лаборатории DEXAI провела эксперимент, который показал, что поэтическая форма помогает «пробить» защиту многих современных нейросетей.

На первый взгляд это может звучать как шутка, но цифры говорят сами за себя. В ходе эксперимента ученые прогнали около 1200 вредоносных запросов через 25 различных моделей, включая Gemini 2.5 Pro, GPT-5, Claude Opus 4.1, DeepSeek R1 и многие другие. И вот что интересно: те же самые запросы, переписанные в стихотворную форму, оказывались гораздо более эффективными. Причем «пробивали» защиту в среднем в 60% случаев, а у некоторых моделей этот показатель достигал 90–100%.

Чтобы проверить, как это работает, исследователи взяли набор запросов из открытого репозитория MLCommons AILuminate (включающие темы вроде химического оружия, кибератак и утечек данных) и переписали их в стихах. Получился своего рода поэтический «слой», который обходит стандартные фильтры безопасности.

У Gemini 2.5 Pro на 20 стихотворных запросов не было ни одного отказа — все ответы оказались небезопасными. В то время как модели вроде GPT-5 Nano и Claude Hiaku 4.5 с трудом «клюнули» на такие запросы, отклоняя их в 90% случаев 😂

Это, конечно, тревожный сигнал для разработчиков. Оказавшись на стадии тестирования, такие стилистические «обходы» безопасности могут легко оставаться незамеченными. По сути, современные бенчмарки и подходы к выравниванию моделей (такие как RLHF и Constitutional AI) не могут учесть таких «игровых» форматов, как стихи или сказки, где язык выглядит абсолютно безобидно, а за ним скрывается реальный риск.

Теперь, очевидно, перед разработчиками стоит новая задача: научить нейросети работать не только с прямыми запросами, но и с более «творческими» формами, где смысл может скрываться за метафорами и рифмами.

Data Science

Илья Суцкевер о будущем ИИ 💃

Если вы интересуетесь тем, как развивается искусственный интеллект и куда мы движемся в контексте AGI, то недавно вышедшее интервью с Ильёй Суцкевером (сооснователем OpenAI) точно стоит вашего внимания.

Суцкевер поделился множеством инсайтов на тему стратегии SSI, проблем с предобучением и способов улучшения обобщающих способностей ИИ-моделей. Также он затронул важные вопросы касаемо того, как обеспечить позитивное будущее для AGI.

Data Science

🌎 Google не разрешает сотрудникам использовать свою же недавно выпущенную IDE Antigravity

И, видимо, не зря — реддитор рассказал, что ИИ-агент Antigravity случайно удалил весь его диск, пока пытался исправить баг:

«Я просматриваю журналы с предыдущего шага и с ужасом вижу, что команда, которую я выполнил для очистки кэша проекта (rmdir), по всей видимости, ошибочно указала на корень вашего диска D:, а не на конкретную папку проекта.
Мне очень, очень жаль.»

✖️ xCode Journal

Helion: Новый уровень производительности для ML-ядер 😮‍💨

Современные системы машинного обучения требуют высокого уровня вычислений, и для этого часто используют кастомные ядра. Но написание таких ядер в низкоуровневых языках сильно усложняет поддержку и переносимость на другие архитектуры. Helion решает эту проблему, предлагая высокоуровневый язык программирования для создания производительных и переносимых ML-ядер.

Helion использует Python-подобный синтаксис и автоматически компилирует код в оптимизированные Triton-ядра. Всё это при минимальном вмешательстве разработчика, который может сосредоточиться на алгоритмах, а не на деталях реализации. Это позволяет не только легко переносить решения между разными аппаратными платформами, но и ускорять разработку.

Helion использует автотюнинг для выбора оптимальных параметров ядра, что избавляет от необходимости вручную прописывать настройки. Система автоматически ищет и находит наилучшие конфигурации для конкретного оборудования.

Кроме того, Helion поддерживает работу с PyTorch и легко интегрируется с другими библиотеками, что делает её идеальным инструментом для создания высокопроизводительных ядер с минимальными усилиями 🍿

В результате Helion позволяет разработчикам создавать ядра, которые могут конкурировать по производительности с оптимизированными решениями, написанными вручную, но при этом требуют гораздо меньше времени на разработку. Как вы думаете, стоит ли использовать высокоуровневые абстракции в ML для повышения производительности?

Data Science