NeoBert: архитектурные фишки и рекордные результаты 😇

Авторегрессионные модели вроде DeepSeek сейчас в тренде. Они учатся в контексте и решают сложные задачки. А вот bidirectional LLM-энкодеры как-то отставали, хотя тоже важны.

NeoBert — это улучшенная версия:
🧁 пересмотрели depth-to-width ratio: теперь у нас 28 слоёв вместо 16 при фиксированном количестве hidden dimensions — 768
⭐️ стандартные компоненты сети поменяли на RoPE, RMSNorm и SwiGLU

В общем, сделали всё по последнему слову техники 🤖

Предобучили в два этапа на датасете RefinedWeb в 600 млрд токенов:
💌 гоняли на текстах до 1024 токенов для создания прочных short-to-medium репрезентаций без вычислительных затрат
🙂 плавно растягивали контекст, сохраняя перформанс. Удалось увеличить длину до 4096 токенов

NeoBert показал SoTA на GLUE и MTEB. На текстах до 4096 токенов выдал прирост на 4,5%, да ещё и ускорил инференс на 46,7% ⚡️

Изображение Chandar Research Lab, Mila – Quebec AI Institute, Polytechnique Montréal, Royal Military College of Canada, Canada CIFAR AI Chai

🆕 Claude врывается в интернет

Anthropic обновила чат-бота, добавив суперспособность — поиск в сети. Теперь он находит инфу онлайн. Фича доступна для платных американских пользователей, но скоро доберётся и до остальных 🎈

Как работает:
📥 включаем в настройках профиля
🔗 ответы основаны на актуальных источниках, проверяем по ссылкам
😓 поддерживает пока только Claude 3.7 Sonnet

Говорят, что помощник иногда сбоит. Но если находит, то уж находит. Вытаскивает данные даже из соцсетей, не говоря уж про NPR и Reuters 📞 Цену на подписку в связи с апгрейдом вроде повышать не собираются 😵‍💫

Sber500 снова зовёт 🛞

Кто тут мечтал вывести стартап на новый уровень? Делюсь возможностью! Стартовала подача заявок на участие в топовом акселераторе. Качаем скиллы, знакомимся с крутыми менторами и, конечно, привлекаем инвестиции 💸

Как это работает:
🗓 12 недель интенсивной акселерации с экспертами
🔝 онлайн-буткемп пройдут 150 стартапов
⭐ 25 лучших попадают на демо-день, чтобы показать себя по красоте

Почему советую:
🪙 выручка выпускников в среднем вырастает в 4 раза
👍 экспертиза мирового класса и партнёрские связи бонусом

Кто может участвовать:
🎁 стартапы с готовым продуктом/MVP и первыми продажами
🤾‍♂️ команды, готовые работать full-time

Нюансы:
Подавать заявки могут стартапы из всех отраслей, особенно DeepTech.

Программа на английском, участие бесплатное 🤝

Важно успеть подать заявку до 12 мая 🔜

Изображение Сбер

Бизнес на автопилоте: Yokohama рулит процессами

ServiceNow зашла с огоньком 🔥 Выкатили платформу, которая завозит кучу AI-агентов в бизнес, чтобы выжать максимум из задач.

Особенности:
💼 здесь все: AI-агенты работают на одной платформе плюс инструменты, чтобы их создавать, настраивать и управлять

⏳ умные данные: инфу собирают из различных источников о бизнесе, чтобы агенты принимали решения обоснованно

😏 надзиратели: можно ставить одних AI-агентов на контроль других

🆘 новые инструменты. SecOps Expert AI Agents упрощают безопасность и быстрее ловят угрозы. Autonomous Change Management AI Agents сами придумывают, как внедрять изменения. Proactive Network Test & Repair AI Agents видят баги до того, как они начнут портить процесс 

👍 Workflow Data Fabric — это как суперклей для данных. Соединяет всё в одну систему, чтобы автоматизировать процессы

Изображение ServiceNow

Gemini больше не надо объяснять 🤨

Google внедряет новые функции Gemini Live, позволяющие в реальном времени считывать информацию с экрана устройства или камеры смартфона.

Как это на практике:
🇨🇦 прямо на ходу отвечает на вопросы, что происходит на экране
▶️ анализирует видео в реальном времени с камеры телефона. Подскажет, например, какой цвет краски больше подойдёт глиняному горшочку (смотрим тут)

Обновления появились примерно через год после того, как Google показал наработки по Project Astra, хотя пока опции доступны только подписчикам Google One AI Premium 💵 Но в целом понятно, что компания активно пытается опередить конкурентов в сфере умных помощников вроде Amazon и Apple 🚶

Изображение Nightcafe

Platinum Benchmarks: когда 100% — это действительно 100% 💯

Спецы MIT проверили надёжность бенчей, которыми оценивают LLM.

Взяли тесты на математику (SingleOp, MMLU, GSM8K), логику, таблицы, рассуждения (Winograd WSC), понимание текста и визуала. И вот что поняли: некоторые датасеты содержат до 75% ❗️ ошибочно размеченной инфы.

Как разбирались:
🧹 с помощью специального протокола для очистки данных создали суперточные platinum benchmarks, где до максимума доходят только реально классные модели
👎 выяснилось, что даже топовые LLM вроде Claude 3.5 Sonnet имеют ненулевую ошибку
🎓 Claude плохо округляет большие числа, из-за чего хромает арифметика, а Gemini 1.5 Flash и Pro не шарят в задачах на хронологию

А ведь сейчас бенчмарки важны не меньше моделей. Они помогают систематизировать знания о способностях LLM, так что было бы неплохо видеть реальную картину 🧐

Изображение создано для канала Душа Питона с помощью Kandinsky 3.1

Dynabook XR1: видим больше 👍

Очки создали специально для деловых людей. Совмещают реальный мир с полезной инфой прямо перед глазами 😎 Можно получать подсказки о туристических местах, инструкции по ремонту и даже расширять рабочий стол компа 👩‍💻

Что умеют:
🧐 проецировать чёткую картинку 1920x1080 на каждый глаз, причём яркость доходит до 1000 нит благодаря технологии LentinAR PinTILT
📸 встроенная камера на 13 Мп фоткает, а стереодинамики подходят для звонков
😳 сенсоры накладывают цифровые объекты на реальную картинку

Как управлять:
👩‍❤️‍💋‍👨 соединяются USB-C с контроллером dynaEdge C1 XR
▶️ контроллер работает на ARM SoC, управляется через тачпад, кнопки и датчики движения
📞 для связи с телефонами Wi-Fi 6 и Bluetooth 5.2

Цены пока секретные, но, скорее всего, будут стоить как аналогичные NTT QONOQ Mirza XR, тоже на базе LentinAR 😵‍💫

Proxy Value Propagation: как модели перенимают опыт 😓

Отвечаю на вопрос о reward-функции (опрос см. выше 🤘). Она оценивает, успешно ли агент выполнил задачу, давая ему позитивные или негативные отзывы. Но теперь придумали, как ещё его научить 🆕

PVP — RL-метод, вместо системы наград использующий прямое обучение от экспертов. Меняют policy-функцию на основе человеческих правок. Так можно обойти несовершенства reward.

Работает так:
🍴 использует два буфера — для автономных действий агента (novice) и исправленных экспертом (human). Когда люди вмешиваются, система помечает их действие как хорошее, а своё — как ошибку 📊
✏️ автоматически переносит правки на похожие ситуации

На типичных задачах RL, включая автономное вождение, PVP точнее повторяет человеческие стратегии, генерализуется даже в новых условиях 🌪

Так что разработка довольно перспективная 🚗

Изображение University of California, University of Edinburg

🆕 Grok в Telegram: что может, а чего не умеет

Илон Маск объявил, а я проверила 💬. Да, он действительно здесь. Чат-бот Grok теперь официально запущен в Telegram, ищите по нику @GrokAI.

По факту:
📱 для общения с ним нужно иметь подписку Telegram Premium
🔠 уже можно задать боту кучу вопросов
🔠 искать инфу и рассуждать с ним пока нельзя

А ещё говорят, что сразу после запуска Grok лёг из-за наплыва желающих с ним поговорить. Но у меня всё работает 😓

Mercedes нафаршировал свою новую ”ласточку” кучей AI-опций 🚗

Рассказываю про всё:
☀️ MB.OS. Прошивка, на которой крутится мультимедиасистема MBUX. Способна учиться и адаптироваться к предпочтениям водителя: запоминать маршруты, музыкальные вкусы или даже настройки климата
🚐 машина умеет ездить сама почти как полноценный автопилот (уровень 2++), но водитель пока должен быть начеку
🚗 обновления онлайн: через интернет можно заливать свежие функции для автопилота и другой помощи водителю
📱 Google и Microsoft поделились технологиями (Gemini, Azure и Bing) для голосового ассистента. Разговаривает по-людски и помогает с навигатором или поиском кафе
😓 для ответов и сохранения контекста используют GPT-4o

Вся аналитика и обучение происходят прямо в машине, а не в облаке — личная инфа под защитой 🗡

Видео создано для канала Душа Питона с помощью Kandinsky Video 1.1

Достижения, рост и связь с человеком

Рассказываю о новых преимуществах AI в повседневной жизни 🔡🔡

1️⃣ Бенч ARC-AGI-2 от ARC Prize проверяет не только умение систем решать задачи, но и их эффективность. В этом модели (даже o3 ☺️) пока что не супер и требуют вмешательства людей. ARC-AGI-2 акцентирует внимание на тех моментах, где AI ещё сильно нам уступает.

2️⃣ Microsoft добавил в Copilot двух AI-ассистентов: Researcher проводит сложные исследования, Analyst работает с данными на уровне опытного аналитика 😎 Инструменты появятся у пользователей в апреле.

3️⃣ Апгрейд DeepSeek-V3. Китайцы мощно прокачали скиллы своей "нерассуждающей" модели. Версия 0324 эффективнее справляется с разными задачами, улучшает код и делает сайты ⭐ Китайский текст стал качественнее, поиск — точнее. Плюс добавили удобные штуки для работы с файлами.

4️⃣ На VK вышел инструмент для маркетологов. AI Persona помогает компаниям лучше понимать аудиторию и хорошо продвигаться 🤩 Анализирует разные группы клиентов, находит их уникальные черты и даже сам генерит персонализированные тексты рассылок.

GPT-4o становится полезной для дизайнеров ⭐️

OpenAI выпустили обновление модели для генерации суперточных и реалистичных картинок.

Особенности:
3️⃣ обрабатывает сразу три типа данных: текст, визуал и аудио
❤️ адекватно генерит надписи на картинках
📊 учится прямо в процессе работы

Обещают ещё использование контекста чата. Это когда нейронка анализирует всю вашу беседу, чтобы учитывать и более ранние предпочтения ✍️ Ну и доработку загруженных картинок. Генерится всё — от инфографик до сложных сцен с персонажами.

Советуют не просто фанатам нейрохудожников, но и профи — всем, кто занимается дизайном 👍

Изображение OpenAI

Ой, да ладно! Тот самый код, который произвёл переворот? 😨 Computer History Museum и Google сделали доступной исходную версию кода AlexNet.

Помните, когда впервые начали говорить про глубокое обучение? Именно эта нейронка доказала, что оно эффективно, а компьютер может реально увидеть и распознать объект на картинке с высокой точностью 🔥

AlexNet разработали тогда ещё студенты из Университета Торонто (среди которых, кстати, был и Илья Суцкевер 🤘). Она буквально перевернула представление о способностях AI. Значительно превзошла предыдущие методы компьютерного зрения, хотя на тот момент это казалось фантастикой 🤩 А тут вдруг выяснилось, что такой подход реально работает!

Теперь мы все можем заглянуть в код и изучить истоки. Важный исторический артефакт 😍

Изображение создано для канала Душа Питона с помощью Kandinsky 3.1

AI на паузе: изобретение AGI придётся подождать 😔

Согласно отчёту Association for the Advancement of Artificial Intelligence, при нынешних подходах суперсильный AI нам не создать. 😔

Поначалу все думали, что технологии превзойдут человеческий мозг за счёт простого масштабирования 🧑‍🎓 Последние годы показали, что оно работает не так хорошо, как ожидалось. Это мнение 76% опрошенных.

Почему:
😭 модели впечатляют, но их прогресс постепенно замедляется. Хотя деньги в разработки вливаются огромные (речь идёт о триллионе долларов), результат пока оставляет желать лучшего
👎 эксперты полагают, что AI-системы далеки от того, чтобы реально заменить людей
🙅‍♂️ несмотря на шумиху, они продолжают делать ошибки там, где человек справился бы легко

Полную аналитику смотрим тут.

Изображение AAAI

Пиши, выручай: где российские школьники применяют нейросети 🙄

Аналитики из MAXIMUM Education провели опрос. Оказалось, что чаще наши ребята обращаются к AI для подготовки докладов или проверки грамотности ❌ Многие предпочитают текстовые нейронки, видео пока не в топе — им пользуется 5%.

Другие результаты:
🏋️‍♀️ 12% отметили, что нейросети помогают понимать сложные темы
📈 ещё 11% делают ими крутые презентации
👍 10% переводят тексты

Но почти четверть школьников ни разу не пробовали использовать AI. Кто-то не знает, как это делать, а кто-то боится, что будет больше вреда, чем пользы 😨

Мнения родителей разделились. Треть поддерживает увлечение детей, столько же против, остальные воздержались. При этом большинство мам и пап хотели бы, чтобы детей обучали работе с нейросетями прямо в школах или вузах 👨‍💻

Изображение создано для канала Душа Питона с помощью Kandinsky 3.1

Gemini 2.5 Pro — умная сила для ваших проектов ⏳

Google представили “пробник” Gemini 2.5 Pro. Пока для подписчиков Advanced и разрабов 😓

Вот несколько фишек:
😔 улучшенное мышление: модель теперь не просто отвечает, а сначала размышляет над вопросом
🧑‍🎓 скорость и мощь: превосходит предшественниц на разных тестах, включая математические и научные
🤬 возможность использовать расширенный контекстный объём: окно до 1 млн токенов с планами расширения до 2 млн
👍 крутые навыки кодера: создаёт сложные программные решения

Доступна в приложении и скоро появится в других сервисах Google ⏱

Изображение Google