⚡️ BERT is just a Single Text Diffusion Step

Любопытны пост, где автор объяснил на примере очень простую и очевидную, но мощную идею.

Он заметил, что то, что мы называем диффузией текста, на самом деле - это просто обобщённая версия классического обучения BERT.

Как работает BERT?
В BERT модель берёт текст и маскирует часть слов, а потом учится угадывать, какие слова были скрыты.
В диффузии происходит почти то же самое, только шагов больше: на каждом шаге модель немного «портит» текст (добавляет шум), а затем восстанавливает его, всё меньше и меньше теряя смысл, пока не соберёт финальный чистый текст.

То есть BERT делает один шаг очистки - угадывает замаскированные слова.

А диффузионная модель делает много таких шагов подряд, постепенно превращая случайный набор токенов в осмысленный текст.

Барри дообучил RoBERTa, чтобы показать это на практике - и получил настоящий текстовый диффузионный генератор.

В примере:
- Используется RoBER (улучшенная версия модели BERT,) и датасет WikiText.
- На каждом шаге часть токенов заменяется на <MASK>,
модель восстанавливает их, потом снова маскирует — и так несколько раз.
- После нескольких итераций модель способна генерировать связный текст,
даже без автогенеративного декодера (как у GPT).

📈 Результаты
- Модель генерирует осмысленный текст, хотя и не идеально связный.
- Качество улучшалось по мере добавления шагов диффузии.
- По времени генерации RoBERTa Diffusion была немного медленнее, чем GPT-2 (~13 сек против 9 сек), но архитектура осталась полностью encoder-only.

Автор упоминает, что позже наткнулся на работу DiffusionBERT, где идею реализовали глубже и подтвердили результатами.

Главная мысль:
BERT можно считать одноступенчатой версией текстовой диффузии.
Если добавить больше шагов, то vs получаем диффузионный генератор текста.

Если BERT - это один шаг диффузии, то будущее может принадлежать моделям, совмещающим "понимание" и "генерацию" текста в одном процессе.

https://nathan.rs/posts/roberta-diffusion/

@ai_machinelearning_big_data


#AI #Diffusion #RoBERTa #BERT #LanguageModel #MLM #Research

✔️ Искусственные нейроны научились “шептать” настоящим клеткам мозга
Учёные из UMass Amherst создали первый искусственный нейрон, который общается с живыми нейронами с тем же микроскопическим напряжением около 0,1 В, как в мозге.

Устройство использует белковые нанопроволоки бактерий, устойчивые к влаге, что позволяет прямую и энергоэффективную связь с живыми клетками. Большинство предыдущих искусственных нейронов работали на гораздо более высоких напряжениях и мощностях, авторы отмечают, что их устройство потребляет в 10 раз меньше напряжения и в ~100 раз меньше мощности по сравнению с ранними версиями.
sciencealert

✔️ Krea AI - открыли исходный код Krea Realtime
Компания Krea AI выложила в открытый доступ Krea Realtime: 14B модель, которая генерирует видео в реальном времени со скоростью 11 кадров в секунду на одной NVIDIA B200.

Модель основана на Wan 2.1 14B и обучена с помощью метода Self-Forcing, что позволило добиться высокой скорости при всего 4 шагах инференса.
HF

✔️ Google интегрировала Gemini с Google Maps
Gemini теперь использует живые данные Google Maps - часы работы, рейтинги, маршруты и фото из 250 млн локаций. Модель отвечает на вопросы о местах не догадками, а на основе реальных данных. Разработчики могут передавать координаты и встраивать интерактивный виджет карт прямо в приложения.

Фича уже доступна в последних моделях Gemini и может сочетаться с другими инструментами.
Google

✔️ Anthropic представила Claude for Life Sciences - ИИ-партнёра для научных исследований
Anthropic расширила возможности Claude, запустив версию Claude for Life Sciences, созданную для биомедицинских и лабораторных задач. Модель ревзошла человека в тесте Protocol QA (0.83 против 0.79) и интегрируется с ведущими научными платформами - Benchling, BioRender, PubMed, Wiley Scholar Gateway и 10x Genomics.

Claude теперь может выполнять автоматизацию лабораторных процессов - от проверки RNA-seq данных до генерации экспериментальных протоколов, используя систему Agent Skills.

Anthropic также запустила программу AI for Science с бесплатными API-кредитами для исследователей, чтобы ускорить внедрение ИИ в науку.
Claude

✔️ IBM представила компактные LLM для кибербезопасности, которые обгоняют более крупные модели

IBM разработала CyberPal 2.0 (4B–20B параметров), обученные на новом датасете SecKnowledge 2.0 с экспертными форматами и доказательной базой.

Модели показывают на 7-14% лучшие результаты, чем крупные аналоги, в задачах классификации уязвимостей и поиска первопричин.
Успех обеспечен не мощностью, а структурой и логикой рассуждений.
Paper

@ai_machinelearning_big_data


#news #ai #ml

⚡️ Qwen Deep Research получил полезное обновление

Теперь он создаёт не только отчёты, но и готовые веб-страницы и подкасты.

Работает связка Qwen3-Coder, Qwen-Image и Qwen3-TTS.

👉Попробовать: chat.qwen.ai/?inputFeature=deep_research

@ai_machinelearning_big_data


#Qwen #AI #DeepResearch #Qwen3 #AItools

✔️ Alibaba представила Qwen3-VL-2B и Qwen3-VL-32B

Qwen3-VL-32B превосходи GPT-5 mini и Claude 4 Sonnet* в задачах STEM, визуальных вопросах (VQA), OCR, анализе видео и агентных сценариях.

При этом у модели всего 32 млрд параметров и она сопоставима, а на некоторых бенчмарках даже превосходит модели на 235 млрд параметров (лучше всего показывает себя на *OSWorld*).

Попробовать / HF

✔️Google выкатили обновление для AI Studio

Значительно прокачали возможности студии по генерации кода. Сгенерированный проекты можно просматривать или дорабатывать прямо в браузере и деплоить. Также добавили прикольный режим «I’m Feeling Lucky», который генерирует случайную идею для вайбкодинга.
aistudio

✔️Умный дизайн DeepSeek OCR

На первый взгляд DeepSeek-OCR кажется просто моделью для распознавания текста. Но на деле - это совершенно новый способ того, как ИИ может хранить и обрабатывать информацию.

Обычно модели работают с текстовыми токенами - каждый кусочек слова превращается в отдельный токен, и при длинных документах их число растёт квадратично, делая работу медленной и дорогой. DeepSeek решает эту проблему иначе: она превращает длинный текст в изображение, кодирует его в набор компактных визуальных токенов и затем восстанавливает текст обратно.

Эксперименты показали: даже при 9–10-кратном сжатии точность OCR остаётся около 97%, а при 20-кратном - около 60%. Это доказывает, что плотные визуальные представления способны нести ту же информацию куда эффективнее, чем обычные текстовые токены.

Ключевая инновация DeepSeek- новый энкодер DeepEncoder, который умеет обрабатывать страницы высокого разрешения без переполнения памяти. Он делает это в три шага: сначала применяет локальное внимание для мелких деталей, затем 16× свёрточное сжатие, а потом глобальное внимание для понимания всей структуры документа. Такая последовательная архитектура сохраняет точность, но радикально снижает число токенов и объём активаций.

Авторы также предлагают механизм «забывания»: старый контекст можно постепенно уменьшать в разрешении, чтобы свежая информация оставалась чёткой, а старая занимала меньше места. DeepSeek - как всегда умницы.
DeepSeek-OCR

✔️Goldman Sachs: экономика США растёт без новых рабочих мест

США входят в фазу "jobless growth"- производительность растёт благодаря ИИ, но найм почти остановился.

Goldman отмечает: компании делают больше с теми же людьми, а реальный рост занятости вне здравоохранения стал отрицательным. Джером Пауэлл описал рынок как “очень мало найма, мало увольнений”, а выпускники всё чаще не могут найти первую работу.

По данным Challenger, планы по найму - на минимуме с 2009 года. Рост есть, рабочих мест - всё меньше.
futurism

✔️Claude Desktop теперь доступен для всех

Anthropic объявила о публичном релизе Claude Desktop - приложения для Mac и Windows.

На Mac теперь можно делать скриншоты, кликать по окнам, чтобы поделиться контекстом с Claude, и управлять агентом голосом.
Скачать для Mac и Windows

@ai_machinelearning_big_data


#news #ai #ml

🌍 Tencent выпустили и Hunyuan World 1.1 (WorldMirror): новую версию модели для 3D-реконструкции

Версия Hunyuan World 1.0 умела создавать 3D-сцены по тексту или одному изображению (и была заточена на работу даже на обычных видеокартах), новая версия 1.1 способна строить 3D-мир из видео и мультиракурсных изображений.

Чем интересная

🔹 Поддерживает любые входные данные:
Модель принимает на вход всё - видео, фото, карты глубины, описание позы и параметры камеры. Моделька точно восстанавливает геометрию сцены без искажений.

🔹 Любой формат вывода:
На выходе выдает
плотные облака точек, карты глубины, нормали поверхностей, параметры камеры и 3D Gaussian Splattings.

🔹 Быстрая работа на GPU:
Модель полностью feed-forward, делает один проход и выдаёт готовый 3D-результат всего за несколько секунд.

🌐 Проект: https://3d-models.hunyuan.tencent.com/world/
🔗 GitHub: https://github.com/Tencent-Hunyuan/HunyuanWorld-Mirror
🤗 HF: https://huggingface.co/tencent/HunyuanWorld-Mirror
✨ Демо — https://huggingface.co/spaces/tencent/HunyuanWorld-Mirror
📄 Технический отчёт — https://3d-models.hunyuan.tencent.com/world/worldMirror1_0/HYWorld_Mirror_Tech_Report.p

@ai_machinelearning_big_data


#AI #3D #VR #Gaming #OpenSource

💡 Google запустил Skills: открытую платформу для развития навыков работы с ИИ!

На платформе представлено почти 3000 курсов, лабораторных и практических треков, охватывающих темы от основ python и машинного обучения до продвинутого MLOps, Vertex AI, Gemini и Prompt Design.

Чему можно научиться
- Встроить генеративный ИИ в свой дата-пайплайн;
- Научиться деплоить и обслуживать модели;
- Создать собственное приложение с Gemini и Streamlit;
- Пройти обучение с наставниками или в сообществе Google Cloud Innovators.

Разные уровни от новичков до тимлидов.

По завершении даже выдают сертификаты, которые можно добавить в резюме и на LinkedIn.

✔️ Начать учиться: https://www.skills.google/
✔️ Каталог курсов: https://www.skills.google/catalog

@ai_machinelearning_big_data

#googel #ai #freecourse

✔️ Anthropic готовит рекордную сделку с Google на десятки миллиардов долларов

Anthropic ведёт переговоры с Google о крупнейшем облачном контракте - на десятки миллиардов долларов. Речь идёт о долгосрочном соглашении, которое обеспечит Anthropic доступом к кастомным TPU - специализированным чипам Google для обучения и работы крупных моделей.

Google уже вложил в Anthropic $3 млрд ($2 млрд в 2023 и ещё $1 млрд в 2025).
Подобные соглашения обычно включают не только вычислительные мощности, но и сетевые и хранилищные ресурсы на несколько лет вперёд.

Anthropic ожидает мощный рост выручки - более чем в два-три раза, до $9 млрд годового run rate. Это результат стремительного роста корпоративных продуктов компании.

Переговоры находятся на ранней стадии, и условия сделки ещё могут измениться.
reuters

✔️ PyTorch представил Monarch - новый фреймворк для распределённых вычислений с моделью единого контроллера.

Вместо традиционного SPMD-подхода, где каждый узел работает независимо, Monarch позволяет управлять тысячами GPU из одного скрипта, как будто они находятся на одной машине.

Он организует процессы и акторы в многомерные «сетки» (meshes), поддерживает привычные Python-конструкции, включая обработку исключений для отказоустойчивости, и разделяет управляющий и данные-планы - данные передаются напрямую между GPU через RDMA.

Распределённые тензоры выглядят и используются как локальные, а сложные сценарии вроде обучения с подкреплением или отказоустойчивого предобучения реализуются проще и понятнее.

Monarch уже интегрирован с VERL, TorchForge и Lightning AI, и позволяет запускать, отлаживать и масштабировать задачи прямо из Jupyter Notebook. pytorch

✔️ Amazon якобы заменила 40 % DevOps-инженеров AWS искусственным интеллектом - за несколько дней до сбоя

Появились сообщения, что Amazon Web Services уволила около 40 % своей DevOps-команды и частично заменила их ИИ-системой, способной автоматически находить и устранять ошибки в инфраструктуре. Внутреннее письмо, опубликованное на вики компании и быстро удалённое, связывало сокращения со «стратегическими инициативами по автоматизации». Инцидент произошёл незадолго до крупного сбоя AWS, который затронул Snapchat, Roblox и другие платформы.

Сообщается, что новая система может самостоятельно исправлять сбои IAM, восстанавливать виртуальные сети и откатывать неудачные развертывания Lambda без участия человека. Однако никаких официальных подтверждений от Amazon не поступало.
80.lv

✔️ Новая компактная мультимодальая модель — LFM2-VL-3B

Демонстрирует хорошие результаты: 51.8% на MM-IFEval (точное следование инструкциям) и 71.4% на RealWorldQA (понимание реального мира). LFM2-VL-3B отлично работает как с одним, так и с несколькими изображениями, а также точно распознаёт английский текст на изображениях (OCR).

При этом модель показывает очень низкий уровень галлюцинаций на бенчмарке POPE.
HF

✔️ ChatGPT установил новый рекорд удержания пользователей.

Согласно опросу 28 миллионов человек в США, доля тех, кто продолжает пользоваться сервисом спустя месяц, выросла с менее 60% два года назад до 90% сегодня.

Проще говоря - 9 из 10 пользователей остаются с ChatGPT уже через месяц. Это лучший результат в истории массовых цифровых продуктов: даже YouTube, считавшийся эталоном, показывает месячную удерживаемость около 85%.

Ещё впечатляюще: через полгода с сервисом остаётся около 80% пользователей - и эта цифра продолжает расти, формируя так называемую «улыбающуюся» кривую удержания.

Для продуктовых команд - это мечта. Для всей индустрии - ясный сигнал: перед нами продукт нового поколения.
X

@ai_machinelearning_big_data


#news #ai #ml

🎥 Новинка от ByteDance: модель Video-As-Prompt Wan2.1-14B

ByteDance выпустила модель Wan2.1-14B, специализирующуюся на задаче *video-as-prompt*, то есть использование видео или комбинации изображений и текста как входных данных для генерации нового видео.

- Работает в режимах «видео → видео» или «изображения/текст → видео».
- 14 млрд параметров — высокая детализация, плавная динамика, реалистичные движения.
- Использует исходное видео как шаблон стиля и композиции.

⚠️ Что стоит учитывать
- Модель требует мощных GPU и большого объёма памяти.
- Качество результата зависит от сложности запроса и длины видео.

🟠Github: https://github.com/bytedance/Video-As-Prompt
🟠HF: https://huggingface.co/ByteDance/Video-As-Prompt-Wan2.1-14B

@ai_machinelearning_big_data


#AI #VideoGeneration #ByteDance #Wan2 #HuggingFace