Машинное обучение digest – Telegram
Машинное обучение digest
40 subscribers
1.32K photos
184 videos
661 links
Download Telegram
🌟 Теперь поговорим подобнее про Kimina-Prover-72B:

Это модель, которая не просто доказывает теоремы, а учится на своих ошибках.

Kimina-Prover-72B создана на базе Qwen2.5-72B, которая бьет рекорды в формальной математике на Lean 4 и ее облегченные версии 8 и 1,7 миллиарда параметров.

Numina - это некоммерческая научная коллаборация, ориентированная на развитие ИИ в области математики. Ее миссия: создание и публикация обширных баз данных математических задач, разработку open-source ИИ-решателя для их обработки и инструментов для поддержки совместной работы людей и ИИ в фундаментальных науках.


На популярном бенчмарке miniF2F Kimina-Prover-72B достигла внушительной точности в 92.2%, оставив позади Deepseek-Prover-V2 671B.

🟡Ключевая фишка Kimina-Prover - агентный фреймворк для поиска доказательств Test-Time Reinforcement Learning.

Вместо того чтобы пытаться решить сложную задачу в лоб, система научилась декомпозировать ее. Она самостоятельно генерирует, комбинирует и применяет промежуточные утверждения, или леммы, выстраивая из них длинные логические цепочки. По сути, это рекурсивный поиск: для доказательства основной теоремы модель может сначала доказать несколько вспомогательных лемм.

🟡Механика доказательств.

Система отслеживает «рейтинг полезности» каждой леммы и отбраковывает те, что ведут в тупик. Вторым эшелоном идет механизм проверки на вменяемость. Прежде чем использовать новую лемму, модель пытается доказать ее отрицание. Если это удается, значит, лемма противоречива и ее сразу выбрасывают. Такая комбинация гарантирует логическую строгость и надежность всего доказательства.

🟡Kimina-Prover умеет учиться на ошибках.

В отличие от других систем, которые в случае неудачи просто начинают заново, Kimina-Prover умеет читать сообщения об ошибках от компилятора Lean и предлагать исправления.

Для этого ее специально дообучали на датасете из комбинаций «неверное доказательство – фидбэк – верное доказательство». Чтобы обучение шло стабильно, использовали стратегию Batched Failure Replay: все неудачные попытки с одной итерации собираются и используются как обучающий батч для следующей. И это оказалось куда эффективнее, чем бездумный перебор вариантов при том же бюджете вычислений.


📌Лицензирование: MIT License.


🟡Статья
🟡Набор моделей
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #TTRL #Reasoning #KiminaProver
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🎯 Как молодой статистик спас тысячи жизней, заметив ошибку мышления, которая встречается до сих пор — "ошибку выжившего"

Во время Второй мировой войны аналитики ВВС США анализировали возвращающиеся с боевых вылетов бомбардировщики. Они отмечали на схемах, где на самолётах были пробоины от пуль и снарядов — чаще всего в крыльях, хвосте и фюзеляже.

Логичный вывод? Усилить броню именно там.

Но молодой статистик Абрахам Вальд сказал: это фатальная ошибка.

Он заметил, что все анализируемые самолёты — это *выжившие*. Мы не видим те, которые не вернулись.

💡 Его ключевая идея:
*Те зоны, где нет пробоин у выживших — это, скорее всего, фатальные места попадания для тех, кто не вернулся.*

То есть уцелевшие самолёты как раз могли выдержать попадания в крылья и хвост. А вот попадания в двигатель или кабину пилота были смертельны — и их не видно, потому что такие самолёты не вернулись.

На основе этой логики армия изменила стратегию и усилила двигатели, кабину и топливную систему. Это решение спасло тысячи жизней.

Так Вальд сформулировал ключевую идею — ошибку выжившего:
> Когда мы делаем выводы, основываясь только на тех, кто «выжил» или «успешен», и игнорируем тех, кто не дошёл до этой точки.

❗️ Эта ошибка повсюду — в бизнесе, в стартапах, в инвестициях, в образовании.
Мы читаем только об успешных компаниях и копируем их шаги, не понимая, что за кадром остались сотни провалов, которые двигались точно так же.

Истинная уязвимость часто скрыта в невидимом.
Forwarded from Machinelearning
🔅 Vibe Kanban — оркестрация AI-кодеров в одном окне

Позволяет можно запускать и управлять сразу несколькими AI-агентами для кодинга: Claude Code, Gemini CLI, Codex — всё в одном дашборде.

▶️Что умеет:
- параллельный запуск агентов
- визуальный трекинг задач
- переключение между моделями на лету
— встроенный review и контроль над результатами
— backend на Rust, frontend на React, всё разворачивается локально
Полностью open-source

🟡 Репозиторий: https://github.com/BloopAI/vibe-kanban
🟡Документация: https://www.vibekanban.com/


@ai_machinelearning_big_data

#ai #aiagent #opensource #Claude #Gemini
Please open Telegram to view this post
VIEW IN TELEGRAM
✔️ Дженсен Хуанг: США должны срочно инвестировать в людей, иначе проиграют бесконечную AI-гонку

Глава Nvidia Дженсен Хуанг выступил на Hill & Valley Forum в Вашингтоне с мощным посланием: Америка теряет преимущество в гонке ИИ, и единственный способ не отстать — сделать переподготовку кадров национальной стратегией.

> "Чтобы лидировать, США должны не просто пользоваться ИИ, а создавать новые продукты с его помощью. Это бесконечная игра."

🔍 Что именно беспокоит Хуанга:
- 50% всех AI-исследователей в мире — из Китая. Это не просто статистика, а сигнал к действию: США рискует проиграть, если не будет активно вкладываться в таланты.
- Сравнение с историей: в индустриальных революциях выигрывали те, кто быстрее всех внедрял иновации — а не те, кто опасался автоматизации. Так должно быть и с ИИ.
- ИИ уже сегодня способен автоматизировать 20–40% всех профессий, и этот процесс ускоряется.

🔧 Что предлагает Хуанг:
- Масштабные инвестиции в переподготовку рабочей силы
- Обучение каждого специалиста навыкам работы с ИИ
- Полная интеграция ИИ в госпрограммы и экономику

🌐 Контекст: эскалация конфликта США и Китая

Выступление произошло на фоне:
- Новых экспортных ограничений на чипы Nvidia (в частности, H20) — убытки могут составить до $5.5 млрд
- Представления Groot N1 — новой foundation-модели от Nvidia для гуманоидных роботов, которые, по словам Хуанга, смогут компенсировать нехватку 50 млн работников к 2030 году

"Мир движется к глобальному кадровому дефициту. Нам нужны не только чипы — нам нужны люди, готовые строить системы с их помощью."
Please open Telegram to view this post
VIEW IN TELEGRAM
🍏 Apple всерьёз задумалась о покупке Mistral — Bloomberg / Марк Гурман

По информации Bloomberg, Apple серьёзно рассматривает покупку французского стартапа Mistral AI, чтобы наконец войти в ИИ-гонку.

Это очень поздний шаг — но он показывает, насколько сильно Apple отстала от OpenAI, Google и даже xAI.

Пока другие выкатывают публичные LLM, мультимодальные ассистенты и интеграции в поиске, Apple остаётся в роли наблюдателя.

📌 Почему это важно:
- Mistral — один из главных open-source игроков на рынке ИИ (выпускают мощные LLM и Mixture of Experts-модели)
- У Apple пока нет ни собственной модели, ни сильной стратегии в области ИИ
- Приобретение Mistral может стать экстренной попыткой догнать конкурентов

Если сделка состоится — это будет крупнейший AI-манёвр Apple за всё время.

#Apple #Mistral #AI #LLM #ГонкаИИ
🔧 Дифференцируемое программирование для оптимизации рабочих процессов LLM — эффективно

В работе рассматривается, как встроить обучаемые маршрутизаторы (router'ы) прямо в цепочки вызовов LLM-агента. Вместо ручной маршрутизации по инструментам — пусть агент сам решает, какой инструмент и когда использовать — благодаря дифференцируемому программированию.

Особенности:
Используются локальные learnable-router’ы, реализованные через PyTorch и DSPy
Работают как дифференцируемые майнеры — выбирают наиболее подходящий инструмент
Экономят токены и снижают затраты благодаря оптимальной маршрутизации
Структурируют agent’ские workflow так, чтобы не перегружать LLM лишними данными

Почему это важно:
Меньше токенов → короче запросы → ниже стоимость и быстрее ответы
Меньше статики — маршруты адаптивные и обучаемые
Больше контроля — можно быстро донастраивать выбор инструментов

Кому это нужно:
– Разработчикам LLM-агентов, которые хотят сделать авто-подбор инструментов
– Интеграторам, стремящимся оптимизировать цепочки вызовов для экономии ресурсов
– Исследователям DSP и PyTorch, работающим над LLM-архитектурами

💡 Итог:
Добавление дифференцируемых роутеров — простой шаг, который даёт эффективную автоматическую маршрутизацию инструментов. Это ускоряет, оптимизирует и делает work‑flow умнее.

📌 Читать полностью
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 Дженсен Хуанг: США должны продавать чипы даже Китаю — это усилит наше лидерство в AI

Глава NVIDIA объяснил, почему экспорт AI-чипов — это не слабость, а стратегия:

🗣 «Половина AI-разработчиков в мире — китайцы. Пусть они строят свои системы на нашей технологии

💡 Что он имеет в виду:

— Если весь мир (включая Китай) работает на американских чипах, платформах и фреймворках,
— США получают техническое и инфраструктурное преимущество,
— А значит — долгосрочное лидерство в AI, даже если некоторые страны развивают собственные модели.

🔍 А как же риски? Военные, шпионские?

> «Они не будут строить военные системы на чужих чипах. Просто не могут себе это позволить

Технологии, от которых зависикурентт твой кон— это не оружие. Это рычаг влияния.

И чем больше стран завязаны на американском стеке — тем выше шансы, что США останутся в центре мировой AI-инфраструктуры.

Еще из интересного, после того как MIT выпустили исследование о том, что ИИ якобы снижает когнитивные способности человека, Хуанг в своём стиле — дал "жесткий" ответ:

> “Я не читал это исследование, лол”
> “Я каждый день пользуюсь ИИ — и мои когнитивные навыки только растут”

Критическое мышление никто не отменял
> “Я не принимаю ответ как есть — я его анализирую, критикую, уточняю”
> “Такой подход и развивает мышлени

Полное интервью Дженсена

@ai_machinelearning_big_data

#ai #Ml #nvidia
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🎛 Полностью сгенерированная ОС — NeuralOS

Что если весь интерфейс компьютера — это просто поток пикселей, который можно галлюцинировать?

Исследователи из Университета Ватерлоо и NRC Canada представили NeuralOS — нейросеть, которая полностью симулирует графическую ОС, вроде Ubuntu XFCE, без строчки интерфейсного кода.

🖱 Как это работает?
Модель получает поток событий от мыши и клавиатуры.
Рекуррентная нейросеть (2×LSTM) отслеживает состояние системы и положение курсора.
Автоэнкодер ужимает экран до 64×48×16.
Диффузионный UNet дорисовывает следующий кадр, включая окна, иконки, меню.

💡 Особенности:
Обучена на 120 000 случайных сессий и 2000 "разумных", сгенерированных Claude 3.5.
Вместо резких движений — кривые Безье для реалистичного перемещения мыши.
Средняя ошибка курсора — <2 пикселей.
Интерфейс работает в браузере, пусть и со скоростью 1.8 FPS на H100.

🔍 Почему это важно:
Граница между кодом и UI исчезает — достаточно "красить пиксели" правдоподобно, и пользователь поверит во всё.
Нейро-симуляторы вместо моков — представьте тесты, где вместо UI-драйвера рисует модель, реагирующая на всё, как настоящая ОС.
Архитектурное вдохновение — сочетание LSTM и диффузии может пригодиться в неожиданных проектах.

🧠 Пока у NeuralOS куча ограничений — низкое разрешение, высокая цена вычислений, отсутствие настоящей файловой системы — но концепт впечатляет. Это шаг к генеративным пользовательским интерфейсам, которые когда-нибудь могут заменить привычные оконные системы.

📄 https://huggingface.co/papers/2507.08800
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ Эмбеддинг-модель Gemini от Google стала общедоступной.

Google объявила о выходе в общий доступ модели для создания текстовых эмбеддингов - Gemini-Embedding-001. Она доступна разработчикам через Gemini API и Vertex AI. С момента своего экспериментального запуска модель стабильно занимает лидирующие позиции в бенчмарке MTEB и поддерживает более 100 языков.

Gemini Embedding использует технику Matryoshka Representation Learning. Она позволяет разработчикам гибко настраивать размерность выходных векторов, чтобы оптимизировать производительность и затраты на хранение. Максимальная длина входных данных составляет 2048 токенов.

Стоимость использования модели : $0.15 за 1 миллион входных токенов. Доступ к ней можно получить через Gemini API, а бесплатно протестировать - в Google AI Studio.
developers.googleblog.com

✔️ Лаборатория суперинтеллекта в компании Марка Цукерберга обсуждает отказ от open-source.

Недавно созданное подразделение по разработке AGI инициировало дискуссию о кардинальном изменении стратегии компании. Ключевая идея - отказаться от развития флагманской open-source модели Behemoth в пользу закрытой архитектуры, по аналогии с OpenAI и Google. Такой шаг стал бы серьезным философским сдвигом для компании, которая годами продвигала открытый код и завоевала признание разработчиков.

Обсуждения пока находятся на ранней стадии и требуют одобрения Марка Цукерберга. Однако сама дискуссия, начатая новой командой под руководством Александра Ванга, указывает на возможный стратегический разворот гиганта соцсетей.
nytimes.com

✔️ В Grok появились анимированные 3D-персонажи.

xAI начала развертывание новой функции «Companions» для чат-бота Grok в приложении для iOS. Обновление добавляет в интерфейс интерактивных трехмерных персонажей, цель которых - сделать общение более персонализированным и выйти за рамки текстовых ответов. На данный момент функция доступна платным подписчикам SuperGrok.

Пользователи могут выбрать одного из двух анимированных аватаров: аниме-девушку Ani или красную панду Bad Rudy. Включить их можно в меню настроек. В компании обещают позже добавить третьего персонажа.
Elon Mask в сети Х

✔️ Топовые немецкие ученые в области Med AI переехали работать в Китай.

Два выдающихся специалиста из Германии, Роланд Эйльс и Ирина Леманн, присоединились к Университету Фудань в Шанхае. Их работа была ключевой в создании атласа клеток поджелудочной железы человека и использовании ИИ для прогнозирования рисков заболеваний.

Эйльс - всемирно известный математик и биолог, руководивший крупными национальными исследовательскими проектами. Леманн - профессор в области эпигенетики, возглавлявшая несколько международных научных конференций. Супруги опубликовали более 1000 научных работ и имеют свыше 100 000 цитирований.

В Университете Фудань они присоединились к Институту интеллектуальной медицины и планируют создать совместную немецко-китайскую ИИ-лабораторию.
scmp.com

✔️ Perplexity будет дообучать модели Kimi.

Глава Perplexity Аравинд Шринивас рассказал о планах компании начать пост-тренинг моделей Kimi от Moonshot AI. Решение было принято после внутренних тестов, которые показали, что потенциал Kimi сопоставим с GPT-4 и Claude.

Решающим фактором стало превосходство Kimi K2 в бенчмарках на программирование. В частности, в тесте SWE-bench Verified она показала результат 65.8%, значительно опередив Claude с его 50.2%.

В Perplexity рассчитывают, что дальнейшее дообучение модели усилит ее агентные возможности.
CEO Perplexity сети X

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Главные релизы и новости искусственного интеллекта⁠⁠

Если хотите послушать новости с формате подкаста, я сгенерировал его и помощью ИИ и выложили здесь. Звучит очень живо.
Эмбеддинг-модель Gemini от Google стала общедоступной.

Google объявила о выходе в общий доступ модели для создания текстовых эмбеддингов - Gemini-Embedding-001. Она доступна разработчикам через Gemini API и Vertex AI. С момента своего экспериментального запуска модель стабильно занимает лидирующие позиции в бенчмарке MTEB и поддерживает более 100 языков.

Gemini Embedding использует технику Matryoshka Representation Learning. Она позволяет разработчикам гибко настраивать размерность выходных векторов, чтобы оптимизировать производительность и затраты на хранение. Максимальная длина входных данных составляет 2048 токенов.

Стоимость использования модели : $0.15 за 1 миллион входных токенов. Доступ к ней можно получить через Gemini API, а бесплатно протестировать - в Google AI Studio.
developers.googleblog.com (https://developers.googleblog.com/en/gemini-embedding-available-gemini-api/)

Лаборатория суперинтеллекта в компании Марка Цукерберга обсуждает отказ от open-source.

Недавно созданное подразделение по разработке AGI инициировало дискуссию о кардинальном изменении стратегии компании. Ключевая идея - отказаться от развития флагманской open-source модели Behemoth в пользу закрытой архитектуры, по аналогии с OpenAI и Google. Такой шаг стал бы серьезным философским сдвигом для компании, которая годами продвигала открытый код и завоевала признание разработчиков.

Обсуждения пока находятся на ранней стадии и требуют одобрения Марка Цукерберга. Однако сама дискуссия, начатая новой командой под руководством Александра Ванга, указывает на возможный стратегический разворот гиганта соцсетей.
nytimes.com (https://www.nytimes.com/2025/07/14/technology/meta-superintelligence-lab-ai.html)

В Grok появились анимированные 3D-персонажи.

xAI начала развертывание новой функции «Companions» для чат-бота Grok в приложении для iOS. Обновление добавляет в интерфейс интерактивных трехмерных персонажей, цель которых - сделать общение более персонализированным и выйти за рамки текстовых ответов. На данный момент функция доступна платным подписчикам SuperGrok.

Пользователи могут выбрать одного из двух анимированных аватаров: аниме-девушку Ani или красную панду Bad Rudy. Включить их можно в меню настроек. В компании обещают позже добавить третьего персонажа.
Elon Mask в сети Х (https://x.com/elonmusk/status/1944705383874146513)

Топовые немецкие ученые в области Med AI переехали работать в Китай.

Два выдающихся специалиста из Германии, Роланд Эйльс и Ирина Леманн, присоединились к Университету Фудань в Шанхае. Их работа была ключевой в создании атласа клеток поджелудочной железы человека и использовании ИИ для прогнозирования рисков заболеваний.

Эйльс - всемирно известный математик и биолог, руководивший крупными национальными исследовательскими проектами. Леманн - профессор в области эпигенетики, возглавлявшая несколько международных научных конференций. Супруги опубликовали более 1000 научных работ и имеют свыше 100 000 цитирований.

В Университете Фудань они присоединились к Институту интеллектуальной медицины и планируют создать совместную немецко-китайскую ИИ-лабораторию.
scmp.com (https://www.scmp.com/news/china/science/article/3318032/top-ai-medical-scientists-roland-eils-and-irina-lehmann-leave-germany-china)

Perplexity будет дообучать модели Kimi.

Глава Perplexity Аравинд Шринивас рассказал о планах компании начать пост-тренинг моделей Kimi от Moonshot AI. Решение было принято после внутренних тестов, которые показали, что потенциал Kimi сопоставим с GPT-4 и Claude.

Решающим фактором стало превосходство Kimi K2 в бенчмарках на программирование. В частности, в тесте SWE-bench Verified она показала результат 65.8%, значительно опередив Claude с его 50.2%.

В Perplexity рассчитывают, что дальнейшее дообучение модели усилит ее агентные возможности.
CEO Perplexity сети X (https://x.com/AravSrinivas/status/1944214853767639489)
🤔 Хммм… интересно, почему же Grok снова на первом месте в апсторе в Японии?)

Grok Anime-Waifu: новый Ghibli-хайп?

Аниме-вайфу от Grok сейчас переживает тот же всплеск интереса, что и Ghibli‑стиль после выхода инструмента генерации изображений от ChatGPT🎌

xAI поймали незанятую нишу: 3D-аватары с крутым голосовым режимом и небольшой провокацией. Как бы вы ни относились к этой теме — массовый рынок тут есть, и он пока был пуст.

CharacterAI всё ещё в топ‑10 самых посещаемых AI-приложений в мире. Молодёжь массово проводит там часы в общении с вымышленными персонажами. Это о многом говорит — но мы не будем давать оценок деградация это или нет.

Важно другое: ни Google, ни OpenAI, ни Microsoft пока не вышли с 3D-аватарами с продвинутым голосовым режимом.

Все знали, что это огромный рынок, но опасались репутационных последствий — вспомните скандалы вокруг CharacterAI в прошлом году.

А xAI рискнули — и пока пожимают плоды . Аудитория молодая, хайп органический, конкуренты только приглядываются к теме. Быть первым в такой категории — значит занять особое место в головах (пустых и не очень) пользователей.

Так что да: xAI сделали ставку — и, похоже, угадали.


@data_analysis_ml
📌 Чат-боты начинают всерьез теснить традиционный поиск.

Пока мы с вами обсуждаем архитектуры новых моделей, на наших глазах разворачивается битва за конечного пользователя, и чат-боты, похоже, начинают в ней побеждать.

Аналитики из Sensor Tower опубликовали отчет, который в сухих цифрах показывает, что ChatGPT, Gemini и другие их собратья перестали быть игрушкой для IT-сообществ и превратились в реальную угрозу для поисковых гигантов.

Sensor Tower - платформа цифровой аналитики и один из авторитетных источников аналитики мобильных приложений, цифровой рекламы, розничной медиарекламы и данных об аудитории для крупнейших мировых брендов и создателей приложений.


🟡Главный индикатор: изменение пользовательских привычек.

Аудитория ChatGPT уже перевалила за 500 млн. MAU, причем этот рубеж был достигнут менее чем за 2 года. Но что еще важнее, его аудитория становятся нетехнической.

Год назад 44% всех запросов к ChatGPT были связаны с разработкой ПО, то сегодня эта доля упала до 29%.

А вот категория «Экономика, финансы и налоги» взлетела с 4% до 13%.

Проще говоря, люди все чаще спрашивают у ИИ не как написать код, а как составить бюджет или разобраться в инфляции. Это означает выход в мейнстрим.

🟡Самая показательная метрика из отчета.

В апреле 2025 года время, проведенное пользователями в приложении ChatGPT, взлетело на 98% по сравнению с прошлым годом. За тот же период время, проведенное в приложениях традиционных поисковиков, упало на 3%.

Более того, уже почти треть (31%) пользователей поисковых приложений в США также активно используют ChatGPT. Год назад их было всего 13%. Аудитории начинают пересекаться, и чат-бот явно перетягивает одеяло на себя.

🟡Куда ChatGPT отправляет своих пользователей дальше.

В топе реферальных ссылок: YouTube, Wikipedia и National Library of Medicine. То есть люди приходят за знаниями. Но тут же рядом Amazon (помощь в покупках), GitHub и arXiv (IT и ML). Забавно, что сам Google, как поисковая система, находится на 6 месте в этом списке.

Чат-бот становится новой точкой входа в интернет, которая сама решает, куда направить пользователя.

🟡Еще из интересного.

Ранние последователи ИИ, установившие ChatGPT еще в 2023 году, уже проводят в приложениях Google на 6% меньше времени. Новички пока не изменили привычек, но это, скорее всего, лишь вопрос времени.

Все эти показатели указывают на то, что борьба за "реферал от ИИ" становится главным полем боя для брендов.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 Бывший сотрудник OpenAI поделился откровенными впечатлениями о годе работы внутри одной из самых обсуждаемых компаний мира.

Он присоединился к команде в мае 2024, ушёл три недели назад — и решил написать личные размышления, пока всё ещё свежо в памяти.

Он подчёркивает:
никаких скандалов или внутренних конфликтов — просто желание снова что-то строить с нуля. Несмотря на это, он признаёт: сложно уйти с работы, где ты видишь рождение AGI своими глазами и участвуешь в запуске Codex.

Культура OpenAI — это хаос, скорость и независимость.

Компания за год выросла с 1000 до более чем 3000 сотрудников. Почти все руководители делают совершенно другую работу, чем пару лет назад. И всё внутри строится снизу вверх: roadmap’ов не было, а идеи рождались и запускались без бюрократии.

Всё общение происходит в Slack — никаких email, почти никакого планирования. Команды могут быть хаотичны и перегружены, но часто это работает: если идея крутая, люди просто начинают делать, и вокруг появляется команда.

Руководители не мешают, а помогают — особенно в исследовательских командах. Исследователь воспринимается как мини-руководитель: выбрал интересную задачу — вперёд. Главное — не «казаться», а «делать». Политика и презентации — не в цене. Лучшие идеи побеждают.

OpenAI умеет разворачиваться на ходу. Как только появляется новая информация, стратегия может кардинально поменяться — и в этом сила. Вдохновлённый атмосферой Segment, автор признаёт: OpenAI удалось сохранить эту гибкость даже при таком масштабе.

Закрытость — часть культуры.
Из-за огромного внимания общества и прессы компания крайне аккуратно делится информацией. Многое не анонсируется даже внутри. Но при этом она остаётся самой открытой из «больших AI-лабораторий»: модели попадают в API, доступны не только корпорациям, но и отдельным пользователям.

Внимание к реальным рискам (злоупотребления, манипуляции, self-harm) — важный фокус внутри. Хоть фундаментальные угрозы (в духе "intelligence explosion") тоже обсуждаются, упор в работе на конкретные и прикладные сценарии.

Технологически OpenAI — монорепозиторий на Python, немного Rust и Go. Всё крутится на Azure, но доверяют только 2–3 сервисам. Инфраструктура напоминает ранний Facebook: всё движется быстро, дублируется, много внутренней разработки и отсутствие строгих архитектурных комитетов.

Он отдельно отметил уникальность команды Codex, с которой провёл последние 3 месяца. За 7 недель (!) они с нуля запустили продукт: с контейнерным рантаймом, fine-tuning моделей, git-интеграцией и полноценным асинхронным агентом. В ночь перед запуском они сидели до 4 утра, а утром уже нажимали на кнопку.

Codex показал: будущее программирования будет похоже на общение с ассистентом, а не набор кода строка за строкой. С момента запуска Codex сгенерировал более 630 000 pull request’ов — это десятки тысяч на каждого инженера в команде.

Несмотря на скандалы в персе — тысячи людей, искренне верящих, что строят нечто важное. OpenAI остаётся одной из самых амбициозных организаций в мире: не только чат, не только API, но и hardware, агенты, изображения — и это ещё не всё.

📌 Читать

@data_analysis_ml
Media is too big
VIEW IN TELEGRAM
🌟 Amazon встроила векторную базу данных прямо в хранилище S3.

Amazon анонсировала S3 Vectors - нативную поддержку векторного поиска прямо внутри своего вездесущего объектного хранилища. Заявлено, что это может снизить затраты на хранение и обработку векторов до 90%.

По сути, AWS предлагает не отдельный сервис, а новый тип бакета vector bucket. Внутри него вы создаете векторные индексы, указывая размерность векторов и метрику расстояния (косинусную или евклидову).

🟡Дальше все работает как магия

Вы просто загружаете в индекс свои эмбеддинги вместе с метаданными для фильтрации, а S3 берет на себя всю грязную работу по хранению, автоматической оптимизации и обеспечению субсекундного ответа на запросы. Никакого управления инфраструктурой.

Один бакет может содержать до 10 тысяч индексов, а каждый индекс, в свою очередь, десятки миллионов векторов.

🟡Главная сила этого решения - в экосистеме.

S3 Vectors бесшовно интегрируется с Bedrock Knowledge Bases. Теперь при создании базы знаний для RAG-приложения можно просто указать S3-бакет в качестве векторного хранилища.

Процесс создания RAG-пайплайна для тех, кто уже живет в облаке AWS, упрощается до нескольких кликов. То же самое касается и SageMaker Unified Studio, где эта интеграция тоже доступна из коробки.

🟡"One more thing" анонса - умная интеграция с сервисом OpenSearch.

AWS предлагает гибкую, многоуровневую стратегию. Нечасто используемые или «холодные» векторы можно экономично хранить в S3 Vectors. А когда для части данных потребуется максимальная производительность и низкая задержка в реальном времени, например, для системы рекомендаций, их можно быстро экспортировать в OpenSearch.

Это очень прагматичный инженерный подход, позволяющий балансировать между стоимостью и производительностью.

Пока сервис находится в статусе превью и доступен в регионах US East (N. Virginia), US East (Ohio), US West (Oregon), Europe (Frankfurt), and Asia Pacific (Sydney) Regions.

Попробовать S3 Vectors можно в Amazon S3 console.


🟡Статья
🖥Github


@ai_machinelearning_big_data

#AI #ML #RAG #Amazon
Please open Telegram to view this post
VIEW IN TELEGRAM
🧠 Новая статья “Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety” выделяет важность мониторинга цепочек рассуждений (CoT) в продвинутых LLM для повышения безопасности AI.

Основная идея:
Когда ИИ "размышляет вслух" на человеческом языке, мы получаем редкую возможность наблюдать промежуточные шаги мышления и вовремя обнаруживать опасные намерения :contentReference.

🤔 Но это не очень надежно:
- CoT — не всегда надёжно: модели иногда "надувают" мысли фальшивыми оправданиями - В будущем AI может перейти на латентные рассуждения, скрывая настоящие мысли.
- Не все вредоносные действия требуют развернутого CoT – короткая вредоносная команда может пройти незамеченной.

🎯 Почему это важно:
- CoT-мониторинг можно применять уже сейчас как дополнительный слой безопасности.
- Он помогает построить доверие и прозрачность, особенно в ответственных системах (медицина, финансы, критическая автоматизация).
- Но это — лишь временный ресурс: мы должны его сохранить и укрепить

💬 Авторы (включены исследователи из Anthropic, OpenAI, DeepMind, Google и другие) предлагают:
- Включать мониторируемость CoT в качестве метрики при разработке моделей.
- Построить библиотеку кейсов безопасных и рискованных CoT.
- Разрабатывать автоматические мониторы, обучаемые на выявлении подозрительных цепочек.

Вывод:
Сегодня CoT — наш редкий способ заглянуть внутрь ИИ. Но без сознательных усилий он может исчезнуть. Контекстные рассуждения нужно ценить, защищать и формализовать, прежде чем они станут недоступны в новых моделях.

📌 Читать полностью
🌟 AI Flow: концепция коллаборативного ИИ.

China Telecom совместно с TeleAI спроектировали фреймворк AI Flow, который рассматривает ИИ и сети передачи данных как единую систему.

AI Flow - это не просто очередной метод оптимизации, а цельная парадигма. Она предлагает отойти от идеи монолитного ИИ к распределенному и коллаборативному, где интеллект может перетекать по сети туда, где он в данный момент нужнее всего и где для него есть ресурсы.

🟡Архитектура "Устройство-Edge-Облако".

Идея в том, чтобы разумно распределять нагрузку: простейшие операции выполняются на самом гаджете, более сложные и требующие низкой задержки — на ближайшем edge-сервере, а самое тяжелые задачи и ресурсоемкий инференс остаются в облаке.

AI Flow предлагает конкретные механизмы для такой концепции - спекулятивное декодирование, где легкая модель на устройстве быстро генерирует черновик ответа, а мощная модель на эдже его лишь верифицирует и корректирует.

🟡Основа архитектуры - "семейные модели" (familial models).

Это не просто набор моделей разного размера, а целое семейство с архитектурно согласованными скрытыми представлениями.

Маленькая, средняя и большая модели устроены настолько похоже, что они могут бесшовно передавать друг другу эстафету инференса.

Модель на смартфоне обрабатывает первые несколько слоев, а затем ее промежуточный результат подхватывает модель на сервере и продолжает вычисления ровно с того же места, без какого-либо дополнительного преобразования данных.

🟡Эмерджентный интеллект через сотрудничество моделей.

Пайплайн AI Flow делает возможным взаимодействие разных моделей, от LLM и VLM до диффузионных генераторов.

Через такую коллаборацию рождается эмерджентный интеллект – коллективная интуиция, превышающая возможности отдельных сетей, где несколько агентов генерируют черновые решения, затем сервер-оркестратор выбирает лучшие фрагменты, объединяет их и возвращает итоговый ответ для уточнения с учетом контекста каждого из них.

В этом и фишка: после такой синергии ответ становится богаче и более осмысленным, ведь сходятся разные точки зрения и узкопрофильные знания моделей-участников.

▶️В открытом доступе опубликована предварительная версия модели Ruyi-7B (AI-Flow-Ruyi-7B-Preview) из "семейных моделей".

Ее крупнейшая ветвь содержит 7 млрд. параметров и способна порождать early-exit подсети с эффективным числом параметров в 3, 4, 5 и 6 млрд:

🟢Branch 3B/4B: простые сценарии диалога с минимальными требованиями по ресурсам;

🟢Branch 5B/6B: повседневные универсальные задачи, баланс возможностей и отзывчивости;

🟢Branch 7B: решение сложных проблем, повышенные требования к ресурсам.


📌Лицензирование: Apache 2.0 License.


🟡Модель
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #AIFlow #TeleAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM