Machinelearning – Telegram
382K subscribers
4.43K photos
852 videos
17 files
4.88K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
🙂 Эволюция text-to-video.

Чуть меньше 3-х лет прошло между этими генерациями Уилла Смита, поедающего спагетти.

Слева - ролик, созданный в феврале 2023 года пользователем Reddit chaindrop на модели ModelScope text2video. он так ее назвал в комментариях

Справа - современная генерация на свежем Kling 2.6

С чем мы будем сравнивать видос Уилла Смита в 2030 году?
Please open Telegram to view this post
VIEW IN TELEGRAM
76🔥33😁21👍13🤔2😭2🦄1
OpenAI: «GPT-5 положит конец всей путанице с названиями.»

OpenAI спустя секунду ☝️

@ai_machinelearning_big_data
😁179🤣8617👍4😭4🔥3💯3👻2💅2
Вчера на конференции облачного провайдера Cloud․ru про внедрение AI-инструментов в процесс разработки, показали коллекцию одежды, посвещенную релизу новой платформы для работы с GenAI — AI Factory. Лимитку создали совместно с брендом .Solutions.
Эта коллекция — не случайный мерч, а продуманная метафора: она визуализирует, как данные, идеи и цифровые процессы эволюционируют в реальные продукты, создаваемые пользователями на базе AI Factory.

Хорошая новость — вещи из коллекции можно выиграть. Участвуйте в розыгрыше в телеграм-канале Cloud․ru: https://news.1rj.ru/str/cloudruprovider/1259
👍15🤣159🥰3🦄3🤗1
🌟 CUDA-L2: ИИ научился писать CUDA-ядра эффективнее инженеров NVIDIA.

Исследовательская группа DeepReinforce разработала систему полностью автоматического написания GPU-кода для матричного умножения под названием CUDA-L2.
Этот код работает на 10–30% быстрее, чем cuBLAS и cuBLASLt, а это, на минуточку, уже оптимизированные библиотеки от самой NVIDIA.

Обычно такие библиотеки создаются вручную людьми, которые используют готовые шаблоны ядер. А автотюнеры лишь подкручивают параметры, например, размер тайлов.

Но DeepReinforce считают, что даже критически важные и глубоко оптимизированные задачи, как HGEMM, могут быть улучшены с помощью LLM, работающей в связке с RL.

В системе CUDA-L2 языковая модель буквально пишет исходный код CUDA с нуля для каждого размера матрицы. Она не просто меняет параметры, она может менять структуру кода, циклы, стратегию тайлинга, паддинг и даже свизл-паттерны. А еще, она сама выбирает стиль программирования - будь то сырой CUDA, CuTe, CUTLASS или inline PTX.

Процесс выглядит так: цикл RL запускает сгенерированные ядра на реальном железе, измеряет скорость и корректность, а затем обновляет LLM. Со временем модель выводит свои собственные правила производительности, вместо того чтобы полагаться на знания, заложенные людьми.

В качестве генератора использовалась модель DeepSeek 671B. Ее дополнительно доучили на смеси массива CUDA-ядер и качественном коде из библиотек PyTorch, ATen, CUTLASS и примеров от NVIDIA.

🟡Что это дает на практике

Для претрейна и файнтюна LLM большая часть времени GPU тратится именно на операции матричного умножения HGEMM. Если ускорить эти ядра на те самые 10–30%, которые обещает CUDA-L2, то весь процесс обучения становится заметно дешевле и быстрее.

Поскольку CUDA-L2 обрабатывает около 1000 реальных размеров матриц, а не пару вручную настроенных, ускорение работает для самых разных архитектур. Это значит, что в тот же бюджет на GPU можно вместить больше токенов обучения, больше прогонов SFT или RLHF и т.д.

🟡Тесты

HGEMM-ядра, созданные CUDA-L2, стабильно быстрее стандартных библиотек.

В так называемом "оффлайн-сценарии" CUDA-L2 работает примерно на 17–22% быстрее, чем torch.matmul, cuBLAS и cuBLASLt. Она даже на 11% обгоняет cuBLASLt AutoTuning, который сам по себе уже использует поиск ядра.

А в "серверном", сценарии, который имитирует реальный инференс с паузами между вызовами - разница еще больше: буст в 24–29% по сравнению с torch.matmul и cuBLAS.


Простым рисёрчем проект не ограничен, в репозитории на Github авторы выложили оптимизированные ядра HGEMM A100 для 1000 конфигураций.

В планах: расширение на архитектуры Ada Lovelace, Hopper, Blackwell, поддержка более плотных конфигураций и 32-битный HGEMM.


🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #CUDA #DeepReinforce
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11941🔥32🤷61🆒1🦄1
Media is too big
VIEW IN TELEGRAM
✔️ Интеграция ИИ-агентов в GitHub и GitLab небезопасна.

Подключение ИИ-инструментов к рабочим процессам разработки открывает новый вектор атак. Проблема затрагивает Gemini CLI, Claude Code и OpenAI Codex.

Механизм взлома основан на внедрении скрытых инструкций в issues, пулл-реквесты или коммиты. Когда агент считывает этот текст для анализа, он может ошибочно интерпретировать его как прямую команду, а не как пассивные данные.

Тестирование, проведенное Aikido Security показало, что уязвимость актуальна как минимум для 5 компаний из списка Fortune 500. Google оперативно устранила брешь в Gemini CLI, однако эксперты настоятельно рекомендуют инженерам ограничивать полномочия ИИ-агентов и внедрять строгую валидацию входных данных.
aikido.dev

✔️ Google представила архитектуру Titans.

Google Research анонсировала Titans — новую архитектуру, которая решает проблему эффективности обработки огромных массивов данных. Фишка - в механизме «глубокой обучаемой памяти», которая обновляется непосредственно в процессе инференса, превращая работу сети в непрерывный цикл онлайн-обучения.

Вместо сохранения всего контекста Titans использует градиенты как индикатор неожиданности: модель запоминает только те токены, которые несут новую информацию и отсеивает предсказуемые данные. Это позволяет поддерживать контекстные окна объемом более 2 млн. токенов при сохранении линейной скорости вычислений, свойственной RNN.

В тестах на длинный контекст и ризонинг архитектура обошла по производительности Transformer++ и Mamba 2.
research.google

✔️ Отчет OpenRouter: генерация кода и ризонинг-модели захватили 50% мирового ИИ-трафика.

OpenRouter совместно с фондом a16z опубликовали исследование «State of AI», основанное на анализе 100 триллионов обработанных токенов. Главный инсайт — рост популярности рассуждающих моделей: во второй половине 2025 они уже генерируют половину всего трафика платформы.

Драйвером индустрии остается разработка ПО: на задачи по написанию и отладке кода приходится более 50% всех запросов. Одновременно растет доля open-source решений, открытые модели занимают уже треть рынка, локомотивами выступают китайские DeepSeek и Qwen.

Эксперты прогнозируют скорый переход к прокси-инференсу, когда сложные задачи будут автоматически распределяться между несколькими специализированными моделями.
openrouter.ai

✔️ Компания Марка Цукерберга купила стартап Limitless.

Техногигант приобрел компанию Limitless (ранее Rewind), создателя умного кулона, который записывает, транскрибирует и индексирует разговоры пользователя в реальном времени.

Устройство Limitless позиционировалось как аппаратный «расширитель памяти», позволяющий мгновенно находить информацию в прошлых диалогах. Это направление сейчас переживает бум: ранее стартап привлек более $33 млн. инвестиций, в том числе от фонда a16z и Сэма Альтмана.

Согласно заявлению, продажи устройств Limitless новым клиентам будут прекращены. Текущие владельцы гаджетов продолжат получать поддержку, но для дальнейшего использования сервиса им придется принять новые условия конфиденциальности.
reuters.com

✔️ В MIT создали летающего микро-робота с ИИ.

MIT представила устройство размером с насекомое. В основе разработки лежат мягкие приводы и двухуровневый ИИ-контроллер, объединяющий методы предиктивного планирования и имитационного обучения. Такая архитектура позволяет роботу мгновенно адаптироваться к внешним возмущениям.

На тестах микро-бот показал уверенную маневренность, выполнив 10 непрерывных сальто за 11 секунд в условиях сильных порывов ветра. Проект планирует создавать автономные рои для поисково-спасательных миссий: благодаря миниатюрным размерам и ударопрочности, они смогут проникать в узкие расщелины завалов при ЧС.

Следующим этапом станет интеграция бортовых камер и сенсоров для полноценной навигации вне помещений.
news.mit.edu

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6228🔥11🙊2😁1🦄1
⚡️ ChatGPT 5.2 "Code Red" выйдет 9 декабря.

The Verge пишет, что по информации инсайдеров, OpenAI планирует представить обновление уже в начале следующей недели, ориентировочно 9 декабря.

Ожидается, что GPT-5.2 вернет компании доминирующие позиции в сегменте больших языковых моделей.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍67😁4819🔥12🦄31🥱1🤗1
This media is not supported in your browser
VIEW IN TELEGRAM
Когда многие решили, что видео с T800 - это CGI, CEO EngineAI Чжао Тонъян вышел на ринг и лично принял удар ногой от робота🦶

Никакой графики, всё настоящее. 📷

@ai_machinelearning_big_data

#ai #robots
🔥7316👍16😁10😨9🕊2👻1🦄1
This media is not supported in your browser
VIEW IN TELEGRAM
🌏 AlphaEarth Foundations: DeepMind показала ИИ, который создаёт детальную карту Земли

DeepMind представила AlphaEarth Foundations - модель, которая объединяет огромные объёмы спутниковых и климатических данных и превращает их в точную карту планеты с детализацией до 10 метров.

Что важно:

- Модель создаёт компактное 64-мерное представление для каждого участка Земли. Это позволяет быстро анализировать территорию, видеть, как она менялась с 2017 по 2024 год, и сравнивать регионы между собой.
- Система делает данные в 16 раз компактнее и примерно на четверть точнее, чем предыдущие подходы.
- Можно отслеживать вырубку лесов, рост городов, состояние почв, влияние климата, изменения береговой линии и другие процессы.
- AlphaEarth уже встроена в Google Earth Engine, поэтому доступна исследователям, экологам и госорганизациям.

Проще говоря, это инструмент, который помогает увидеть Землю в динамике и с высокой точностью, чтобы лучше понимать происходящие изменения.

deepmind.google/blog/alphaearth-foundations-helps-map-our-planet-in-unprecedented-detail/

@ai_machinelearning_big_data

#DeepMind
149🔥21🥰5❤‍🔥3👍1