📢 Inception Labs представила Mercury, первую коммерческую диффузионную LLM, которая генерирует текст параллельно, а не последовательно, как другие авторегрессионные модели.

👉 Таким образом, она делает инференс с очень высокой скоростью. Она может генерировать более 1000 токенов в секунду на GPU H100, что в 5-10 раз быстрее авторегрессионных LLM

👌 Тесты показывают, что генерирует токены очень быстро. Похоже на будущее LLM-ках

https://www.inceptionlabs.ai/

Привет всем!

📢 Сегодня в 17ч в ТеДо состоится панельная дискуссия по LLM-Агентах. В том числе один из спикеров буду я.

👉 Присоединяйтесь по ссылке

📢 В понедельник (10. марта) в Технологии Доверия (ТеДо) прошла  панельная дискуссия на тему LLM-агентах.

⚡Среди спикеров, таких как Юрий Симонов, Валентин Малых, Марк Паненко и Антон Воронов, я принял участие.

👆Не много атмосфери можно увидет на видео.

👌 Большое спасибо Юрию и команде ТеДо за отличную организацию!

📢 Уже завтра в Сколково пройдет IT Purple Conf.

🥁 Я буду одним из спикеров, где буду рассказывать на тему LLMs и AI Agents.

🤝 Если вы будете на конференции завтра, буду рад встретиться!

📢 Yann LeCun и его команда представили Dynamic Tanh (DyT) в качестве замены традиционных слоев нормализации в моделях глубокого обучения. Этот новый подход, основанный на функции масштабированного tanh, показывает производительность, сравнимую или превосходящую такие методы, как LayerNorm и RMSNorm. Самым захватывающим аспектом является его потенциал для снижения вычислительных затрат при сохранении эффективности модели.

🤔 DyT заменяет слои нормализации масштабированной функцией tanh (tanh(αx)), где параметр α (альфа) управляет коэффициентом масштабирования функции tanh. DyT имитирует поведение слоев нормализации, сжимая экстремальные значения, сохраняя линейный центр

Преимущества:
👉 DyT снижает затраты на обучение и инференс.
👉 Требуется только один обучаемый параметр масштабирования (α).
👉 Работает быстрее, чем RMSNorm на графических процессорах H100

После моего выступления на открытом семинаре Sber AI Lab (6. марта) было много хороших отзывов и вопросов о записи.

👉 Запись выступления вы можете посмотреть сейчас по ссылке.

🥁 Майские праздники давно прошли и пришло время новых рабочих побед. Уже завтра стартует Data Fest, но в этом году впервые у меня дома в Сербии в Белграде 🥳 🇷🇸

🤝 Буду рад встрече, если вы планируете приехать на трек в Белград! Если нет, ждите фотографии атмосферы из Белграда 👌

А вы собираетесь посетить Data Fest в этом году?