🚨Мой хороший друг и коллега Сергей Марков принял участие в новом выпуске на канале «Вселенная плюс»
Они в компании с физиком Алексеем Семихатовым и астрономом Владимиром Сурдиным обсуждали, какие задачи лучше или хуже решает ИИ по сравнению с мозгом homo sapiens, способен ли ИИ вообще думать и что это такое с точки зрения «цифры». Конечно, спикеры не обошли стороной и другие вопросы, в том числе восстание нейросетей 😵💫
Советую всем интересующимся и просто любителям качественного научно-технического контента посмотреть выпуск по ссылке ниже👇
📍Тут лежит выпуск
Они в компании с физиком Алексеем Семихатовым и астрономом Владимиром Сурдиным обсуждали, какие задачи лучше или хуже решает ИИ по сравнению с мозгом homo sapiens, способен ли ИИ вообще думать и что это такое с точки зрения «цифры». Конечно, спикеры не обошли стороной и другие вопросы, в том числе восстание нейросетей 😵💫
Советую всем интересующимся и просто любителям качественного научно-технического контента посмотреть выпуск по ссылке ниже👇
📍Тут лежит выпуск
👍32🔥12❤4❤🔥3
Вы когда-нибудь мечтали стать лучшей версией себя? А LoRA уже стала!
Рад представить вам нашу новую работу T-LoRA: Single Image Diffusion Model Customization Without Overfitting✔️
Представьте, что вы хотите дообучить модель генерировать новый объект, например, кошку или чайник. Но у вас ВСЕГО ОДНА КАРТИНКА этого объекта. Вы обучаете LoRA. И что выходит? Полный провал. Модель переобучается: объект генерируется только в той позе, в которой он был на тренировочной картинке, а фон выглядит скудно и плохо соответствует тексту.
В ходе нашей работы мы выяснили, что переобучение чаще всего происходит на самых шумных таймстепах. Именно они приводят к тому, что модель переобучается на фон и позу объекта. Мы предложили решение: ограничить ранг на шумных таймстепах, чтобы избежать переобучения, и дать больший ранг на средних и поздних таймстепах для точного запоминания объекта. На поздних таймстепах можно использовать высокие ранги без риска переобучения.
Эту идею мы реализовали с помощью маскирования столбцов LoRA, ограничивая тренировочный сигнал на шумных таймстепах. Более того, чтобы маскирование было эффективным, разработали ортогональную версию LoRA, которая сохраняет столбцы ортогональными на протяжении всего обучения.
Теперь ваша кошка может не только стоять, но и сидеть, и кататься на велосипеде, бегать, принимать любые позы, которые вы захотите. А фоны стали яркими, насыщенными и разнообразными.
👉Поддержите нашу работу работу Upvote на HuggingFace. Это поможет как можно большему числу людей узнать, что делать в подобных тяжелых жизненных ситуациях с котиками🙂
🔜 Arxiv
🔜 GitHub
🔜 HuggingFace
Рад представить вам нашу новую работу T-LoRA: Single Image Diffusion Model Customization Without Overfitting
Представьте, что вы хотите дообучить модель генерировать новый объект, например, кошку или чайник. Но у вас ВСЕГО ОДНА КАРТИНКА этого объекта. Вы обучаете LoRA. И что выходит? Полный провал. Модель переобучается: объект генерируется только в той позе, в которой он был на тренировочной картинке, а фон выглядит скудно и плохо соответствует тексту.
В ходе нашей работы мы выяснили, что переобучение чаще всего происходит на самых шумных таймстепах. Именно они приводят к тому, что модель переобучается на фон и позу объекта. Мы предложили решение: ограничить ранг на шумных таймстепах, чтобы избежать переобучения, и дать больший ранг на средних и поздних таймстепах для точного запоминания объекта. На поздних таймстепах можно использовать высокие ранги без риска переобучения.
Эту идею мы реализовали с помощью маскирования столбцов LoRA, ограничивая тренировочный сигнал на шумных таймстепах. Более того, чтобы маскирование было эффективным, разработали ортогональную версию LoRA, которая сохраняет столбцы ортогональными на протяжении всего обучения.
Теперь ваша кошка может не только стоять, но и сидеть, и кататься на велосипеде, бегать, принимать любые позы, которые вы захотите. А фоны стали яркими, насыщенными и разнообразными.
👉Поддержите нашу работу работу Upvote на HuggingFace. Это поможет как можно большему числу людей узнать, что делать в подобных тяжелых жизненных ситуациях с котиками
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥55👍12❤7❤🔥4🙊1
Заметили, как AI перестал быть просто темой для митапов и стал реальным вызовом для бизнеса?
То, что ещё недавно казалось футуризмом, сегодня — конкурентное преимущество. А для тех, кто медлит, — вполне ощутимая угроза. И знаете, что часто вижу в компаниях? Хаос. Кто-то тестирует отдельные решения, кто-то оформил подписку на ChatGPT или строит RAG архитектуру — без бизнес-целей, стратегии и понимания, зачем всё это.
СберУниверситет запустил программу «Бизнес с AI: лидерство в цифровую эпоху» и я присоединился к преподавательскому составу, чтобы вместе с коллегами из Сбера и других компаний рассказать и показать, как системно внедрять AI. Ведь мы уже успешно реализовали AI-трансформации во многих компаниях.
На обучении вы:
— научитесь работать с инструментами машинного обучения и реализовывать проекты с применением AI;
— разберете реальные кейсы вашей компании с экспертами, получите индивидуальные рекомендации и определите точки роста для AI-трансформации;
— поймёте, какие AI-решения подходят именно вашему бизнесу;
— сформируете чёткий план внедрения AI с учётом рисков и зрелости компании.
Полное содержание программы тут.
И да, важно: после обучения вы станете частью сообщества выпускников СберУниверситета.
Старт: 5 сентября.
Оставляйте заявку на сайте.
То, что ещё недавно казалось футуризмом, сегодня — конкурентное преимущество. А для тех, кто медлит, — вполне ощутимая угроза. И знаете, что часто вижу в компаниях? Хаос. Кто-то тестирует отдельные решения, кто-то оформил подписку на ChatGPT или строит RAG архитектуру — без бизнес-целей, стратегии и понимания, зачем всё это.
СберУниверситет запустил программу «Бизнес с AI: лидерство в цифровую эпоху» и я присоединился к преподавательскому составу, чтобы вместе с коллегами из Сбера и других компаний рассказать и показать, как системно внедрять AI. Ведь мы уже успешно реализовали AI-трансформации во многих компаниях.
На обучении вы:
— научитесь работать с инструментами машинного обучения и реализовывать проекты с применением AI;
— разберете реальные кейсы вашей компании с экспертами, получите индивидуальные рекомендации и определите точки роста для AI-трансформации;
— поймёте, какие AI-решения подходят именно вашему бизнесу;
— сформируете чёткий план внедрения AI с учётом рисков и зрелости компании.
Полное содержание программы тут.
И да, важно: после обучения вы станете частью сообщества выпускников СберУниверситета.
Старт: 5 сентября.
Оставляйте заявку на сайте.
❤8❤🔥6🔥5😁2🆒2👍1🙊1
Forwarded from Сбер
В городе завершился очный этап всероссийской Летней школы «Лето с AIRI», которую при нашей поддержке провёл Институт AIRI.
Здесь на базе Томского государственного университета встретились студенты, аспиранты и молодые учёные из 10+ регионов России.
😉
Когда такие люди вместе, за развитие науки можно не волноваться!
Please open Telegram to view this post
VIEW IN TELEGRAM
👏22❤4🏆3⚡1😁1🙊1
Коллеги из Сбера опубликовали статью "NABLA: Neighborhood Adaptive Block-Level Attention".
Статья предлагает новый механизм блочно-разреженного внимания для диффузионных трансформеров: вместо вычисления всей маски внимания (Full Attention) можно сжать матрицы Query и Key и эффективно обнаружить только наиболее важные блоки с помощью кумулятивной функции распределения Softmax. После этого вычисления выполняются только для наиболее важных блоков. Метод позволяет ускорить генерацию модели Wan 2.1-14B (на данный момент это лучшая из открытых моделей генерации видео) в 2.7 раза.
Метод не требует написания специальных CUDA-ядер и полностью совместим с Flex Attention из PyTorch.
Upvote статьи на Hugging Face приветствуется🔝
Статья на HF
Статья предлагает новый механизм блочно-разреженного внимания для диффузионных трансформеров: вместо вычисления всей маски внимания (Full Attention) можно сжать матрицы Query и Key и эффективно обнаружить только наиболее важные блоки с помощью кумулятивной функции распределения Softmax. После этого вычисления выполняются только для наиболее важных блоков. Метод позволяет ускорить генерацию модели Wan 2.1-14B (на данный момент это лучшая из открытых моделей генерации видео) в 2.7 раза.
Метод не требует написания специальных CUDA-ядер и полностью совместим с Flex Attention из PyTorch.
Upvote статьи на Hugging Face приветствуется🔝
Статья на HF
👏27❤4⚡4🏆3👍2🔥1
⚡️Отдельная зона на стенде AIJ посвящена решениям и прототипам Института AIRI — 3 из 7 сделаны командами лаборатории FusionBrain и в ещё одном мы принимаем активное участие в рамках трека по генеративному проектированию💪
❤40❤🔥12👏4
Complete AI
⚡️Отдельная зона на стенде AIJ посвящена решениям и прототипам Института AIRI — 3 из 7 сделаны командами лаборатории FusionBrain и в ещё одном мы принимаем активное участие в рамках трека по генеративному проектированию💪
250725_WAIC.pdf
5.8 MB
Презентация AIRI на стенде WAIC👆
Внутри краткая информация о каждой технологии, а также ссылки на соответствующие демо-версии. Также на некоторых местах скринкасты, но они весят много, поэтому здесь упрощённая версия для ознакомления
Внутри краткая информация о каждой технологии, а также ссылки на соответствующие демо-версии. Также на некоторых местах скринкасты, но они весят много, поэтому здесь упрощённая версия для ознакомления
❤26🔥13👍4❤🔥1
⚡️Head of FusionBrain Lab (Andrey Kuznetsov) meets the author of ResNets and other major DL papers (Xiangyu Zhang)
By the way ResNet paper published in 2016 has nearly 280k citations🔥
By the way ResNet paper published in 2016 has nearly 280k citations🔥
6🔥71🏆12❤10
С 14 по 27 июля в Харбине проходила летняя школа SMILES по машинному обучению, организованная Сколтехом, а AIRI выступал в роли научного партнёра. Как и у нашей летней школы (проводилась в Томске), у коллег был предварительный отбор заявок на участие.
Одними из участников SMILES по итогам отсева стали молодые талантливый учёные из лаборатории FusionBrain — Пэни Ли и Матвей Скрипкин, а по совместительству аспиранты Ивана Оселедца в Сколтехе.
В рамках школы студенты разрабатывали проекты, представляли свои исследования в виде постеров, слушали лекции и семинары по различным темам (я тоже успел прочитать ребятам лекцию про методы генеративного проектирования — выложу её позднее). Проект, который делали ребята назывался «Решение задач доказательства с помощью больших языковых моделей» (LLM Solving Proof Tasks). Состав команды: Матвей Скрипкин, Пэни Ли (Pengyi Li), Дарья Воронкова, Бо Ли (Bo Li), Екатерина Боярина.
🥇Вчера Пэни сообщил мне, что по итогам оценки проектов, они с Матвеем заняли первое место и были награждены грамотами! Также Пэни получил медаль за лучший постер по научному исследованию, о котором я раньше писал. Поздравляю Пэни и Матвея с этой наградой, она абсолютно отражает их способности к научным исследованиям🔥
P.S. Я очень рад видеть, как у молодых ребят получается достигать крутых успехов, как они стараются, как с горящими глазами берутся за сложные задачи! А сейчас, кстати, Пэни активно участвует вместе со мной в конференции WAIC, где рассказывает об прорывных исследованиях Института на мировой арене💪
P.P.S. Приятно, когда твои дипломники занимают призовые места! 🥈Оказывается, второе место в номинации «Лучший постер» заняла Арина Чумаченко — «Предотвращение переобучения в задачах генерации изображений: регуляризация эмбеддингов и карт внимания» (Preventing Overfitting in Subject-Driven Text-to-Image Diffusion: Regularization of Embeddings and Attention Maps). В этом году Арина на «отлично» защитила магистерский диплом💪
Одними из участников SMILES по итогам отсева стали молодые талантливый учёные из лаборатории FusionBrain — Пэни Ли и Матвей Скрипкин, а по совместительству аспиранты Ивана Оселедца в Сколтехе.
В рамках школы студенты разрабатывали проекты, представляли свои исследования в виде постеров, слушали лекции и семинары по различным темам (я тоже успел прочитать ребятам лекцию про методы генеративного проектирования — выложу её позднее). Проект, который делали ребята назывался «Решение задач доказательства с помощью больших языковых моделей» (LLM Solving Proof Tasks). Состав команды: Матвей Скрипкин, Пэни Ли (Pengyi Li), Дарья Воронкова, Бо Ли (Bo Li), Екатерина Боярина.
🥇Вчера Пэни сообщил мне, что по итогам оценки проектов, они с Матвеем заняли первое место и были награждены грамотами! Также Пэни получил медаль за лучший постер по научному исследованию, о котором я раньше писал. Поздравляю Пэни и Матвея с этой наградой, она абсолютно отражает их способности к научным исследованиям🔥
P.S. Я очень рад видеть, как у молодых ребят получается достигать крутых успехов, как они стараются, как с горящими глазами берутся за сложные задачи! А сейчас, кстати, Пэни активно участвует вместе со мной в конференции WAIC, где рассказывает об прорывных исследованиях Института на мировой арене💪
P.P.S. Приятно, когда твои дипломники занимают призовые места! 🥈Оказывается, второе место в номинации «Лучший постер» заняла Арина Чумаченко — «Предотвращение переобучения в задачах генерации изображений: регуляризация эмбеддингов и карт внимания» (Preventing Overfitting in Subject-Driven Text-to-Image Diffusion: Regularization of Embeddings and Attention Maps). В этом году Арина на «отлично» защитила магистерский диплом💪
3🔥37👍13🏆4❤1
Forwarded from GigaChat
Российские учёные на WAIC 2025: как это было 🤖
WAIC 2025 в Китае — одна из самых масштабных AI-конференций в мире.
27 июля в рамках мероприятия впервые состоялись сессия международной конференции AI Journey и международная форсайт-сессия AI Horizons
На сцене AI Journey выступили выдающиеся AI-исследователи из Поднебесной и топ-эксперты российского AI-сообщества:
После AI Journey прошла международная научная форсайт-сессия AI Horizons с участием российских и китайских AI-экспертов. На сессии ведущие учёные из Сбера, Сколтеха, Института AIRI, университетов Анхойя и Шэньчжэня и другие специалисты обменялись мнениями о преодолении разрывов в развитии ИИ и перспективных трендах отрасли
Кроме того, на выставке WAIC были представлены российские AI-технологии: GigaChat, модель Kandinsky, SymFormer. Также на стенде можно было ознакомиться с инициативами SberDevices, Института AIRI и AI Alliance Network
⚡️ По итогам WAIC стало ясно: российский AI определённо выходит на новый уровень. Это уже не просто исследования, а передовые технологии для глобального рынка
WAIC 2025 в Китае — одна из самых масштабных AI-конференций в мире.
27 июля в рамках мероприятия впервые состоялись сессия международной конференции AI Journey и международная форсайт-сессия AI Horizons
На сцене AI Journey выступили выдающиеся AI-исследователи из Поднебесной и топ-эксперты российского AI-сообщества:
💚 Андрей Белевцев (Сбер) выступил на тему «Создание масштабного эффекта для бизнеса с помощью GenAI»
💚 Максим Ерёменко (Сбер) рассказал, как технологии ИИ приближают будущее
💚 Иван Оселедец (AIRI) представил результаты работы команды AIRI за последние полгода
💚 Алексей Наумов (ВШЭ) представил доклад по исследованию задачи оценки потенциала Шрёдингера
После AI Journey прошла международная научная форсайт-сессия AI Horizons с участием российских и китайских AI-экспертов. На сессии ведущие учёные из Сбера, Сколтеха, Института AIRI, университетов Анхойя и Шэньчжэня и другие специалисты обменялись мнениями о преодолении разрывов в развитии ИИ и перспективных трендах отрасли
Кроме того, на выставке WAIC были представлены российские AI-технологии: GigaChat, модель Kandinsky, SymFormer. Также на стенде можно было ознакомиться с инициативами SberDevices, Института AIRI и AI Alliance Network
Please open Telegram to view this post
VIEW IN TELEGRAM
👍20🔥11🤓4❤1🏆1