🎞 Как ускоряют нейросети?

Ускорение нейросетей — важный навык в DL-индустрии: растёт потребность инференса нейросетей на смартфонах и edge-устройствах, а DL-сервисов становится всё больше и нагрузка на эти сервисы растёт. А запустить LLM «как есть», никак не оптимизировав — слишком дорогое удовольствие. Ну и «зачем платить за то, что в 5 раз медленнее, если можно платить за то, что в 10 раз быстрее» 😉

В новом видео Саша Гончаренко, СТО стартапа enot.ai и хэдлайнер нашего курса «Ускорение нейросетей», расскажет «на пальцах» про основные подходы в ускорении нейросетей, их плюсы и минусы, а также немного затронет особенности ускорения LLM.

Смотрите видео на Youtube!

Ускорим инференс трансформера на открытой лекции

Ещё и на ноунейм-плате! 🤯

Всё больше моделей запускаются на конечных устройствах: в телефонах, роботах, колонках, автомобилях, домофонах и т.д. — у всех разные ОС и архитектуры, а значит и свои нюансы инференса моделей. На лекции мы разберём как раз такой случай из практики с кучей нюансов и их решениями!

Советуем прийти, если вы:
— никогда не ускоряли модели
— ускоряли, но не для эдж-девайсов
— ускоряли для эджей и у вас есть вопросы

🗓 30 января, четверг, 18:00 МСК

На лекции расскажем:
① как снизить стоимость инференса на примере автономного автомобиля
② как запустить Vision transformer на плате Texas Instruments
③ о проблемах запуска трансформеров на кастомных платах с NPU
④ про применение прунинга к таким платам

А также представим программу курса Ускорение нейросетей, расскажем про обновления и подарим скидки на обучение!

🙋‍♂️Спикеры лекции:
— Александр Гончаренко — CTO ENOT.аi, хэдлайнер курса Ускорение нейросетей
— Тимур Фатыхов — основатель DeepSchool, ex Lead CV Engineer KoronaPay

Регистрируйтесь на лекцию по ссылке!

🎁После регистрации вы получите туториал по использованию TensorRT и OpenVino.

До встречи 30 января в 18:00 МСК!⚡️

⏰ Встречаемся через 2 часа

Сегодня на примере реальной задачи разберём, как запустить трансформер на плате с NPU. Обсудим проблемы, которые с этим связаны, и как их решать!

А также представим обновлённую программу курса Ускорение нейросетей и подарим скидки участникам лекции ⚡️

Вы ещё успеваете зарегистрироваться!
Приходите сегодня в 18:00 МСК!

Научитесь ускорять нейросети

Если вы хотите повысить свою экспертизу и ценность как DL-инженера, научиться ускорять нейросети, эффективно использовать ресурсы, создавать больше уникальных продуктов и решать сложные задачи — приходите на наш курс Ускорение нейросетей!

Программа состоит из 3 блоков:
1️⃣ База — вы освоите подходы, которые являются общими для большинства задач. Разберётесь с алгоритмами: прунингом, дистилляцией, квантованием, архитектурным поиском. Поймёте устройство девайсов: CPU, GPU, NPU — и научитесь пользоваться фреймворками для каждого.

2️⃣ LLM — изучите популярные и рабочие методы для ускорения небольших и крупных языковых моделей.

3️⃣Device — научитесь запускать нейросети на Android, iOS и микрокомпьютерах с учётом их особенностей.

Вы можете изучить только Базу или дополнительно углубиться в определённый домен — можно выбрать любой подходящий вариант 🧩

⚡️ До 4 февраля вы можете записаться со скидкой!
🗓 Обучение длится 4 месяца, а начнётся 5 февраля.

Весь путь вы пройдёте при поддержке опытных инженеров. Они будут проверять ваши домашние задания и отвечать на вопросы на лекциях, семинарах и в чате.

Успевайте записаться со скидкой до 4 февраля!
Подробнее о программе, тарифах и спикерах читайте на сайте.

Если возникают вопросы или трудности, то пишите нам в поддержку в Телеграм!

Что не так с LLM?

— Модели игнорируют инструкции
— Даже большие LLM галлюцинируют
— RAG сходу не работает
— API не так дёшевы, как кажется
— Инференс без оптимизации стоит дорого

И это не все сложности. На Zoom-лекции в четверг разберём другие проблемы и покажем, как с ними справляться на примере реальной задачи. Приходите, чтобы лучше понять LLM и их слабые места!

Также мы представим программу курса LLM, а всем участникам лекции подарим скидки на обучение! 🔥

🙋‍♂️ Обо всём этом расскажут:
— Илья Димов — Senior NLP-инженер
— Тимур Фатыхов — основатель DeepSchool, ex Lead CV Engineer, KoronaPay

📆 Четверг, 20 февраля, в 18:00 МСК

Регистрируйтесь по ссылке!
🎁 После регистрации вы получите список полезных инструментов и библиотек для работы с LLM.

И до встречи в четверг!

✨Встречаемся через 2 часа на лекции по LLM

Сегодня на примере реальной задачи будем разбираться в слабых местах LLM и как их обходить!

И в конце представим программу курса LLM 🔥
Участники лекции смогут занять место на программе на выгодных условиях!

Успевайте зарегистрироваться! И приходите сегодня в 18:00 МСК!

Научитесь правильно использовать LLM

LLM — капризны: они галлюцинируют, игнорируют факты, не следуют инструкциям. Их можно дообучать, дополнять знания через RAG, хитро промптить — но в каждом из этих методов есть нюансы.

А когда всё заработает, встанет новая задача — как выдержать нагрузку и не разориться на железе.
Если хотите разобраться, как создавать рабочие решения и доводить их до пользователей, приходите на курс Large Language Models.

Наши спикеры работали и в бигтехах, и в стартапах, и в научных лабораториях. Создавали нагруженные сервисы и популярные библиотеки, которыми вы скорее всего пользовались. Вместе с ними на программе вы узнаете:
🔹 как выбрать модель для проекта и чем они отличаются
🔹 как уменьшить галюцинации и отхождения от инструкций
🔹 как сделать RAG, который наконец начнёт работать
🔹 как дообучать и сервить LLM, чтобы не разориться
🔹 как деплоить большие модели
🔹 и как эти модели устроены, как эволюционировали

Курс вам подойдёт и если вы только знакомитесь с LLM, и если уже работаете с ними ✨

📆 Начало — 26 февраля, продолжительность — 4 месяца.
⚠️ Осталось 18 мест из 60. Успевайте присоединиться к обучению!

Читайте подробности о программе, формате и спикерах на сайте.
И записывайтесь на курс со скидкой 5%, которая действует до 25 февраля 🔥

Если возникают вопросы или трудности, то пишите нам @deepschool_support!

До встречи на курсе!

⚡Уже в марте стартует новый поток курса «Деплой DL-сервисов» . Пока готовим новые материалы по этой теме, собрали несколько статей из нашего архива. Вдруг вы их пропустили:

1️⃣ ClearML Data Management
Разбираем инструмент, который подходит для версионирования данных и не только.

2️⃣ ClearML Session
Изучаем работу на удалённом сервере и настройку рабочего места с использованием ClearML Session.

3️⃣ Полезные Linux-команды
Рассказываем о Linux-командах, которые позволят упростить работу Data Scientist'а.

4️⃣ Pre-commit git-хуки
Коротко говорим про git-хуки и смотрим пару примеров.