При использовании Layer Normalization (LN) в архитектуре Transformer, в чем заключается основное преимущество стратегии 'Pre-LN' (нормализация перед блоком Attention/FFN) по сравнению с оригинальной 'Post-LN'?
Anonymous Quiz
29%
Она делает модель устойчивой к очень большим размерам батча (batch size)
7%
Она позволяет избежать использования механизма Dropout в глубоких слоях
10%
Pre-LN значительно увеличивает вычислительную сложность каждого шага обучения
54%
Она создает прямой путь для градиентов, облегчая обучение экстремально глубоких сетей
❤1
В оптимизаторе AdamW была введена модификация классического Adam. Какую конкретную проблему она решает при использовании L2-регуляризации?
Anonymous Quiz
9%
Необходимость ручного подбора начальной скорости обучения (learning rate)
16%
Проблему исчезающего градиента в рекуррентных слоях
10%
Медленную сходимость на разреженных (sparse) данных
66%
Некорректное взаимодействие адаптивного шага обучения и штрафа за веса (weight decay)
Вы обучаете ViT на маленьком наборе данных (например, 10 000 картинок) и замечаете, что он безнадежно проигрывает старой доброй ResNet той же сложности. Однако на огромном датасете ViT внезапно обходит CNN.
В чем основная причина такой динамики?
В чем основная причина такой динамики?
Anonymous Quiz
2%
ViT требует использования только ч/б изображений для стабильности
74%
Из-за отсутствия жесткого индук. смещения ViT обладает большей гибкостью, но требует больших данных
5%
Сверточные слои физически не могут работать с большими разрешениями
19%
В ViT используется L1-регуляризация, которая стирает мелкие детали на малых выборках
👍4
Представьте, что у вас есть 10 миллионов фотографий из интернета, но нет ни одной метки. Вы используете SimCLR, чтобы научить модель извлекать полезные признаки.
Какая функция потерь в одновременно сближает похожие представления и отталкивает разные?
Какая функция потерь в одновременно сближает похожие представления и отталкивает разные?
Anonymous Quiz
5%
Mean Squared Error
71%
InfoNCE (Contrastive Loss / Cross-Entropy на парах)
9%
Huber Loss
15%
Binary Cross-Entropy на уровне пикселей
❤2👍2
Вы разворачиваете модель уровня Llama 3 или GPT-4 для высоконагруженного чат-бота. При генерации длинных ответов VRAM заканчивается очень быстро, а скорость генерации падает.
Для решения этой проблемы используется KV Caching. Что именно она делает?
Для решения этой проблемы используется KV Caching. Что именно она делает?
Anonymous Quiz
9%
Она сохраняет веса всей модели в оперативной памяти CPU, чтобы освободить GPU
77%
Она сохраняет вычисленные векторы Key и Value для всех предыдущих токенов
12%
Она сжимает контекст в один короткий вектор с помощью автоэнкодера
2%
Она предсказывает сразу 5 следующих слов вместо одного, используя теорию вероятностей
👍3
«Этот манёвр будет стоить нам 51 год...»
— или потерю шанса на
19 января в Proglib Academy вырастут цены. Успейте забрать курсы по
— Разработка ИИ-агентов
— Математика для разработки AI-моделей
— ML для старта в Data Science
— Математика для Data Science
— Специалист по ИИ
— Алгоритмы и структуры данных
— Программирование на Python
— Основы IT для непрограммистов
— Архитектуры и шаблоны проектирования
Подготовиться к собеседованиям
⚠️ Стоимость изменится 19 января
— или потерю шанса на
Senior-позицию из-за «поплывшей» математики на тех-интервью. В Data Science теоремы и алгоритмы — это фундамент, без которого не построить ни одну серьёзную модель.19 января в Proglib Academy вырастут цены. Успейте забрать курсы по
Math, ML и AI по старой стоимости:— Разработка ИИ-агентов
— Математика для разработки AI-моделей
— ML для старта в Data Science
— Математика для Data Science
— Специалист по ИИ
— Алгоритмы и структуры данных
— Программирование на Python
— Основы IT для непрограммистов
— Архитектуры и шаблоны проектирования
Подготовиться к собеседованиям
⚠️ Стоимость изменится 19 января
😁1
Вы хотите дообучить модель Llama 3 на своих личных переписках, чтобы она имитировала ваш стиль общения. Вместо того чтобы менять все веса огромных матриц модели, вы решаете использовать LoRA.
В чем заключается этот метод?
В чем заключается этот метод?
Anonymous Quiz
22%
Он просто отключает (freeze) 99% слоев, оставляя только последний
54%
Он представляет изменение весов в виде произведения двух матриц низкого ранга
3%
Он переводит все веса модели в 1-битный формат
21%
Он использует внешнюю базу данных (RAG) вместо изменения внутренних весов
👍2
Вы строите корпоративного ассистента, который должен отвечать на вопросы сотрудников по внутренним документам (которые модель никогда не видела при обучении). Вместо Fine-tuning, вы внедряете архитектуру RAG.
Как именно работает этот механизм?
Как именно работает этот механизм?
Anonymous Quiz
83%
Система ищет текст в БД, добавляет его в контекст модели, и только после этого генерируется ответ
4%
Модель генерирует ответ на основе своей памяти, а потом проверяет его правильность в Google
10%
Модель использует слой нейронов, который физически расширяется при добавлении новых документов
3%
Вопрос переводится на язык SQL, чтобы модель могла напрямую менять веса своих слоев
👍1
ViT разбивает изображение на патчи и вычисляет внимание между патчами. Если мы увеличим разрешение фото в 2 раза, количество вычислений вырастет в 16 раз.
Для решения проблемы был создан Swin Transformer. Какое нововведение позволяет ему работать быстро?
Для решения проблемы был создан Swin Transformer. Какое нововведение позволяет ему работать быстро?
Anonymous Quiz
6%
Он удаляет 75% пикселей перед обработкой
75%
Он вычисляет внимание внутри локальных окон, которые сдвигаются на каждом слое
10%
Он заменяет механизм внимания на обычные свертки 3×3
9%
Он использует только один слой внимания в самом конце сети
❤2👍2
В отличие от GAN, где 2 сети соревнуются, диффузионные модели обучаются на процессе постепенного разрушения данных.
В процессе обратной диффузии нейросеть получает на вход сильно зашумленное изображение. Какова задача на каждом микро-шаге этого процесса?
В процессе обратной диффузии нейросеть получает на вход сильно зашумленное изображение. Какова задача на каждом микро-шаге этого процесса?
Anonymous Quiz
3%
Предсказать, какой объект изображен на картинке
93%
Предсказать и «вычесть» шум, который был добавлен к изображению на текущем этапе
2%
Сжать изображение в 10 раз для экономии памяти
1%
Перевести текстовый запрос пользователя в набор пикселей
👍2
This media is not supported in your browser
VIEW IN TELEGRAM
RAG или Fine-tuning: что отвечать на собеседовании?
Вопросы по архитектуре LLM-систем становятся стандартом. 23 января в 19:00 на открытом уроке к курсу «Разработка ИИ агентов» разберём матчасть: как работают
Ведущий — Игорь Стурейко, тимлид в «Газпроме» и AI-архитектор. В своём видеосообщении Игорь делится опытом построения сложных ML-решений и рассказывает о программе подготовки специалистов по агентам.
Ключевые концепции:
— разница между параметрической и внешней памятью модели;
— использование
— пайплайны обработки документов с помощью
📅 Когда: 23.01 в 19:00 МСК
Узнать подробности
Вопросы по архитектуре LLM-систем становятся стандартом. 23 января в 19:00 на открытом уроке к курсу «Разработка ИИ агентов» разберём матчасть: как работают
Retrieval-Augmented Generation и дообучение моделей в реальных проектах.Ведущий — Игорь Стурейко, тимлид в «Газпроме» и AI-архитектор. В своём видеосообщении Игорь делится опытом построения сложных ML-решений и рассказывает о программе подготовки специалистов по агентам.
Ключевые концепции:
— разница между параметрической и внешней памятью модели;
— использование
FAISS и Chroma для хранения эмбеддингов;— пайплайны обработки документов с помощью
LangChain.📅 Когда: 23.01 в 19:00 МСК
Узнать подробности
❤1
Вы тестируете систему комп. зрения для беспилотного авто Тесты показали, что можно изменить изображение знака «STOP» так, что человек не заметит разницы, но нейросеть с 99% классифицирует его как «Ограничение скорости».
Как называется этот тип атаки?
Как называется этот тип атаки?
Anonymous Quiz
7%
Брутфорс-атака (Bruteforce)
53%
Инъекция данных (Data Poisoning)
1%
Переполнение буфера (Buffer Overflow)
39%
Атака быстрым градиентным знаком (FGSM - Fast Gradient Sign Method)