Прошла вводный курс ML in production от deeplearning.ai
Вообще я люблю курсы от Andrew Ng. Конкретно этот курс весьма доступный - в нём в основном только лекции и тесты, а лабы не обязательные, поэтому он в принципе всем понятен, даже если вы в ML не разбираетесь.
Рассмотрены базовые основы продуктовой разработки:
🔣общие стадии разработки ML-продукта
🔣важность data-driven подхода
🔣HLP-бейзлайн и хитрости с интерпретацией результатов
🔣выбор направления для улучшения результата
🔣соотношение бизнес и ML метрик
🔣разница работы со структурированными и неструктурированными данными

Рекомендую курс всем студентам, которые пока ещё не поработали в компаниях, поскольку он хорошо расставляет акценты на различиях между исследованием и разработкой в ML.

Первая неделя курса бесплатна ( но он проходится за день 🙂).

В конце курса даётся список ссылок на внешние ресурсы, привожу его.
Week 1: Overview of the ML Lifecycle and Deployment
Concept and Data Drift
Monitoring ML Models
A Chat with Andrew on MLOps: From Model-centric to Data-centric AI
Статьи на архив:
1. Towards ML Engineering: A brief history of TensorFlow Extended (TFX)
2. Challenges in deploying machine learning: A survey of case studies.
3. Hidden technical debt in machine learning systems.

Week 2: Select and Train Model
Establishing a baseline
Error analysis
Experiment tracking
1. Toward trustworthy AI development: Mechanisms for supporting verifiable claims
2. Deep double descent: Where bigger models and more data hurt

Week 3: Data Definition and Baseline
Label ambiguity
Data pipelines
Data lineage
MLops
Статья: Comparing deep neural networks against humans: object recognition when the signal gets weaker

PS Мой сертификат

I2VGen-XL - двухстадийный метод генерации видео, использующий каскад из двух кодировщиков, использует статическое изображение в качестве guidance, а текстовое описание при апскейле до 1280×720.

➕Демонстрирует мощь динамических эффектов,
➖одновременно увеличивая риск артефактов, по сравнению с другими методами, типа Pika Labs.

Код, колабы, проект, демоспейс. Также доступен в Replicate и Basedlabs.

➗И действительно, хвост у птички стабильно обрезается, а луна синеет, хотя в Video Stable Diffusion такого не происходит.
➗Качественные примеры генерации этим методом на вдохновляющем меня канале.
🔣🔣🔣 Мои примеры в комментариях.

В видео заменила Анджелину Джоли на Алису Селезнёву с помощью банального roop. А скулы-то не спрячешь 🙃.

В последнее время обсуждаются (тут и тут) случаи использования дипфейков в мошеннических целях.

Вот некоторые последние события:
1. Использование фейковой видеоконференции. Имитировался рабочий созвон. Все участники, кроме жертвы, были ненастоящие.
2. Распространение фейкового порно с Тейлор Свифт в Твиттер.
3. Фейковые звонки в мессенджерах.
4. Использование для видеоидентификации в банковском приложении (позже выяснилось, что там использовалась комбинация с классическими методами обмана).

Страница содержит список статей о различных недавних дипфейк-инцидентах. Каждая статья содержит краткое описание инцидента, его последствий и способов борьбы с дипфейками.
Кроме того, каждые несколько дней на хабре появляется новая статья по этой проблеме.
➗Лично сталкиваюсь с чувством недоверия незнакомцу на другом конце видеоконференции. По отношению ко мне в обратную сторону такое тоже случалось.
➗Также меня беспокоит, что в сети достаточно моих изображений и видео, чтобы обчистить любой мой банковский счёт.

Конечно, для борьбы с дипфейками принимаются встречные шаги: проводятся соревнования, собираются бенчмарки, публикуются работы. Тем не менее, осознание, что где-то там герои невидимого фронта трудятся на благо Родины нубов, никак не поможет мне обезопасить себя при следующем видеосозвоне.

Какие я вижу решения, применимые к своей жизни? Если кратко, то защититься от фейков с помощью фейков.
1. Не переводить деньги незнакомцам.
2. Использовать синтетический голос \ модуляцию голоса + аватар или хотя бы маски во время видеосозвонов, чтобы препятствовать сбору данных о себе (маски и замена фона доступны в Zoom и Google Meets). Для модификации голоса нашла статью на английском с подборкой средств и браузерных расширений.
3. Отключить идентификацию по биометрическим данным в банковских приложениях.

С учётом развития технологии цифровых аватаров, было бы закономерно использовать для рабочих созвонов именно их потоковую генерацию, как думаете?
🔣🔣🔣
Задумываетесь ли вы об анонимизации при звонках? Пробовали ли вы уже менять голос или внешность?

Подключила GigaCode в качестве плагина к PyCharm. К сожалению, официальная инструкция по подключению не вполне соответствовала моему GUI, но всё равно это оказалось не сложно.
Попробовала его на двух задачах.
1️⃣ Создать классификатор на MNIST
➗GigaCode хорошо умеет дополнять строки, но иногда ошибается с константами и длинами списков
➗Благодушно пытался загрузить мне MNIST из gradio 😧 Но при первом же намёке исправился на torchvision.dataset 🫡
➗Сам сделал мне работающий классификатор, написал функцию обучения одного шага и корректный forward 👏
➗Допустил рекурсию в функции установке режима нейросети - train (bool) 👎

2️⃣Создать приложение gradio для гамма-коррекции
gr.Interface знает хорошо, детали вызова неизбежно приходится задавать самостоятельно.

Все такие системы по-прежнему требуют изначальных ожиданий о способе решения задачи. То есть в простых случаях человек уже может выступать не в роли автора, а в роли корректора.
В целом меня он, конечно, потряс. Надеюсь, поможет в будущих проектах!

Нередко, буквально спустя несколько минут после начала чтения очередной научной статьи, я начинаю сталкиваться с проблемой концентрации внимания. Я продолжаю смотреть на текст, двигать глазами, прокручивать страницу с pdf-кой, но самого процесса чтения как такового больше не происходит - мысли улетают куда-то в космос. Так уж устроен мозг - не любит он напрягаться. Но как же быть с этой проблемой?

Основной способ, который я использую для борьбы с улетанием мыслей куда-то не туда - постоянно вспоминать, с какой целью я начала читать статью, задавать себе вопросы, которые соответствуют приближению к этой цели, а потом искать в статье ответы на эти вопросы.

Примеры целей, к которым можно стремиться при чтении статьи:

1️⃣ Понять, можно ли применить вычислительный алгоритм, описанный в статье, в своей работе, как это сделать и нужно ли его для этого как-то модифицировать.
Вопросы, которые можно себе задавать в таком сценарии:
➡️ Что подается на вход алгоритма и что получается на выходе? Т.е. какие входные данные мне нужны, чтобы получить результат, как конкретно будет выглядеть этот результат? Вопросы выглядят как что-то простое и очевидное, но если постоянно отвлекаться, то даже такие простые вещи можно упустить из виду.
➡️ Какими экспериментами (и, возможно, теоретическими соображениями) авторы обосновывают то, что их алгоритм действительно делает то, что задумано? Верю ли я в то, что их эксперименты действительно доказывают их заявления?
➡️ Есть ли у представленных экспериментов какие-то нюансы, которые могут помешать перенести алгоритм из статьи на мой сценарий?
➡️ Сколько компьюта авторы затратили на свои эксперименты?
➡️ И т.д., и т.п.
Критерий успеха: вы поняли, нужно применять алгоритм или нет. Если да, то вы понимаете в общих чертах, как к этому приступить.

2️⃣ Разобраться, каково текущее состояние какой-то области или задачи (например, детекции искусственных текстов). Такая цель часто заявляется при чтении статей-обзоров. Однако, на самом деле это нельзя назвать целью в полном смысле, поскольку непонятно, каков будет критерий достижения. Так что лучше задать себе уточняющий вопрос: Как конкретно я хочу применить знания о состоянии области или задачи впоследствии?
Возможные варианты ответа:
🔡🔣Я хочу убедиться, что в этой области еще не реализовали новую идею, которая пришла мне в голову.
В этом случае можно задать вопросы:
➡️ Что сделали самого похожего на то, что я придумал(а)? Это в точности то же самое или есть отличия?
➡️ Можно ли из этого похожего извлечь информацию, полезную для реализации моей идеи?
➡️ Есть ли методы заведомо настолько лучше моего, что мой реализовывать нет смысла?
➡️ С какими методами из прочитанных в статьях я буду сравнивать свой метод?
Критерий успеха: вы поняли, реализовал ли кто-то идею или нет, есть ли в принципе смысл ее реализовывать и если да, то как.
🔡🔣Я хочу найти новую тему для исследования. В принципе, в этом случае можно устраивать мозговой штурм, навскидку придумывая всякие разные варианты, что вы можете сделать и проверять разумность этого как в предыдущем пункте.
🔡🔣Продвинулись ли люди в решении задачи в достаточной степени, чтобы я мог(ла) использовать их результаты в своей работе? В этом случае вопросы будут похожи на пункт 1, только с акцентом на целесообразности использования предложенных алгоритмов.
Критерий успеха: как в пункте 1.

3️⃣ Подготовить по статье доклад на семинаре. В этом случае можно задать себе следующие вопросы:
➡️ Кто будет присутствовать на семинаре? Какой у них бэкграунд? С какой целью они пришли слушать про эту статью, что хотят для себя вынести?
➡️ Исходя из ответа на предыдущий вопрос: какие конкретно аспекты статьи будут интересны слушателем с данным бэкграундом? В соответствии с этим, какие вопросы они будут задавать?
➡️ Далее можно задавать себе те вопросы, которые ожидаются от слушателей и искать в тексте ответы на них.
Критерий успеха: вы сделали доклад и слушатели семинара показали признаки понимания того, что им рассказали.

#учеба #наука