CMU Multilingual NLP Course

For everyone who is interested in processing of multilingual text and speech data, now there is available the course from Carnegie Mellon University of 2022 year. Enjoy!

https://youtube.com/playlist?list=PL8PYTP1V4I8BhCpzfdKKdd1OnTfLcyZr7

#interview #behavioral
Метод STAR

STAR-метод – очень популярный подход к рассказыванию примеров из своего опыта. Он очень полезен, например, на интервью, когда вас просят рассказать про проект, которым вы больше всего гордитесь. Суть подхода в том, что вы раскладываете весь рассказ на четыре части.

1️⃣S – Situation
Контекст истории. Почему решаемая задача была важной, почему за ее решение взялись именно вы, какие дополнительные внешние факторы играли роль.

2️⃣T – Task
В чем именно состояла ваша задача. Максимально конкретное описание.

3️⃣A – Actions
Что конкретно вы сделали для того, чтобы задача решилась. Здесь важно отделять свой вклад от остальной команды, и показать связь предпринятых действий с задачей.

4️⃣R – Results
Какие результаты получились после выполнения задачи. Как вы поняли, что все стало хорошо.

Дополнительно рассказ можно усилить, ответив еще на пару вопросов:
*️⃣Что можно было сделать лучше?
*️⃣Как можно было бы достигнуть таких же результатов с вдвое меньшим бюджетом?

🔗Дополнительные ссылки
Пример ответа по STAR от Uber SRE
Пример ответа по STAR от Stripe Engineer
Твиттер-тред по теме

#ml #petproject

Вот и небольшая притча о том как делать пет проекты. А сейчас я бы хотел рассказать, что вообще стоит исследовать и с чего начинать.
Безусловно первое что мы делаем - ищем проблему которую нужно решить, почему проблему? Потому что спрос рождает предложение, а предложение не рождает спрос. Если вы сделаете что-то полезное, то можно будет даже продать это или сделать свой маленький стартап и вообще последующее развитие всегда лучше прокрастинации.
Допустим проблему мы определили - нам нужно собрать или взять данные, я вам рекомендую делать непрерывные парсинг данный, это будет несколько сложнее, придется заморочиться с системой мониторинга, но это круче чем ничего не делать и CI/CD опять же подключить можно. Второй вариант это просто скачать откуда то, тоже можно, почему нет, а можно скачать откуда то, а еще и парсить.
Наш следующий шаг правильно создать окружение тут нужны следующие инструменты на мой взгял: docker, git, github/gitlab, poetry + pyenv. И прописать установку окружения и в нем уже создавать свои контейнеры, которые можно запускать. Тот же парсер.
Теперь - рисерч. Допустим мы быстренько написали парсер уже у нас достаточные данные. Нам нужно почистить данные, проверсти тесты и убедиться что мы можем что-то прогназироватью. Сделайте презентацию какую то или дашборд по данным, что бы потом внедрить в мониторинг систему, я думаю это круто и в дальнейшем вам будет что показать.
И так после ричерча мы поняли, что данные очень волатильны и вообще непонятно что происходит с дисперсией, мы хотим использовать деревья для этого они нам дают прекрасный результат, они непараметрические и шумов у нас не так много в данных. Теперь мы будем строить пайплайн.
Что для этого нужно, помимо либ, которые вы используете в обучение: Соотвественно все перевести в скрипты, где каждый файл отдельный миниалгоритм pytest, pydantic для верификации данных и скриптов. Хотим мониторить обучение моделей и данных - WandB. Хотим что бы после изменения данных, пайплайн сам запускался - DVC.
Отлично, давайте посмотрим, что у нас есть:
docker и gitlab проект, так же у нас парсер, который сейчас все сохраняет в csv, какой то скрипт, который создает датасет. У нас есть скрипт по созданию дополнительных данных и чистке. У нас есть скрипт по обучению модели. Получение различных метрик и репортов. И какой то аля сохранение дашбордов в png.
Это, конечно, замечательно. Но как то хочется что бы оно само работало, да и вообще мы устали все вручную запускать через main.py так еще и забываем иногда парсер запускать.
Для этого нам нужно изучить CI/CD, GitLab CI, CLI и разобраться как пользоваться серверами. Допустим на Yandex Cloud.
Тут уже многое зависит от вас, как вы хотите все это сделать. Но что я могу посоветовать: MLOps у ODS и курс Yandex Practicum по Облокам

И так у в итоге кое как получилось создать сервер, теперь у нас парсинг запускается каждые 2 часа, после этого обучаются модели и мы получаем какие то output по метрикам и какие то png дашборды. Как то неправильно, мы хотим что бы вообще все работало автономно.
Теперь начинается наверное самое сложное - backend/ frontend.
И так во первых - нужно создать отдельно папку frontend/backend/database все они будут запускать 3 различных контейнера (в идеале):
Нам нужно знать REST API, gunicorn - что бы связать фронт и бек. А еще как то обращаться к БД. Я бы использовал FastApi для backend и react для фронта.
Теперь у нас есть фронтенд, который должен отсылать запрос к бекенду, бекенд отсылал бы ответ и реакт бы рендерил то что хочет пользователь, например наши дашборды. Они уже не PNG, а какая то динамично изменяющаяся картиночка.

А самое главное, даже если у нас ляжет сервер, так как мы использовали gitlab ci и gitops, мы сможем развернуть наш сервер без проблем на другом.

Возможно я упустил какие то точности и не претендую на лучшего эксперта фронтенда и бекенда.

#ml #interview

Многие начинающие задаются вопросами про интервью и кажется есть одна книга, которая может ответить на 99% вопросов. я только сейчас на нее наткнулась, не знаю рекламировали ее тут или нет. Рассматриваются кажется почти все аспекты: большая компания или стартап, какие роли в мире МЛ и что они означают. Всякие tips & tricks. Ресеч или продакшн. Софт скилы. В целом про то как обычно проходят интервью и… И самое главное примеры вопросов по теории, но очень практико ориентированные. Читается наверное за вечер. А потом наверное можно использовать как справочник)

https://huyenchip.com/ml-interviews-book/

#cv #resume #interview

Хороший гайд по составлению резюме для FAANG. Он универсален, несмотря на то, что писался для стажировок.
https://www.notion.so/Check-list-0675cf104ed2431f9cfd451b1d742e4d

#ml #linear

Дядька мефистофиес рассказывает про линейную регрессию
https://habr.com/ru/company/ods/blog/322076/

#ml #linear
Линейная регрессия в учебнике ШАД
https://ml-handbook.ru/chapters/linear_models/intro

#ml #math

​Подборка ресурсов по математике для Data Science:

Уровни:
⭐️ - закончил универ сто лет назад, ничего не помню
⭐️⭐️ - знаю и помню базу (матан, линал, тервер, матстат)
⭐️⭐️⭐️ - хорошо разбираюсь в высшей математике, хочу поднатаскать специфические для DS темы

⭐️Наглядный разбор теории в серии «X для чайников»: что такое вектор, как считать производную, матричные уравнения и т.д.
⭐️Материалы с лекций и семинаров ВМК МГУ от «Ёжика в матане»: VK, YouTube. Тут можете спокойно начинать с лекций и семинаров Никитина по математическому анализу, их читают в самом начале

⭐️⭐️ Хорошие задачки с подробным разбором решений на Матбюро: линейная алгебра, теория вероятностей, математическая статистика.
⭐️⭐️Курс Райгородского «Основы теории вероятностей». Тут наглядно и на пальцах объясняются базовые аспекты
⭐️⭐️ [Eng] Курс «Matrix Methods in Data Analysis, Signal Processing, and Machine Learning», в нём есть вся ключевая математика для DS

⭐️⭐️⭐️[Eng] Сборник задач и теории по базовой математике (линейная алгебра, оптимизация, графы) и машинному обучению:
Pen and Paper Exercises in Machine Learning
⭐️⭐️⭐️[Eng] Книга «Математика для Data Science»: https://mml-book.github.io/

#ml #competitions
Интересное соревнование от Agoda:

https://codegoda.io/

Старт 5-го августа в конце дня!

#interpretable #ml #book

Попалась хорошая книжка начального уровня про эту нашу интерпретируемость
Practical Explainable AI Using Python от Pradeepta Mishra https://www.amazon.com/Practical-Explainable-Using-Python-Intelligence/dp/1484271572
Сравнительно с книгой Мольнара - поверхностно, но у книги другая аудитория.
Пока дошел до середины. Как введение в тему для разработчиков на питоне самое оно. Тема NLP толком не раскрыта, но про это есть отдельная хорошая книга. Главы:
Chapter 1: Model Explainability and Interpretability
Chapter 2: AI Ethics, Biasness, and Reliability
Chapter 3: Explainability for Linear Models
Chapter 4: Explainability for Non-Linear Models
Chapter 5: Explainability for Ensemble Models
Chapter 6: Explainability for Time Series Models
Chapter 7: Explainability for NLP
Chapter 8: AI Model Fairness Using a What-If Scenario
Chapter 9: Explainability for Deep Learning Models
Chapter 10: Counterfactual Explanations for XAI Models
Chapter 11: Contrastive Explanations for Machine Learning
Chapter 12: Model-Agnostic Explanations by Identifying
Chapter 13: Model Explainability for Rule-Based Expert Systems
Chapter 14: Model Explainability for Computer Vision

#dl #courses

Не могу не поделиться ссылкой на такой классный курс!

MIT 6.S192: Deep Learning for Art, Aesthetics, and Creativity

https://ali-design.github.io/deepcreativity

Лекции на ютубе:
https://www.youtube.com/watch?v=MABLFo7IV3I&list=PLCpMvp7ftsnIbNwRnQJbDNRqO6qiN3EyH

#interview #behavioral
Интересный мануал от Амазон для подготовки к Behavioral

#interview #behavioral
Те самые материалы для подготовки к поведенческому интервью