Аугментация для текстов (Text Augmentation)
https://dyakonov.org/2020/11/09/text-augmentation/

Гиперпараметры: как перестать беспокоиться и начать их оптимизировать
https://habr.com/ru/company/antiplagiat/blog/528384/

Yandex.Cloud и AI Community впервые запускает онлайн-соревнование по анализу данных Yet Another Data Challenge. https://bit.ly/3mcgCmj

Развиваешься в ML-разработке и Data Science?
Новичок или есть опыт в Python?
Регистрируйся - участвуй - выигрывай призы!

Этот конкурс для тебя, если тебе интересно:
🟡 проверить свои навыки и получить опыт решения интересной задачи по генеративному ML;
🟡 пообщаться с опытными экспертами из Yandex.Cloud в чате и на вебинарах соревнования;
🟡 создать свою первую генеративную мелодию;
🟡 предложить идею по развитию первой отечественной среды для разработки ML, помогающей быстрее и дешевле создавать ML-решения;

Призы конкурса:
🏆 1 место: MacBook Air 13 дюймов, 512 Гб + грант на DataSphere 150 000 руб;
🏆 2 место: Apple iPhone 12 Pro 6,1 дюйма + грант на DataSphere 100 000 руб;
🏆 3 место: Apple Watch Series 6 размер + грант на DataSphere 50 000 руб;

🏆 Топ-10 участников - награждаются Yandex Станцией Мини;
🏆 200 активных участников получают футболки Yandex.Cloud.

https://bit.ly/3mcgCmj
💥Регистрируйся и участвуй!
Онлайн-конкурс по анализу данных Yet Another Data Challenge
https://bit.ly/3mcgCmj

#курс
выложены материалы 2020 года
https://dyakonov.org/2020/12/30/pzad/

#книга
Сергей Иванов (один из моих лучших аспирантов) написал очень симпатичный конспект по теме "Обучение с подкреплением". Вроде как на русском языке это самое полное и интересное издание на эту тему:
https://github.com/FortsAndMills/RL-Theory-book/

#образование
Хороший курс для начинающих по DL:
“Методы обработки и анализа больших данных”
(читался для МИЭТ). Автор - доктор технических наук Роман Соловьёв, известен на Kaggle под ником ZFTurbo (победами на кегле и на других платформах). Очень приятно читает, все лекции продуманы, примеры из своей практики. Правда, курс маленький и не все темы раскрыты достаточно подробно. Где-то, наверное, есть ещё ноутбуки автора (примеры показанные на лекции очень хорошо написаны).
https://youtube.com/playlist?list=PLMyPRULSXkaWaJrQOWCBw0nVVVydPsPPj

Наткнулся на мини-библиотеку для машинного перевода.
Всё, что она умеет, это использовать несколько предобученных моделей, но в этой простоте и вся красота. Поддерживается более 150 языков, включая русский, также есть автодетекция языка. Делает всё локально и позволяет выбирать между несколькими моделями и тюнить beam size.

Для установки: pip install easynmt

Для использования:

from easynmt import EasyNMT 
model = EasyNMT('opus-mt')
model.translate('переведи мне это предложение', target_lang='en')

#beginners_guide
Learn About Transformers: A Recipe

A blogpost summarizing key study material to learn about the Transformer models (theory + code).
Tasty!

Привет!
Посмотрите на картинку, на ней семантический скетч глагола. Сможете догадаться, какого? Семантический скетч отражает сочетаемость слова в корпусе, для человека хорошо построенные скетчи являются вполне репрезентативными, а так ли это для машины? Мы приглашаем вас поучаствовать в дорожке Диалога (да, их в этом году очень много), которая называется SemSketches. В рамках дорожки участникам предстоит угадывать по слову в контексте, к какому семантическому скетчу оно относится. Задача экспериментальная и новая, большая свобода для идей и интересные данные. Очень ждем участников!

Чат в телеграме
Гитхаб соревнования (подробности, данные, таймлайн там)

#блог
Новый пост в блоге:
https://dyakonov.org/2021/03/04/ml-scikit-learn/

https://github.com/mathsyouth/awesome-text-summarization

Коллекция датасетов по саммаризации текстов

Fine-Tune Wav2Vec2 for English ASR with 🤗 Transformers

https://huggingface.co/blog/fine-tune-wav2vec2-english

The Partnership: Amazon SageMaker and Hugging Face

https://huggingface.co/blog/the-partnership-amazon-sagemaker-and-hugging-face

#обзор
Куча полезных ссылок по т.н. эквивариантным сетям.
https://github.com/Chen-Cai-OSU/awesome-equivariant-network

Update Frequently, Update Fast: Retraining Semantic Parsing Systems in a Fraction of Time
Lialin et al. [UMass Lowell, Google]
https://arxiv.org/abs/2010.07865

Основная NLU компонена Google Assistant, Alexa и других ассистентов – это модель семантического парсинга, которая переводит фразы на естественном языке в команды. В проде, датасеты для таких систем часто обновляются. Например, в редкие интенты/слоты могут докинуть примеров. Но при каждой такой итерации приходится перетренировывать модель, что может занимать недели.

В этой статье предлагается использовать continual learning для решения этой проблемы. Вместо того, чтоы каждый раз учить новую модель, старая фантюнится немного хитрым методом. Главная сложность заключается в том, чтобы модель не потеряла в качестве на старом датасете. Для этого используется комбинация двух простых методов: sampling из старых данных и специальный вид регуляризации – EWC.

Экспериенты показывают, что такой простой подход позволяет сократить время на тренировку иногда в десятки раз, при этом качество финальной модели выходит такое же, как если бы она тренировалась с нуля.

T-SNE (t-distributed stochastic neighbor embedding) – это техника уменьшения размерности для визуализации данных, которая была опубликована в 2008 году. В отличие от PCA (сохранение максимальной вариативности) и MDS (сохранение расстояний), t-SNE предназначена для анализа кластеризации данных. T-SNE своего рода незаменимый инструмент в разведочном анализе. Основные параметры это perplexity и количество компонент. Если с компонентами всё понятно, то вот с perplexity есть тонкие моменты. Более подробно об этом, с интерактивными примерами, можно посмотреть здесь

Huawei NLP workshop
https://www.youtube.com/playlist?list=PLHvlTBWld13OU0WgaVntkkn3P-ZfWXL9u

Практический курс "введение в статистику и машинное обучение" от Стэнфорда. Регрессия, методы классификации, выборки, SVM, кластеризация, деревья решений. Хорошо и на примерах разобраны такие статистические инструменты как LDA/QDA, PCR, PCA. По каждому разделу есть лабы на R.

AutoML это алгоритмы, которые подбирают алгоритм, параметры и их комбинации специально для конкретного датасета. То есть такая замена дата саентиста. Сбербанк выпустил свой опенсорсный автомл фреймворк на питоне, призываю все пользоваться, шарить и распространять :) Александр Рыжков, Дмитрий Симаков и их коллеги разрабатывают автомл в Сбере, они уже делали доклад в декабре
https://www.youtube.com/watch?v=ci8uqgWFJGg&list=PLYeFZ_T6PUrILcK5rKHlb9PdBp-ySitUN,
а сейчас можно посмотреть участие автомл в каггл соревнование и его выигрыш относительно других автомл
https://www.kaggle.com/alexryzhkov/tps-april-21-lightautoml-starter (не жалейте ваши апвоуты этому ноутбуку на каггле :)

Проект в опенсорсе - https://github.com/sberbank-ai-lab/LightAutoML
И бенчмарки: https://github.com/sberbank-ai-lab/automlbenchmark/tree/lightautoml

Давно у нас не было постов вида "держите кучу ссылок"

1. Applied PyTorch 101 от Abhishek Thakur — самые основы пайторча начиная с тензоров и заканчивая даталоадерами (будут ещё видео). Выглядит неплохо, буду советовать студентам.
1. Language Interpretability Tool — тулза для визуализации и интерпретации трансформеров, кроме этого позволяет анализировать ошибки модели и прочие вещи. Выглядит куда более проработанной чем всё, что я видел раньше (демо, гитхаб)
1. NLP In Video Games — мне очень нравится эта идея в принципе, тк она может позволить упростить какие-то моменты геймдева, но NLP всё-таки ещё сыроват. Несмотря на это можно уже посмотреть на первые попытки что-то такое сделать.
1. What Will it Take to Fix Benchmarking in Natural Language Understanding? — рассуждения на тему того, почему текущие бенчмарки плохи и как делать более хорошие.
1. torchtyping — попытка решить проблему документации шейпов тензоров, а заодно и проверять это всё на лету. Надо будет попробовать.
1. MLOps: жизненный цикл ML-моделей — как известно, обучение моделек это 5% работы, в этом выступлении обсуждают остальные 95%.
1. Why Do Local Methods Solve Nonconvex Problems — современный обзор текущей теории обучения в диплёрнинге или попытки ответить на вопрос почему в нейросетках почти все локальные минимумы близки к глобальному.