Fine-Tune Wav2Vec2 for English ASR with 🤗 Transformers

https://huggingface.co/blog/fine-tune-wav2vec2-english

The Partnership: Amazon SageMaker and Hugging Face

https://huggingface.co/blog/the-partnership-amazon-sagemaker-and-hugging-face

#обзор
Куча полезных ссылок по т.н. эквивариантным сетям.
https://github.com/Chen-Cai-OSU/awesome-equivariant-network

Update Frequently, Update Fast: Retraining Semantic Parsing Systems in a Fraction of Time
Lialin et al. [UMass Lowell, Google]
https://arxiv.org/abs/2010.07865

Основная NLU компонена Google Assistant, Alexa и других ассистентов – это модель семантического парсинга, которая переводит фразы на естественном языке в команды. В проде, датасеты для таких систем часто обновляются. Например, в редкие интенты/слоты могут докинуть примеров. Но при каждой такой итерации приходится перетренировывать модель, что может занимать недели.

В этой статье предлагается использовать continual learning для решения этой проблемы. Вместо того, чтоы каждый раз учить новую модель, старая фантюнится немного хитрым методом. Главная сложность заключается в том, чтобы модель не потеряла в качестве на старом датасете. Для этого используется комбинация двух простых методов: sampling из старых данных и специальный вид регуляризации – EWC.

Экспериенты показывают, что такой простой подход позволяет сократить время на тренировку иногда в десятки раз, при этом качество финальной модели выходит такое же, как если бы она тренировалась с нуля.

T-SNE (t-distributed stochastic neighbor embedding) – это техника уменьшения размерности для визуализации данных, которая была опубликована в 2008 году. В отличие от PCA (сохранение максимальной вариативности) и MDS (сохранение расстояний), t-SNE предназначена для анализа кластеризации данных. T-SNE своего рода незаменимый инструмент в разведочном анализе. Основные параметры это perplexity и количество компонент. Если с компонентами всё понятно, то вот с perplexity есть тонкие моменты. Более подробно об этом, с интерактивными примерами, можно посмотреть здесь

Huawei NLP workshop
https://www.youtube.com/playlist?list=PLHvlTBWld13OU0WgaVntkkn3P-ZfWXL9u

Практический курс "введение в статистику и машинное обучение" от Стэнфорда. Регрессия, методы классификации, выборки, SVM, кластеризация, деревья решений. Хорошо и на примерах разобраны такие статистические инструменты как LDA/QDA, PCR, PCA. По каждому разделу есть лабы на R.

AutoML это алгоритмы, которые подбирают алгоритм, параметры и их комбинации специально для конкретного датасета. То есть такая замена дата саентиста. Сбербанк выпустил свой опенсорсный автомл фреймворк на питоне, призываю все пользоваться, шарить и распространять :) Александр Рыжков, Дмитрий Симаков и их коллеги разрабатывают автомл в Сбере, они уже делали доклад в декабре
https://www.youtube.com/watch?v=ci8uqgWFJGg&list=PLYeFZ_T6PUrILcK5rKHlb9PdBp-ySitUN,
а сейчас можно посмотреть участие автомл в каггл соревнование и его выигрыш относительно других автомл
https://www.kaggle.com/alexryzhkov/tps-april-21-lightautoml-starter (не жалейте ваши апвоуты этому ноутбуку на каггле :)

Проект в опенсорсе - https://github.com/sberbank-ai-lab/LightAutoML
И бенчмарки: https://github.com/sberbank-ai-lab/automlbenchmark/tree/lightautoml

Давно у нас не было постов вида "держите кучу ссылок"

1. Applied PyTorch 101 от Abhishek Thakur — самые основы пайторча начиная с тензоров и заканчивая даталоадерами (будут ещё видео). Выглядит неплохо, буду советовать студентам.
1. Language Interpretability Tool — тулза для визуализации и интерпретации трансформеров, кроме этого позволяет анализировать ошибки модели и прочие вещи. Выглядит куда более проработанной чем всё, что я видел раньше (демо, гитхаб)
1. NLP In Video Games — мне очень нравится эта идея в принципе, тк она может позволить упростить какие-то моменты геймдева, но NLP всё-таки ещё сыроват. Несмотря на это можно уже посмотреть на первые попытки что-то такое сделать.
1. What Will it Take to Fix Benchmarking in Natural Language Understanding? — рассуждения на тему того, почему текущие бенчмарки плохи и как делать более хорошие.
1. torchtyping — попытка решить проблему документации шейпов тензоров, а заодно и проверять это всё на лету. Надо будет попробовать.
1. MLOps: жизненный цикл ML-моделей — как известно, обучение моделек это 5% работы, в этом выступлении обсуждают остальные 95%.
1. Why Do Local Methods Solve Nonconvex Problems — современный обзор текущей теории обучения в диплёрнинге или попытки ответить на вопрос почему в нейросетках почти все локальные минимумы близки к глобальному.

Tool for visualizing attention in the Transformer model
https://github.com/jessevig/bertviz

#книги
Сборник полезных ресурсов для фанатов R:
https://www.bigbookofr.com

Тихая революция и новый дикий запад в ComputerVision http://amp.gs/6f7J

Parsing Conf

—————————————————————————
Дата: 27 апреля
Время: 20-00 по Москве
—————————————————————————


1. @ziflex. "Библиотека ferret. Обзор. Рассказ автора"
2. @Bundleman. "Еще одна архитектура системы мониторинга цен и место библиотеки ferret в ней"
3. @roman_kucev. "Как собрать датасет для аутентификации человека по лицу через Толоку."

Мероприятие бесплатное
Онлайн

Samsung Innovation Campus - AI Lectorium
youtube.com/playlist?list=PLJEYfuHbcEIB-DdeoWaQ6Bzt0903kbmWK

Внезапно обнаружил много лекций от московского Samsung AI Center. Уроверь скорее advanced и ожидает, что вы уже хорошо знакомы с нейростеками. По большей части лекции ближе по тематике к CV, но есть и более общие темы: например о том, как ускорять инференс и ставить эксперименты. Ещё очень хочу выделить лекцию про GAN, где они рассматриваются достаточно абстрактно и не присязаны сильно к изображениям — получилось просто 🔥.

Кстати у них в конце плейлиста видно запланированную на 28 апреля лекцию по суммаризации текста, так что можно ожидать больше NLP.

The Annotated Transformer

https://github.com/skoltech-nlp/annotated-transformer

Постеры с PYTORCH ECOSYSTEM DAY 2021
https://pytorch.org/ecosystem/pted/2021

CatBoost и ML-конкурсы

https://habr.com/ru/post/557538/

Дисбаланс классов
https://dyakonov.org/2021/05/27/imbalance/

Обнаружение объектов с помощью YOLO и Weights & Biases
https://wandb.ai/authors/sat_2/reports/-YOLO-Weights-Biases--Vmlldzo3MTIyNTE

Курс от Hugging Face о том, как пользоваться их либой и экосистемой в целом
https://huggingface.co/course/chapter1

8 июля пройдет пятый ежегодный международный саммит Machines Can See, который организует компания VisionLabs. Он объединит ведущих мировых специалистов в сфере компьютерного зрения и машинного обучения для обсуждения технологических трендов и обмена опытом.

В этом году главной темой мероприятия стали human-centric технологии, спикерами научного трека саммита выступят:
- Дима Дамен, Бристольский университет
- Доктор Эфстратиос Гаввес, Амстердамский университет
- Бернард Ганем, научно-технологический университет имени короля Абдаллы
- Ира Кемельмахер-Шлизерман, Вашингтонский университет; UW Reality Lab; Google
- Крис Китани, университет Карнеги-Меллона

Также все желающие смогут принять участие в международном онлайн-соревновании и идеатоне.

Саммит впервые пройдет в гибридном формате: офлайн и онлайн. В Москве участники встретятся на площадке Omega Rooftop. Для онлайн-зрителей будет доступна прямая трансляция и возможность задать спикерам вопросы в чате.

Участие бесплатное, зарегистрироваться и выбрать удобный формат участия можно на сайте machinescansee.com