Летняя школа по deep learning на задачах анализа звука, изображений, и аудиовизуального распознавания эмоций

Летнюю школу организовывет ЦРТ - Центр речевых технологий в Петербурге со 2 по 15 августа. И набор в нее уже закрыт.

Но можно зарегестрироваться и получить ссылки на онлайн лекции!
Поэтому если кому интересно - https://mlschool.speechpro.ru/

✍️BERT Language Model📚

Гугл вслед за ELMO, OpenAI выпустил свою работу о лингвомодели для трансферлернинга.
Модель представляет из себя biderectional LM, который не требует дополнительной настройки.

https://arxiv.org/pdf/1810.04805.pdf

📝 ONNX.js 🎉

Microsoft вслед за Гуглом поддержали движение запуска нейросеточек прямо в браузере и выпустили свой фреймворк onnx.js.

По своей сути он похож на tf.js, все так же вы можете запустить сетку прямо в браузере, хоть с телефона, хоть с десктопа, при этом есть даже поддержка GPU.
Главная особенность - запуск любых сеток в формате onnx, а не только tf. Это означает, что теперь вы можете портировать свои pytorch 🔥 модельки на мобильные платформы, если приложение построено на базе веб-технологий.

https://github.com/Microsoft/onnxjs

😱Эта модель упростит вам разметку данных для сегментации!💸

Просто забавная штука, модель для сегментации, которая способна научиться выделять объекты на изображении, всего по одному референсному примеру, просто wow.

https://github.com/rezazad68/fewshot-segmentation

Картинка для затравки

🤣 Странная, но забавная штука: 😅

Ребята из лаборатории яндекса обучили image2image сетку вычислять математические выражения.
То есть, на входе картинка “2+2”, на выходе ответ “4.”.

https://yandex.ru/lab/calc?lang=ru

https://habr.com/ru/company/yandex/blog/493950/

Версия калькулятора на tfjs:
https://yandex.ru/lab/calc_tfjs

Если tfjs не фурычит:
https://yandex.ru/lab/calc

Тут наши китайские 🇨🇳 коллеги из Huawei не унывают и выпустили свой Фреймворк для обучения сеток.

Называется MindSpore.
Раньше было как, у тебя есть выбор:

❤️ Красная таблетка - Tensorflow, статические графы, компиляция, быстрая скорость работы, но отвратительный дебаг.

💙 Синяя - Pytorch, динамические графы, удобное написание кода, но никакой компиляции, а об ошибке узнаешь только в рантайме

(Конечно в последнее время многое поменялось, есть TF 2.0, и PyTorch JIT)

Эти ребята, заявляют, что им удалось сесть на два стула. Как именно - узнаем позже.

💛 А ещё у них встроенный параллелизм для обучения
И вроде как, будет удобно делать мобайл решения

Ссылка вот: https://github.com/mindspore-ai/mindspore

Я хотел почитать документацию, но у меня не получилось, если чего поняли, скажите

Тут подсказали, что с компьютерной версии все норм, видимо на китайском там было написано примерно это

😍Нейронка научилась петь🎤

Вы только послушайте, что сделали ребята из OpenAi, модель для синтеза песен.
Любой tts просто нервно курит в сторонке

https://openai.com/blog/jukebox/

🤟Крутая нормализация русского текста для синтеза речи🗣

Краткая справка, нормализация текста, это такой процесс, когда различные краткие записи расписываются в виде слов. 
Например: в 2020 году -> в дветысячи двадцатом году.

Пару месяцев назад искал хороший open source нормализатор для русского языка.
Ничего адекватного найти не мог. Все, что было, обновлялось от силы два года назад, да и работало через семантические правила.
Наткнулся на статью в бложике этих ребят:
https://spark-in.me/post/russian_text_normalization

На удивление работает весьма не плохо, поэтому можете использовать:
https://github.com/snakers4/russian_stt_text_normalization

👨‍🏫 Полезное на YouTube 📺

Нашел прекрасный канал с лекциями по алгоритмам, которые могут быть полезны в машинке и не только.
Например тут хорошо разбираются алгоритмы быстрого поиска в векторных пространствах, backprop и многое другое.

https://www.youtube.com/c/VictorLavrenko

🤳Self supervised📚

Наткнулся на интересную статью с обзорами Self-Supervised методов для обучения моделей.
В принципе это полезно к изучению, т.к. иногда встречаются задачи, где у вас просто недостаточно качественной разметки для ее решения

Self Supervised обучение, это когда у вас есть только набор данных без какой либо разметки и вы хотите предобучить модель, так, чтобы она научилась искать закономерности самостоятельно.
Это активно используется в языковых моделях, например GPT-1/2/3

В этой статье описываются общие методики, которые можно применять к видео и картинкам.

https://lilianweng.github.io/lil-log/2019/11/10/self-supervised-learning.html

😘 Полезная функция OpenCV 🌚

Часто встречаюсь с тем, что у меня есть какая-то компетенция в области компьютерного зрения, но большая часть знаний сводится к использованию различных нейросетевых методов. Однако ими все не должно ограничивается, и существуют не менее мощные методы, которые используют классический математический аппарат.

В последнее время изучаю тему беспилотных автомобилей, там большой упор делается не предобработку изображений, например перевод вида дороги из перспективы в “вид птичьего полета”. Оказывается для этого даже не нужно изобретать велосипед и есть встроенные методы библиотеки OpenCV.

Ради общего образования можете почитать эту заметку о том как это делается. Тут также рассказывается о том, как применить эту механику, чтобы сделать свой “сканер документов”, который вы возможно встречали в стандартных заметках iOS.

https://www.pyimagesearch.com/2014/08/25/4-point-opencv-getperspective-transform-example/

💻 GPU MacOS 🖥

В среде ML/DS есть большое число пользователей macbook, однако часто встает проблема с тем, что тренировать сеточки выходит только на серверах или облаках.
Связано это в первую очередь с тем, что Apple давно отказались от графики Nvidia, в пользу AMD. Как ни странно выход есть!
Около года назад в MacOS появилась подержка eGPU, это когда вы покупаете обычную карточку и с помощью специального дока присоединяете ее через USB-C к вашему MacBook. Это в первую очередь создано для ускорения работы с видео и фото.

О том как направить всю мощь GPU для решения задач DL написно здесь:
https://medium.com/@janne.spijkervet/accelerated-deep-learning-on-a-macbook-with-pytorch-the-egpu-nvidia-titan-xp-3eb380548d91

🛩 Состоялся релиз версии Pytorch 1.6🔥

🤔 Что нового?


⚡️ 16bit precision
В Pytorch core был интегрирован модуль AMP, который теперь позволяет использовать для вычисления 16 битные числа с плавающей точкой, вместо 32 битных. Это уменьшает потребляемую память и ускоряет вычисления на тех GPU, где это поддерживается.
Самый кайф в том, что вам не нужно думать о том, как и какие тензоры перевести в 16 бит, все производится автоматически.
Ранее это было доступно с помощью отдельного модуля APEX от Nvidia.
Теперь поддержка вычислений с половинной точностью доступно прямо из коробки с помощью простого интерфейса.

Подробнее в блоге:
https://pytorch.org/blog/accelerating-training-on-nvidia-gpus-with-pytorch-automatic-mixed-precision/


📈 Beta версия профайлера памяти
В виде бета версии встроен профайлер, с помощью которого вы сможете отследить сколько CPU/GPU памяти потребляет каждый конкретный слой сети.

Подробнее здесь:
https://pytorch.org/docs/stable/autograd.html#profiler


⏳ Параллельные операции в TorchScript
Теперь на уровне языка поддерживаются операции для параллелизации операций на уровне TorchScript. То есть параллельное выполнение хардкодится прямо внутрь модели.
Это может быть полезно, например в случае bi-directional сетей, или еще где вы это придумаете.

Подробнее тут:
https://pytorch.org/docs/stable/jit.html


Об остальных изменениях можно прочитать в чейнжлоге:
https://github.com/pytorch/pytorch/releases

👀 Превью архитектуры нейронок 🔬

Бывало такое, что есть условный граф нейронки одного из фреймворков (grapdef, savedmodel, torch noscript, onnx ….)

И хочется просто клацнуть и посмотреть как устроены операции внутри?
Прямо как в TensorBoard, но быстро и прямо сейчас.

Предтавляю вам тулзу, которая поменяла мою жизнь в лучшую сторону, Netron:
https://github.com/lutzroeder/netron

Реально, очень удобно

⚡️Быстрый поиск по векторным пространствам🔎


Иногда так случается, что вам нужно реализовать поиск по миллионам векторов.
Например, если вы делаете FAQ чат бота, поиск по лицам или картинкам, агрегатор новостей и многое другое.
И зачастую мы упираемся в скорость работы алгоритма, т.к. векторов может быть очень много и мы должны уметь искать за адекватное время.

Эта статья рассказывает об эффективных алгоритмах поиска на больших векторных пространствах

https://habr.com/ru/company/mailru/blog/338360/