Думаю все осведомлены о высокой стоимости обучения с нуля современных текстовых моделей по типу BERT, GPT-2/3 и прочее. Мы предлагаем вам ознакомиться со статьей, в которой ценой маленькой просадки по качеству исследователи обучают свой BERT за 24 часа. Они пообещали в скором времени поделиться кодом, пока доступна только статья.

Ссылка : https://bit.ly/3xyuUo0

Свежий взгляд на Глубинное Обучение со стороны геометрии и инвариантов : актуальная книга и блог по ссылке

https://geometricdeeplearning.com

Проходящий раз в 2 недели онлайн-семинар по обучению с подкреплением. Записи доступны по ссылке.

https://bit.ly/3t57qDx

Прогнозирование временных рядов достаточно сложная задача, особенно когда речь идет о хаотических. Один из способов работы с такими рядами - сведение ряда к нечеткому. По ссылке можно ознакомиться с вводным материалом по работе с нечеткими временными рядами.

https://bit.ly/3aVduZl

Для многих доставок одной из ключевых задач является корректное прогнозирование примерного времени доставки. Проблемы, возникающие при этом, и попытки их решить, можете изучить на примере блога компании DoorDash.

https://bit.ly/33oQZb7

Мы продолжаем освещать различные формы применения машинного обучения в практических задачах, и сегодня предлагаем вам изучить руководство (теория, практика, примеры) по применению методов машинного обучения при определении фрода, связанного с банковскими картами.

https://bit.ly/3egl42v

Отличная открытая подборка лекций проекта "IT Академия Samsung". Плейлист содержит 17 лекций, еженедельно траслировавшихся с декабрая 2020 года. Для любителей глубинного обучения рекомендуется к просмотру.

Ссылка : https://bit.ly/3h5Kima

Исследование на тему использования многослойных перцептронов вместо привычных сверток и механизма влияния.

https://bit.ly/2RwK1hc

Хотим поделиться большим списком научных статей, связанных с DL, с хорошими комментариями.

Блог : https://bit.ly/3uoxFq9

#memes@datamining.team

Реализация операции инволюции на pytorch (автор пока не представил сравнение с официальной, но код явно выглядит лучше)

Репозиторий - https://bit.ly/3f6oh43

Оригинальная статья - https://bit.ly/2QWYGmd

21 апреля прошел PyTorch Ecosystem Day - виртуальное мероприятие, связанное с развитием PyTorch и проектов, связанных с ним. По ссылке вы сможете найти материалы с постер-сессии и доклады.

https://bit.ly/3faZ2NQ

Авторы данной работы пытаются разработать более общую науку "математический анализ глубинного обучения" для решения задач в этой сфере.

https://bit.ly/2RP6zu1

Twitter бот, который публикует популярные на arxiv статьи.

Ссылка : https://bit.ly/3odTrdM

Предлагаем вам ознакомиться с интерактивной игрой: сможете ли вы угадать, какое название на самом деле реальное, а какое сгенерировано моделью GPT-2 обученной на 10 тысячах названий статей с Nature.

https://bit.ly/3hrIuny

Исследователи из Google выяснили, что, используя основанный на преобразовании Фурье FNet вместо слоев Self-Attention, можно добиться точности 92% от предыдущего решения, при этом ускорив работу в 7 раз.

Ссылка на блог : https://bit.ly/3fe57co

Ссылка на статью о FNet : https://bit.ly/3uT6CDz

#memes@datamining.team

Большой проект CodeNet от IBM: большой датасет из 14 миллионов примеров различных программ. Подробности в репозитории и в блоге:

Репозиторий: https://bit.ly/3wdEOKq

Блог: https://bit.ly/3bypyQA

Обзор техники для создания регрессионных моделей для работы с несбалансированными выборками Deep Imbalanced Regression.

https://bit.ly/3hyEi5I

DeepMind представляет новый способ обучения self-supervised моделей для некурируемых датасетов.

https://bit.ly/3u4AThD

Появилась реализация метода распознавания речи без размеченного датасета.

Статья от facebook (wav2vec-U) : https://bit.ly/3wpxkEh

Репозиторий с кодом : https://bit.ly/3hOlQGf