Книга о математическом введении в глубокое обучение: методы, реализации и теория.

https://arxiv.org/abs/2310.20360

Статья о том, как научиться прогнозировать цены с помощью методов анализа данных и машинного обучения.

https://habr.com/ru/companies/rosatom/articles/771534/

В статье вы можете изучить 10 математических концепций для программистов.

Python курс по анализу данных 2023 года.

Курс состоит из 10 уроков, каждый из которых подробно разобран. Полный плейлист для изучения.

#top@datamining.team
ТОП 5 постов за Ноябрь

1. Статья о том, какую математику сегодня проверяют работодатели при найме Data Analysts & Scientists
https://vk.cc/csg0zF

2. 25 лучших книг для понимания машинного обучения 2022
https://vk.cc/csg1Li

3. Библиотека для временных рядов
https://vk.cc/csg1DW

4. Курс по анализу данных от Александра Дьяконова
https://vk.cc/csg1mP

5. Исчерпывающий туториал, включающий в себя пошаговые инструкции по скрапингу, парсингу, восстановлению неполных данных, а также созданию репрезентативной выборки.
https://habr.com/ru/articles/500162/

В данной статье автор рассказал о том, как начать изучать темы глубокого и машинного обучения.

Здесь представлена подборка книг и курсов (бесплатных) для вашего быстрого и легкого старта как для опытных, так и для новичков.

Систематический обзор нейронных сетей с глубокими графами: проблемы, классификация, архитектура, приложения и потенциальная полезность в биоинформатике.

Подробно можно изучить книгу на английском языке.

Новости компьютерного зрения за ноябрь 2023 г. с BEST OF ICCV.

Pdf-версия новостей Computer Vision и вдохновляющее интервью с Яном ЛеКуном.

Неплохая шпаргалка по RNN о различных аспектах нейронок, включая проблемы долгосрочных зависимостей, ворд эмбеддинги, языковые модели, пояснения гейтов в GRU и LSTM, а также примеры использования Word2Vec и методов оценки языковых моделей.

Статья, где авторы представляют подход к решению проблемы кластеризации с учетом выбросов, предлагая алгоритм с фиксированной параметрической сложностью (FPT). Они разрабатывают FPT-приближенные алгоритмы с оптимальными коэффициентами приближения для задач k-Median и k-Means с учетом выбросов в общей и евклидовой метриках. Кроме того, демонстрируется применение данного подхода к другим вариантам задачи с дополнительными ограничениями на кластеризацию, такими как fairness или matroid constraints.

В работе исследуется архитектура Transformer, сфокусированная на компоненте Feed Forward Network (FFN). Удаление слоев FFN в декодере и использование общего FFN в энкодере позволяют существенно сократить параметры, сохраняя при этом точность. Масштабирование архитектуры к исходному размеру приводит к заметному улучшению в точности и латентности по сравнению с оригинальным Transformer Big.

Исследование, посвященное проблемам поиска, решаемым с использованием метода градиентного спуска в ограниченном выпуклом политопе. Авторы демонстрируют, что данный класс задач совпадает с пересечением двух известных классов, PPAD и PLS, предлагая новый взгляд на взаимосвязь этих классов в контексте вычислительной сложности.


К дополнению можно глянуть следующую статью.

Открытый учебник по асимптотике представляющий глубокий обзор математических и статистических основ, включая слабую и сильную сходимость, центральные предельные теоремы и метод максимального правдоподобия. Авторы разбирают темы, такие как тестирование гипотез, критерии Уолда, Рао и отношения правдоподобия, придавая особое внимание приложениям в статистике. Особенностями являются изучение U-статистик, теста Пирсона и метода дельта.

Иссерпывающая статья вводит в современные математические подходы в глубоком обучении. Разделы рассматривают обобщение больших нейронных сетей, роль глубины нейронных сетей в их выразительности, оптимизацию глубоких нейронных сетей и их архитектурные особенности, такие как CNN и RNN.

Статья предоставляет исчерпывающий обзор различных алгоритмов оптимизации, используемых в глубоком обучении. Она охватывает ключевые концепции, такие как градиентный спуск, скорость обучения, и различные типы оптимизаторов, включая SGD, Adagrad, RMS Prop, AdaDelta и Adam

Туториал по Expectation-Maximization (EM) предоставляет интуитивное и математически строгое понимание EM, разъясняя его применение к обучению смесей гауссовых моделей (GMM) и скрытых марковских моделей (HMM). Предоставлено подробное описание шагов EM с примерами, акцентируя внимание на практической применимости EM, несмотря на его теоретическую сложность.

🪆Matryoshka Representation Learning (MRL) представляет гибкий подход к обучению представлений, который адаптируется к различным вычислительным ограничениям в задачах. Кодируя информацию на разных уровнях детализации, MRL достигает уменьшения размера вложений до 14 раз при сохранении точности, существенного ускорения для поиска по крупномасштабным данным и повышения точности в задачах малообученной классификации.

В статье исследуется влияние индуктивного смещения на многослойные перцептроны (MLP) в задачах компьютерного зрения. Авторы показывают, что производительность MLP значительно повышается с увеличением масштаба, противореча общепринятому мнению об уменьшении индуктивного смещения, и подчеркивают их эффективность в крупных экспериментах по предварительному обучению.

В данной статье предложен новый метод балансировки классов GMOTE для решения проблем классификации. Метод использует Gaussian mixture model для генерации синтетических экземпляров, учитывая локальные выбросы через махаланобисово расстояние. Эксперименты, проведенные на наборе тестовых данных, показывают, что GMOTE в сочетании с деревом решений и методом опорных векторов (SVM) проявляет лучшую точность и F1-score по сравнению с другими методами, такими как SMOTE.

Статья предлагает исчерпывающий обзор undersampling для сбалансировки несбалансированных датасетов, выделяя ее преимущества и недостатки. Автор поясняет важность решения проблемы дисбаланса классов для достижения точных результатов, рассматривая различные методы undersampling, включая случайное уменьшение и методы, ориентированные на миноритарный класс.

Исчерпывающий обзор активационных функций в нейронных сетях, раскрывающий их важность, различные виды и трудности, возникающие при обучении глубоких нейронных сетей. Статья также предоставляет рекомендации по выбору оптимальной функции активации для эффективного обучения.