Статья предоставляет исчерпывающий обзор различных алгоритмов оптимизации, используемых в глубоком обучении. Она охватывает ключевые концепции, такие как градиентный спуск, скорость обучения, и различные типы оптимизаторов, включая SGD, Adagrad, RMS Prop, AdaDelta и Adam

Туториал по Expectation-Maximization (EM) предоставляет интуитивное и математически строгое понимание EM, разъясняя его применение к обучению смесей гауссовых моделей (GMM) и скрытых марковских моделей (HMM). Предоставлено подробное описание шагов EM с примерами, акцентируя внимание на практической применимости EM, несмотря на его теоретическую сложность.

🪆Matryoshka Representation Learning (MRL) представляет гибкий подход к обучению представлений, который адаптируется к различным вычислительным ограничениям в задачах. Кодируя информацию на разных уровнях детализации, MRL достигает уменьшения размера вложений до 14 раз при сохранении точности, существенного ускорения для поиска по крупномасштабным данным и повышения точности в задачах малообученной классификации.

В статье исследуется влияние индуктивного смещения на многослойные перцептроны (MLP) в задачах компьютерного зрения. Авторы показывают, что производительность MLP значительно повышается с увеличением масштаба, противореча общепринятому мнению об уменьшении индуктивного смещения, и подчеркивают их эффективность в крупных экспериментах по предварительному обучению.

В данной статье предложен новый метод балансировки классов GMOTE для решения проблем классификации. Метод использует Gaussian mixture model для генерации синтетических экземпляров, учитывая локальные выбросы через махаланобисово расстояние. Эксперименты, проведенные на наборе тестовых данных, показывают, что GMOTE в сочетании с деревом решений и методом опорных векторов (SVM) проявляет лучшую точность и F1-score по сравнению с другими методами, такими как SMOTE.

Статья предлагает исчерпывающий обзор undersampling для сбалансировки несбалансированных датасетов, выделяя ее преимущества и недостатки. Автор поясняет важность решения проблемы дисбаланса классов для достижения точных результатов, рассматривая различные методы undersampling, включая случайное уменьшение и методы, ориентированные на миноритарный класс.

Исчерпывающий обзор активационных функций в нейронных сетях, раскрывающий их важность, различные виды и трудности, возникающие при обучении глубоких нейронных сетей. Статья также предоставляет рекомендации по выбору оптимальной функции активации для эффективного обучения.

Статья исследует методы ценообразования, используя алгоритмы и метод Лагранжа для достижения баланса в ключевых бизнес-метриках.

Использование Insightface для быстрого поиска и сравнения лиц на изображениях.

Автору удалось реализовать систему для детектирования лиц в pdf-документах и поиска похожих людей с помощью библиотеки Insightface.

https://habr.com/ru/articles/773744/

«ИИ без границ»: как научить Transformer обрабатывать длинные тексты.

Статья посвящена проблеме обработки длинных входных последовательностей нейросетевыми моделями на основе архитектуры Transformer.

Детальное сравнение последних моделей большого языка.

В статье рассматриваются последние достижения в области больших языковых моделей и дается всесторонний обзор новейших и наиболее совершенных моделей, доступных в настоящее время. В частности, в обзоре будет представлена общая информация о моделях и о том, как их использовать, являются ли они открытым исходным кодом или нет, и можно ли их использовать в коммерческих целях.

Использование искусственного интеллекта для оптимизации быстрой нейронной визуализации.

https://news.mit.edu/2023/using-ai-optimize-rapid-neural-imaging-1106

Четыре эксперимента по почерку с помощью нейронной сети.

В этой статье автор попытался продвинуться в этом направлении, взяв генеративную модель почерка и визуализировать его разными способами.

Как преобразовать любой текст в график понятий.

Задача автора в данной статье — преобразовать любой текстовый корпус в график понятий и визуализировать его как красивый баннер.

Статья о том, как превратить Google Таблицы в базу данных с помощью Python.

Обзор API помощников (Python SDK).

Создание собственного мини-ChatGPT дома.

Эта статья научит вас создавать чат-бот с помощью большой языковой модели из библиотеки Hugging Face.

А именно рассматриваются 3 части:
•Что такое модели, следующие инструкциям?
•Как найти модели, следующие инструкциям
•Построение простого чат-бота.

Деревья ltree в PostgreSQL – простым языком.

https://habr.com/ru/articles/774324/

80+ шпаргалок для аналитиков данных и data scientists.

Шпаргалки помогут:
•Подготовиться к экзамену
•Подготовиться к собеседованию
в повседневной работе – быстро •Вспомнить нужную информацию.

Библиотека PyTorch-Ignite.

В статье автор рассмотрел основные функции данной библиотеки, а также сравнил выполнение некоторых задач без использования PyTorch-Ignite и с использованием.

Авторы предлагают взглянуть на среднее количество итераций (τ), которое требуется алгоритму k-means для сходимости. Они демонстрируют, что τ коррелирует с структурой анализируемого набора данных, особенно в случае наличия гауссовых кластеров.  Работа расширяет применение τ, предлагая его использование для выявления несущественных признаков в данных и определения оптимального числа кластеров.

https://www.sciencedirect.com/science/article/pii/S0925231223006707