📎 Нашли для вас неплохое объяснение сети Колмогорова-Арнольда.

⚪ В видео рассматриваются: введение в многоуровневый перцептрон, введение в аппроксимацию данных, кривые Безье, B-сплайны, теорема универсальной аппроксимации, теорема представления Колмогорова-Арнольда, сети Колмогорова-Арнольда, сравнение MLP и KAN, обучаемые функции, количество параметров, расширение сетки, интерпретируемость и непрерывное обучение.

https://youtu.be/-PFIkkwWdnM?si=DlxRWw0YFQIdGiD5

💡Обзорная статья рассматривает проблему обучения с помощью зашумленных меток в контексте глубокого обучения.

Представлен обзор 62 методов обучения с учетом шумных меток, категоризированных по пяти группам.

Авторы провели систематическое сравнение шести характеристик для оценки их эффективности. Осветили методы оценки шума и используемые метрики оценки.

🧬 В статье рассматриваются ключевые аспекты квантового машинного обучения, включая NISQ и методы обеспечения устойчивости к ошибкам в квантовых вычислениях.

Обсуждаются основные концепции, алгоритмы и статистическая теория обучения.

Прочитал любопытное исследование про распространение ИИ в науке. За последние 40 лет использование ИИ в научных публикациях выросло в 13 раз! Среди юзеров-лидеров — инженеры, экологи и медики 👏

Но есть нюанс: хотя исследования с ИИ и становятся более распространенными, они как бы существуют отдельно от традиционных исследований. Как масло в воде — вроде везде, но не смешивается.

В общем, видим, как ИИ захватывает науку, но пока не очень хорошо интегрируется. Авторы изучили около 80 млн публикаций, чтобы прийти к таким выводам.

Если интересно, полное исследование можно найти здесь.

💥Статья касается различных аспектов развития языковых моделей, начиная от Transformer и BERT, до более новых моделей типа GPT и RETRO.

Обсуждаются методы предварительного обучения, контекстуализированные эмбеддинги, и использование баз данных для улучшения работы моделей при генерации текста.

🚕 Kак Uber использует теорию графов, вложения и механизм самовнимания для предсказания времени прибытия машины?

Рассматриваются традиционные алгоритмы маршрутизации, интеграция ML для учета времени суток и погодных условий, и использование кодирования признаков и самообучающихся архитектур для повышения точности прогнозов.

https://codecompass00.substack.com/p/uber-billion-dollar-problem-predicting-eta

📍Рассматриваются основы позиционного кодирования в трансформерах, объясняя, как синусоидальные функции вводят информацию о позициях токенов, что помогает моделям распознавать порядок элементов в последовательности.

Обсуждаются различные методы позиционного кодирования, включая обучаемые векторы и роторные кодировки, которые улучшают обработку длинных контекстов.

https://codecompass00.substack.com/p/positional-encoding-transformers

➡️ Исследование проверяет эффективность стратегии обрезки слоев для предварительно обученных LLM, показывая минимальное снижение производительности до удаления значительной части слоев.

Авторы предлагают оптимальный блок слоев для обрезки на основе их сходства и применяют квантизаци и адаптеры низкого ранга, что позволяет значительно экономить вычислительные ресурсы и улучшать задержки при выводе.

⏩В статье рассматриваются ограничения векторного поиска для LLM и утверждается, что он не всегда является лучшим решением.

Приводятся примеры инфраструктурных стэков от известных венчурных компаний, критикуется доминирование векторного поиска и предлагаются альтернативные методы поиска.