Статья освещает основы векторного поиска, его компоненты (извлечение и ранжирование), и применение алгоритмов машинного обучения, таких как BM25, в современных поисковых системах, улучшенных за счет использования моделей глубокого обучения, включая BERT.
В статье изучаются методы ускорения предобучения больших языковых моделей (LLM). Авторы предлагают оператор глубинного стэкинга Gstack, который ускоряет обучение, снижая потери и улучшая производительность на восьми стандартных NLP-бенчмарках. Gstack показывает высокую масштабируемость и эффективность, достигая тех же результатов, что и традиционные модели, но с меньшими затратами токенов. Авторы также формулируют рекомендации по применению Gstack, делая его практичным для предобучения LLM.
👍3
Aвторы исследуют линейные характеристики трансформеров GPT, LLaMA, OPT, BLOOM и другие. Они обнаружили почти идеальную линейную связь между преобразованиями эмбеддингов между последовательными слоями.
Эксперименты показали, что удаление или линейная аппроксимация некоторых наиболее линейных блоков незначительно влияет на потерю или производительность модели. Введение регуляризации на основе косинусного сходства при предварительном обучении улучшило метрики производительности и уменьшило линейность моделей, что ставит под сомнение существующее понимание архитектур трансформеров.
https://arxiv.org/pdf/2405.12250
Эксперименты показали, что удаление или линейная аппроксимация некоторых наиболее линейных блоков незначительно влияет на потерю или производительность модели. Введение регуляризации на основе косинусного сходства при предварительном обучении улучшило метрики производительности и уменьшило линейность моделей, что ставит под сомнение существующее понимание архитектур трансформеров.
https://arxiv.org/pdf/2405.12250
👍3❤🔥2
Статья охватывает следующие темы: архитектура трансформеров с декодером и их важность для генеративных языковых моделей (LLM), механизм самовнимания (self-attention), включая скалированное точечное произведение внимания и многоголовое внимание (multi-head attention), а также реализация каскадного самовнимания на PyTorch с примерами кода.
👍3
В статье рассматривается парадигма обработки естественного языка, включающая крупномасштабное предварительное обучение на данных общего домена и адаптацию к конкретным задачам или доменам.
https://arxiv.org/pdf/2106.09685
https://arxiv.org/pdf/2106.09685
❤🔥2👍2
Исследование представляет обзор выбранных методов и их реализаций. Предложен двухэтапный подход к классификации данных высокой размерности, а также методы робастной регрессии и обработки выбросов для изображений.
Статья охватывает несколько ключевых тем в области дообучения языковых моделей, включая текущее состояние RLHF и его влияние по сравнению с предобучением.
Автор обсуждает разработку и оценку моделей оптимизации проксимальной политики и прямой оптимизации предпочтений, важность наборов данных для дообучения, производительность моделей вознаграждения через RewardBench.
https://substack.com/home/post/p-146002205
Автор обсуждает разработку и оценку моделей оптимизации проксимальной политики и прямой оптимизации предпочтений, важность наборов данных для дообучения, производительность моделей вознаграждения через RewardBench.
https://substack.com/home/post/p-146002205
Рассматриваются основные аспекты Information Retrieval включая классические алгоритмы типа инвертированного индекса и модели мешка слов (BoW), применение современных методов глубокого обучения, таких как трансформерные модели, вроде BERT.
❤🔥3
https://vpnand.com/?ref=92
Наши друзья создали VPN. Рекомендуем. Скачивайте.
Мем для привлечения внимания 🌝❤️
Наши друзья создали VPN. Рекомендуем. Скачивайте.
Мем для привлечения внимания 🌝❤️
🔥6
Cравнительный анализ стратегий обучения, которые используют как выбор признаков для работы с высокой размерностью, так и методы обучения с учетом стоимости для справления с дисбалансом классов. Эксперименты проводились на трех бенчмарках из геномной области, что позволило оценить влияние комбинации выбора признаков и обучения с учетом стоимости на несбалансированных данных.
https://peerj.com/articles/cs-832/
https://peerj.com/articles/cs-832/
Статья исследует, улучшает ли увеличение данных обобщение в обработке естественного языка (NLP), помогая моделям отказаться от поверхностных признаков в пользу более общих и сильных.
Исследование показывает, что увеличение данных может сначала ухудшить производительность, прежде чем начать помогать, и что его эффективность ограничена, если более сильный признак значительно сложнее извлечь, чем конкурирующий поверхностный признак.
https://arxiv.org/abs/2004.15012
Исследование показывает, что увеличение данных может сначала ухудшить производительность, прежде чем начать помогать, и что его эффективность ограничена, если более сильный признак значительно сложнее извлечь, чем конкурирующий поверхностный признак.
https://arxiv.org/abs/2004.15012
👍2
Наткнулся на сайт, который сделал визуализацию метрики ROI (возврат инвестиций) образования в разбивке по направлениям и университетам. Потом они составили рейтинг университетов по этому показателю
Здесь можно посмотреть на рейтинг универов, а здесь — подробнее почитать про методологию. Вот небольшое саммари методологии:
Факторы, учитываемые в расчете ROI:
Процесс расчета ROI:
Интерпретация ROI: Например, если программа имеет ROI $50,000, это означает, что студент, начавший эту программу, становится на $50,000 "богаче" (в текущих деньгах) по сравнению с тем, если бы он сразу вышел на рынок труда после школы.
Получилась довольно занимательная статистика — кто бы мог подумать, что после обучения на visual and performing arts люди в среднем получают меньше, чем после computer science?
Занимательно, что университеты стоимостью $20.000 в среднем имеют меньший ROI университетов с более дорогим образованием. Еще интересно было сравнить частные вузы с публичными — вторые стоят в два раза дешевле, но ROI показывают на уровне верхушки частных вузов
Что думаете про визуализацию? Нужно ли школьникам учитывать подобные рейтинги и метрики при поступлении в универ и выборе направлении? Прожимайте реакцию
t.me/dataminingteam
(C) t.me/tagir_analyzes
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7😁2
В статье обзор 62 методов обучения с учетом шумных меток, категоризированных по пяти группам в рамках DL.
Авторы также провели систематическое сравнение шести характеристик для оценки их эффективности, а также осветили методы оценки шума и используемые наборы данных и метрики оценки. В заключении выделены перспективные направления для будущих исследований.
https://arxiv.org/pdf/2007.08199
Авторы также провели систематическое сравнение шести характеристик для оценки их эффективности, а также осветили методы оценки шума и используемые наборы данных и метрики оценки. В заключении выделены перспективные направления для будущих исследований.
https://arxiv.org/pdf/2007.08199
В статье исследуются различные гиперпараметры для популярных алгоритмов, таких как Ридж и Лассо Регрессия, Логистическая Регрессия, Метод Опорных Векторов, Метод К-Ближайших Соседей, Деревья Решений и Градиентный Бустинг. Кроме того, она обозначает преимущества и недостатки настройки гиперпараметров и демонстрирует, как ее выполнять с помощью Python, используя такие техники, как Coarse to Finer Approach с использованием RandomizedSearchCV и GridSearchCV.
👍5⚡1
В статье представлен метод TranAD для обнаружения аномалий в многомерных временных рядах с использованием глубоких сетей трансформеров.
TranAD увеличивает F1-оценки на до 17%, сокращая время обучения на до 99% по сравнению с базовыми методами.
Модель использует внимание для кодирования данных и быстрого обнаружения аномалий, обеспечивая стабильное извлечение признаков и обучение с ограниченными данными через мета-обучение.
https://arxiv.org/pdf/2201.07284
TranAD увеличивает F1-оценки на до 17%, сокращая время обучения на до 99% по сравнению с базовыми методами.
Модель использует внимание для кодирования данных и быстрого обнаружения аномалий, обеспечивая стабильное извлечение признаков и обучение с ограниченными данными через мета-обучение.
https://arxiv.org/pdf/2201.07284
👍5
Авторы представляют сеть на основе трансформера, направленную на атрибутивное обучение без образцов.
Рна использует кодировщик для улучшения переносимости визуальных признаков и декодер для локализации атрибутов на изображении, что позволяет эффективно взаимодействовать между визуальными и семантическими данными.
Рна использует кодировщик для улучшения переносимости визуальных признаков и декодер для локализации атрибутов на изображении, что позволяет эффективно взаимодействовать между визуальными и семантическими данными.
❤🔥3
Статья описывает новый метод поиска ближайших соседей с использованием анизотропной векторной квантизации в библиотеке ScaNN. Основное внимание уделено улучшению точности и скорости поиска на основе векторных эмбеддингов в больших данных.
👍4❤🔥2🔥2
Представлены предварительно обученные авторегрессивные модели, которые решают задачу генерации 3D-сеток моделирования LLM.
В основе MeshXL лежит явное представление координат с неявными нейронными вложениями, которое является простым и эффективным способом моделирования последовательных сеток большого масштаба.
В основе MeshXL лежит явное представление координат с неявными нейронными вложениями, которое является простым и эффективным способом моделирования последовательных сеток большого масштаба.
🔥4👍1
Обзор методов уменьшения размерности данных, включая PCA, t-SNE и UMAP, анализирует их преимущества и недостатки. Подходы к уменьшению размерности включают линейные (PCA) и нелинейные методы (t-SNE, UMAP), каждый со своими особенностями.
Также представлен инструмент TensorFlow Embedding Projector для визуализации данных. Обзор помогает понять, какой метод выбрать в зависимости от задачи.
Также представлен инструмент TensorFlow Embedding Projector для визуализации данных. Обзор помогает понять, какой метод выбрать в зависимости от задачи.
❤🔥6🔥3
Switch Transformers представляют новый подход к масштабированию моделей до триллионов параметров с помощью простой и эффективной разреженности.
Вместо того, чтобы использовать одни и те же параметры для всех входных данных, модели MoE выбирают разные параметры для каждого примера. Результатом является разреженно-активированная модель с огромным числом параметров, но постоянной вычислительной стоимостью.
Вместо того, чтобы использовать одни и те же параметры для всех входных данных, модели MoE выбирают разные параметры для каждого примера. Результатом является разреженно-активированная модель с огромным числом параметров, но постоянной вычислительной стоимостью.
❤🔥6