В статье рассматриваются основы позиционного кодирования в трансформерах, объясняя, как синусоидальные функции вводят информацию о позициях токенов, что помогает моделям распознавать порядок элементов в последовательности.
Обсуждаются различные методы позиционного кодирования, включая обучаемые векторы и роторные кодировки, которые улучшают обработку длинных контекстов.
Обсуждаются различные методы позиционного кодирования, включая обучаемые векторы и роторные кодировки, которые улучшают обработку длинных контекстов.
👍4
Эта статья рассматривает популярное мнение о том, что увеличение размера языковых моделей (LLM) неизбежно приведёт к созданию искусственного общего интеллекта (AGI). Авторы оспаривают это мнение.
Авторы предлагают рассматривать развитие AI как "лестницу общности", где LLM — лишь очередная ступень. Они подчеркивают, что исторически AI-сообщество плохо предсказывало будущие прорывы и их последствия.
В целом, статья призывает к более скептическому и реалистичному взгляду на перспективы масштабирования языковых моделей и их потенциал в достижении AGI.
Авторы предлагают рассматривать развитие AI как "лестницу общности", где LLM — лишь очередная ступень. Они подчеркивают, что исторически AI-сообщество плохо предсказывало будущие прорывы и их последствия.
В целом, статья призывает к более скептическому и реалистичному взгляду на перспективы масштабирования языковых моделей и их потенциал в достижении AGI.
❤🔥5
В статье рассматриваются проблемы крупных языковых моделей (галлюцинации, устаревшие данные, непрозрачные процессы рассуждения) и как Retrieval-Augmented Generation (RAG) решает эти проблемы, интегрируя внешние базы данных.
Описываются различные парадигмы RAG (Naive RAG, Advanced RAG, Modular RAG) и их ключевые компоненты (извлечение, генерация, дополнение).
https://arxiv.org/pdf/2312.10997
Описываются различные парадигмы RAG (Naive RAG, Advanced RAG, Modular RAG) и их ключевые компоненты (извлечение, генерация, дополнение).
https://arxiv.org/pdf/2312.10997
👍3❤🔥2
Статья освещает основы векторного поиска, его компоненты (извлечение и ранжирование), и применение алгоритмов машинного обучения, таких как BM25, в современных поисковых системах, улучшенных за счет использования моделей глубокого обучения, включая BERT.
В статье изучаются методы ускорения предобучения больших языковых моделей (LLM). Авторы предлагают оператор глубинного стэкинга Gstack, который ускоряет обучение, снижая потери и улучшая производительность на восьми стандартных NLP-бенчмарках. Gstack показывает высокую масштабируемость и эффективность, достигая тех же результатов, что и традиционные модели, но с меньшими затратами токенов. Авторы также формулируют рекомендации по применению Gstack, делая его практичным для предобучения LLM.
👍3
Aвторы исследуют линейные характеристики трансформеров GPT, LLaMA, OPT, BLOOM и другие. Они обнаружили почти идеальную линейную связь между преобразованиями эмбеддингов между последовательными слоями.
Эксперименты показали, что удаление или линейная аппроксимация некоторых наиболее линейных блоков незначительно влияет на потерю или производительность модели. Введение регуляризации на основе косинусного сходства при предварительном обучении улучшило метрики производительности и уменьшило линейность моделей, что ставит под сомнение существующее понимание архитектур трансформеров.
https://arxiv.org/pdf/2405.12250
Эксперименты показали, что удаление или линейная аппроксимация некоторых наиболее линейных блоков незначительно влияет на потерю или производительность модели. Введение регуляризации на основе косинусного сходства при предварительном обучении улучшило метрики производительности и уменьшило линейность моделей, что ставит под сомнение существующее понимание архитектур трансформеров.
https://arxiv.org/pdf/2405.12250
👍3❤🔥2
Статья охватывает следующие темы: архитектура трансформеров с декодером и их важность для генеративных языковых моделей (LLM), механизм самовнимания (self-attention), включая скалированное точечное произведение внимания и многоголовое внимание (multi-head attention), а также реализация каскадного самовнимания на PyTorch с примерами кода.
👍3
В статье рассматривается парадигма обработки естественного языка, включающая крупномасштабное предварительное обучение на данных общего домена и адаптацию к конкретным задачам или доменам.
https://arxiv.org/pdf/2106.09685
https://arxiv.org/pdf/2106.09685
❤🔥2👍2
Исследование представляет обзор выбранных методов и их реализаций. Предложен двухэтапный подход к классификации данных высокой размерности, а также методы робастной регрессии и обработки выбросов для изображений.
Статья охватывает несколько ключевых тем в области дообучения языковых моделей, включая текущее состояние RLHF и его влияние по сравнению с предобучением.
Автор обсуждает разработку и оценку моделей оптимизации проксимальной политики и прямой оптимизации предпочтений, важность наборов данных для дообучения, производительность моделей вознаграждения через RewardBench.
https://substack.com/home/post/p-146002205
Автор обсуждает разработку и оценку моделей оптимизации проксимальной политики и прямой оптимизации предпочтений, важность наборов данных для дообучения, производительность моделей вознаграждения через RewardBench.
https://substack.com/home/post/p-146002205
Рассматриваются основные аспекты Information Retrieval включая классические алгоритмы типа инвертированного индекса и модели мешка слов (BoW), применение современных методов глубокого обучения, таких как трансформерные модели, вроде BERT.
❤🔥3
https://vpnand.com/?ref=92
Наши друзья создали VPN. Рекомендуем. Скачивайте.
Мем для привлечения внимания 🌝❤️
Наши друзья создали VPN. Рекомендуем. Скачивайте.
Мем для привлечения внимания 🌝❤️
🔥6
Cравнительный анализ стратегий обучения, которые используют как выбор признаков для работы с высокой размерностью, так и методы обучения с учетом стоимости для справления с дисбалансом классов. Эксперименты проводились на трех бенчмарках из геномной области, что позволило оценить влияние комбинации выбора признаков и обучения с учетом стоимости на несбалансированных данных.
https://peerj.com/articles/cs-832/
https://peerj.com/articles/cs-832/
Статья исследует, улучшает ли увеличение данных обобщение в обработке естественного языка (NLP), помогая моделям отказаться от поверхностных признаков в пользу более общих и сильных.
Исследование показывает, что увеличение данных может сначала ухудшить производительность, прежде чем начать помогать, и что его эффективность ограничена, если более сильный признак значительно сложнее извлечь, чем конкурирующий поверхностный признак.
https://arxiv.org/abs/2004.15012
Исследование показывает, что увеличение данных может сначала ухудшить производительность, прежде чем начать помогать, и что его эффективность ограничена, если более сильный признак значительно сложнее извлечь, чем конкурирующий поверхностный признак.
https://arxiv.org/abs/2004.15012
👍2
Наткнулся на сайт, который сделал визуализацию метрики ROI (возврат инвестиций) образования в разбивке по направлениям и университетам. Потом они составили рейтинг университетов по этому показателю
Здесь можно посмотреть на рейтинг универов, а здесь — подробнее почитать про методологию. Вот небольшое саммари методологии:
Факторы, учитываемые в расчете ROI:
Процесс расчета ROI:
Интерпретация ROI: Например, если программа имеет ROI $50,000, это означает, что студент, начавший эту программу, становится на $50,000 "богаче" (в текущих деньгах) по сравнению с тем, если бы он сразу вышел на рынок труда после школы.
Получилась довольно занимательная статистика — кто бы мог подумать, что после обучения на visual and performing arts люди в среднем получают меньше, чем после computer science?
Занимательно, что университеты стоимостью $20.000 в среднем имеют меньший ROI университетов с более дорогим образованием. Еще интересно было сравнить частные вузы с публичными — вторые стоят в два раза дешевле, но ROI показывают на уровне верхушки частных вузов
Что думаете про визуализацию? Нужно ли школьникам учитывать подобные рейтинги и метрики при поступлении в универ и выборе направлении? Прожимайте реакцию
t.me/dataminingteam
(C) t.me/tagir_analyzes
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7😁2
В статье обзор 62 методов обучения с учетом шумных меток, категоризированных по пяти группам в рамках DL.
Авторы также провели систематическое сравнение шести характеристик для оценки их эффективности, а также осветили методы оценки шума и используемые наборы данных и метрики оценки. В заключении выделены перспективные направления для будущих исследований.
https://arxiv.org/pdf/2007.08199
Авторы также провели систематическое сравнение шести характеристик для оценки их эффективности, а также осветили методы оценки шума и используемые наборы данных и метрики оценки. В заключении выделены перспективные направления для будущих исследований.
https://arxiv.org/pdf/2007.08199
В статье исследуются различные гиперпараметры для популярных алгоритмов, таких как Ридж и Лассо Регрессия, Логистическая Регрессия, Метод Опорных Векторов, Метод К-Ближайших Соседей, Деревья Решений и Градиентный Бустинг. Кроме того, она обозначает преимущества и недостатки настройки гиперпараметров и демонстрирует, как ее выполнять с помощью Python, используя такие техники, как Coarse to Finer Approach с использованием RandomizedSearchCV и GridSearchCV.
👍5⚡1
В статье представлен метод TranAD для обнаружения аномалий в многомерных временных рядах с использованием глубоких сетей трансформеров.
TranAD увеличивает F1-оценки на до 17%, сокращая время обучения на до 99% по сравнению с базовыми методами.
Модель использует внимание для кодирования данных и быстрого обнаружения аномалий, обеспечивая стабильное извлечение признаков и обучение с ограниченными данными через мета-обучение.
https://arxiv.org/pdf/2201.07284
TranAD увеличивает F1-оценки на до 17%, сокращая время обучения на до 99% по сравнению с базовыми методами.
Модель использует внимание для кодирования данных и быстрого обнаружения аномалий, обеспечивая стабильное извлечение признаков и обучение с ограниченными данными через мета-обучение.
https://arxiv.org/pdf/2201.07284
👍5
Авторы представляют сеть на основе трансформера, направленную на атрибутивное обучение без образцов.
Рна использует кодировщик для улучшения переносимости визуальных признаков и декодер для локализации атрибутов на изображении, что позволяет эффективно взаимодействовать между визуальными и семантическими данными.
Рна использует кодировщик для улучшения переносимости визуальных признаков и декодер для локализации атрибутов на изображении, что позволяет эффективно взаимодействовать между визуальными и семантическими данными.
❤🔥3
Статья описывает новый метод поиска ближайших соседей с использованием анизотропной векторной квантизации в библиотеке ScaNN. Основное внимание уделено улучшению точности и скорости поиска на основе векторных эмбеддингов в больших данных.
👍4❤🔥2🔥2