🙃 ИИ чат-боты «думают» на английском, даже когда говорят на других языках

Большие языковые модели (LLM), лежащие в основе чат-ботов, «думают» на английском языке, даже если вопросы задаются на других языках, пишет New Scientist со ссылкой на исследование учёных Федеральной политехнической школы Лозанны.

Чтобы понять, какой язык на самом деле используют LLM при обработке запросов, учёные изучили три версии модели Llama 2. Благодаря тому, что Llama 2 имеет открытый исходный код, исследователи смогли ознакомиться с каждым этапом обработки запроса.

Они открыли эти модели и изучили каждый из их слоёв. ИИ-модели состоят из нескольких слоёв, каждый из которых отвечает за определённый этап обработки запроса: один переводит подсказки в токены, другой контекстуализирует каждый токен и т.д.

Моделям были предложены 3 типа запросов на китайском, французском, немецком и русском языках. В одном случае предлагалось повторить заданное слово, во втором — перевести с одного неанглийского языка на другой, и в третьем — заполнить пробел в одно слово в предложении, например: «___ используется для занятий такими видами спорта, как футбол и баскетбол».

Отследив процессы внутри LLM, учёные обнаружили, что путь обработки через слои почти всегда проходит через то, что они называют английским подпространством. То есть, если предложить модели перевести с китайского на русский, русские символы проходят через английское подпространство, прежде чем вернуться на русский, говорит учёный, что является убедительным признаком того, что модели используют английский, чтобы помочь себе понять суть запроса.

Это вызвало у учёных обеспокоенность по поводу того, что использование английского языка в качестве посредника для обучения модели несёт с собой риск.

«Если английский станет основным языком, на котором системы обрабатывают запросы, мы, скорее всего, потеряем концепции и нюансы, которые можно оценить только на других языках», — говорит Карисса Велиз (Carissa Véliz) из Оксфордского университета.

@ai_machinelearning_big_data

🔥 Вероятно, ожидается прорыв в AI — придуман новый способ умножения матриц

В основе AI лежит матричное исчисление, которое только что пережило самый большой подъем более чем за десятилетие. Почти одновременно вышли две статьи, в которых математики объяснили, как повысить эффективность перемножения матриц, с помощью чего AI сможет быстрее обучаться и быстрее решать задачи.

Суть в том, что до относительно недавнего времени человечество не представляло иного способа умножения матриц, чем выполнением n³ операций (n — размерность матриц). В идеальном же для математиков мире умножение матриц хотелось совершать за n² операций. И к началу 70-х годов процесс поиска соответствующего алгоритма пошёл. Нетрудно догадаться, что к этому побудило распространение вычислительных машин.

Заявленный в новых статьях прорыв, совершённый в 2023 году, произошёл в результате обнаружения скрытых потерь в «лазерном методе» Арнольда Шёнхаге. В ноябре 2023 года Ран Дуань и Ренфэй Чжоу из Университета Цинхуа представили метод, который устранил неэффективность лазерного метода, установив новую верхнюю границу числа необходимых операций примерно на уровне n^2.371866. Это самый существенный прогресс в этой области с 2010 года.
Но всего 2 месяца спустя Вирджиния Василевски, Инчжан Сюй и Цзысюань Сюй из МТИ опубликовали вторую статью, в которой подробно описали ещё одну оптимизацию, которая снизила верхнюю границу количества операций до n^2.371552.

Безусловно, точное влияние на скорость работы моделей AI зависит от конкретной архитектуры системы ИИ и от того, насколько сильно задачи конкретной модели зависят от умножения матриц. Поэтому повышение эффективности алгоритмов будут сочетать с оптимизацией оборудования, чтобы полностью реализовать потенциальный прирост скорости.
И по мере того, как улучшения в алгоритмических методах будут накапливаться с течением времени, искусственный интеллект будет становиться быстрее — это факт.

📎 Читать подробнее

@ai_machinelearning_big_data

🌟 Код чат-бота Grok от выложат в open-source

Илон Маск пообещал, что ИИ-стартап xAI откроет исходный код чат-бота Grok на этой неделе.

Маск сделал это заявление через несколько суток после того, как подал в суд на OpenAI и пожаловался, что поддерживаемый Microsoft стартап отклонился от своих корней и не выложил в открытом доступе исходный код ChatGPT.

🔘Немного предыстории: в июле прошлого года Маск объявил о начале работы xAI. Главная цель проекта — «понять истинную природу Вселенной». Одним из продуктов xAI как раз является Grok.
4 ноября 2023 года xAI запустила своего чат-бота Grok с генеративным искусственным интеллектом для ограниченной аудитории. В компании планировали сделать языковую модель xAI доступной для всех платных подписчиков соцсети X.

@ai_machinelearning_big_data

🔥 Код отладчика Transformer Debugger для работы с моделями от OpenAI опубликован на GitHub

OpenAI опубликовала код отладчика Transformer Debugger, предназначенного для работы с моделями машинного обучения. С его помощью проще понимать, почему языковые модели выводят определённые токены в ответ на запрос.

Transformer Debugger, как и любой отладчик для моделей машинного обучения поддерживает функции пошагового вывода, перехвата активностей и их трассировки. Разработчики компании отмечают, что утилита помогает понять, почему языковая модель уделяет внимание определённым токенами и почему выводит их в качестве ответа на запрос.

Выпуск включает в себя следующие компоненты:
⏩Neuron viewer — React-приложение для вывода информации об отдельных компонентах модели, включая фокусы внимания и нейроны MLP.
⏩Activation server — сервер, который взаимодействует с моделью и извлекает данные для вывода. Он же нужен для работы с общедоступными контейнерами Azure.
⏩Models — простая библиотека выводов для моделей GPT-2.
⏩Примеры наборов данных для нейронов MLP и фокусов внимания.

🖥 Код Transformer Debugger написан на Python и доступен на GitHub. Вместе с этим разработчики OpenAI поделились подробными инструкциями и документацией.

@ai_machinelearning_big_data

🔥 Генеративные нейросети Яндекса попали в первый международный рейтинг Global Generative AI Landscape 2024 от AIPort

В списке самых перспективных ИИ-разработок оказались текстовая YandexGPT и мультимодальная YandexART 🎉

Рейтинг охватил все ключевые категории генеративных нейросетей: текстовые, картиночные, видео, аудио, мультимодальные, чат-боты, игровые и другие. Его опубликовало сообщество дата-сайентистов, ML-экспертов и энтузиастов в сфере ИИ.

Помимо этого, Яндекс стал одной из 11 компаний со всего мира, разрабатывающих более одного типа GenAI-моделей наряду со Open AI, Microsoft и Google.

@ai_machinelearning_big_data

❓Возможно, совсем скоро мы увидим GPT-4.5 Turbo от OpenAI❓

⏩ Согласно новым данным из «утечки» от OpenAI, одним из существенных обновлений в GPT-4.5 Turbo является окно длины контекста в 256k токенов, что вдвое превышает текущие 128k GPT-4 Turbo. Этот шаг, похоже, является ответом OpenAI на конкурентов, запускающих модели со все более большими контекстными окнами, включая Google Gemini. Вероятно, что новая модель GPT изменит ситуацию для OpenAI или даже продвинет её впереди чат-бота Google.

OpenAI пока официально не раскрыла информацию об утечке, поэтому статус GPT-4.5 Turbo и дата выпуска в июне 2024 года окутаны тайной.

⏩Немного предыстории
12 марта 2024 года исследователи обнаружили в кэше Bing, что OpenAI готовится представить нейросеть GPT-4.5 Turbo. Но ссылка на эту страницу на сайте OpenAI выдаёт ошибку 404. Также из поисковой выдачи пропало упоминание о новом чат-боте.

⏩Ожидается, что с помощью чат‑бота GPT-4.5 OpenAI стремится устранить некоторые ограничения и проблемы, с которыми столкнулись его предшественники. Это включает в себя уменьшение предвзятости в сгенерированном тексте, улучшение понимания моделью неоднозначных запросов и значительное улучшение её способности решать задачи, специфичные для определённой предметной области.

@ai_machinelearning_big_data

🔥 Российский AI GigaChat занял 4-е место среди самых передовых моделей искусственного интеллекта, обогнав GPT-3.5 и гугловский Gemini по результатам бенчмарка AI Benchmarking Guide 2024. Также GigaChat показал лучшие результаты по запросам на русском языке.

Исследование проводилось методом side-by-side. Для определения потенциала модели эксперты использовали комбинацию двух факторов: оценку производительности модели на ее «родном» языке и наивысшую оценку реакции модели на любом другом языке. Кроме того проводились слепые тесты по задачам: перевод, творческое написание текстов, генерация кода и анализ данных.

@ai_machinelearning_big_data