[China] Phoenix: Democratizing ChatGPT across Languages
Zhihong Chen, Feng Jiang, Junying Chen, Tiannan Wang, Fei Yu, Guiming Chen, Hongbo Zhang, Juhao Liang, Chen Zhang, Zhiyi Zhang, Jianquan Li, Xiang Wan, Benyou Wang, Haizhou Li
Статья: https://arxiv.org/abs/2304.10453
Код: https://github.com/FreedomIntelligence/LLMZoo

Прогресс за последние полгода-год прямо существенный (https://news.1rj.ru/str/gonzo_ML/1467). Я бы выделил три момента:
1) Запуск ChatGPT (https://news.1rj.ru/str/gonzo_ML/1140) на публику, он впервые дал огромный охват и принёс популярность теме и OpenAI лично;
2) Анонс GPT-4 (https://news.1rj.ru/str/gonzo_ML/1383) с существенно более высокими способностями, чем у предыдущих моделей, так что тестирование теперь идёт на человеческих датасетах и заговорили про sparks of intelligence (https://news.1rj.ru/str/gonzo_ML/1418) и рисках вообще;
3) Утекание в паблик (https://news.1rj.ru/str/gonzo_ML/1346) непубличных весов от “как бы опенсорсной” модели LLaMA (https://news.1rj.ru/str/gonzo_ML/1324). Это запустило массовое народное экспериментирование вокруг LLM с запуском на ноутбуках, телефонах и Raspberry PI; устранение токсичных элементов лицензий чтобы можно было безопасно применять в коммерческих приложениях, и т.п.

Текущая работа команды из Шеньчженя продолжает развитие третьей ветки в попытке собрать мультиязычную ChatGPT с нормальной поддержкой английского и китайского в первую очередь, но и не забывая другие языки.

Хостит проект команда под названием FreedomIntelligence (https://github.com/FreedomIntelligence) с фото Мела Гибсона, борца за независимость Шотландии :) Целью заявляется также большая доступность ChatGPT, ограниченная самими OpenAI или локальными правительствами (картинка в тему: https://i.imgur.com/2fF3Xlh.png, но там что-то Италии не видно), и уход от ‘AI supremacy’ этой компании с отсылкой к Асиломарским принципам (https://futureoflife.org/open-letter/ai-principles/). Соответственно данные, код и веса моделей доступны. Вообще в работе много лозунгов и читать её прикольно, отличается от типичной американской работы и замыкается туда же через “Make AI open again”.

В верблюжьей семье (лама, альпака, викуна, гуанако и т.п.) имён уже перестало хватать, поэтому модель назвали фениксом (Phoenix), он в китайской культуре царь птиц и может координироваться с разными птицами даже если они общаются на других языках. А ещё потому что это тотем их университета.

В общем работа про демократизацию, в первую очередь относительно языков. Текущие опенсорсные альтернативы явно выпиливают нелатинские и некириллические языки, и феникс призван восстановить справедливость.

Модель стартует с предобученного мультиязычного BLOOM и работа идёт сразу по двум направлениям обучения моделей: instruction tuning и conversation tuning, эти данные тоже мультиязычные. Предыдущие опенсорс альтернативы обычно выбирали одно из этих направлений, либо инструкции, либо разговор.

Для инструкций берут language-agnostic data (видимо, в основном это имеется в виду английский) и переводят на другие языки, сохраняя реальные пропорции между языками. Был вариант как с переводом всего сразу (инструкции и вывод), так и с переводом только инструкций и генерации вывода по инструкциям на новом языке через GPT-3.5. Были также сгенерированные user-centered instructions с ролями, их тоже перевели в пропорциях соответствующих количеству носителей.

Для разговорных данных собирают пользовательские разговоры на разных языках из разных источников.

Поскольку мультиязычность обычно не даётся даром, и есть понятие curse of multilinguality (https://docs.google.com/presentation/d/1m7Wpzaowbvi2je6nQERXyfQ0bzzS0dD0OArWznfOjHE/edit#slide=id.g21224696c1e_0_309), которое здесь называют multilingual tax, мультиязычная модель запросто может на отдельных языках быть хуже специализированных того же размера. Поэтому обучают специальную безналоговую латинскую версию феникса, названную химерой (Chimera), на бэкбоне LLaMA.

Всё обучали пайторчом с хаггинфейсом. 3 эпохи, батч 256, размер контекста 2048. Моделька Phoenix (совсем мультиязычная) размера 7B, Chimera (латинская) 7B и 13B.

По аналогии с викуной сравнивали на 80 вопросах в 8 категориях + добавили от себя категории про reasoning и grammar и получилось 100 по 10. Делали попарное сравнение строго по протоколам викуны.

Для оценки использовали GPT-4 для получения абсолютных значений скоров для английских и китайских результатов. На остальные языки квот OpenAI не хватило и использовали более быструю и дешёвую GPT-3.5 Turbo. Этой модели было довольно сложно выдавать скоры для ответов, которые крайне мало отличаются по качеству. Поэтому альтернативный подход был в том, чтобы спросить какой результат лучше и дать аргументацию почему. Такие подходы к оценке называются соответственно absolute performance и beat rate. Метод не бесспорный и наверняка со своими особенностями, но тем не менее.

По перформансу на китайском Феникс был похуже GPT-3.5 Turbo и ChatGLM-6b, примерно сравним с Baidu-Wenxin и лучше опенсорс альтернатив.

На английском был лучше Vicuna-7b и ChatGLM6b, но хуже Vicuna-13b и ChatGPT. В свою очередь Chimera, которая tax-free Phoenix, установила новую SoTA для опенсорсных LLM с 96.6% качества от ChatGPT.

На других языках хуже ChatGPT, но лучше Guanaco.

Была также человеческая оценка волонтёрами, она на китайском показала примерно такой же результат феникса относительно других моделей.

Как резюме, опенсорс несётся с сумасшедшей скоростью. Как Stable Diffusion и Midjourney в своё время (блин, ещё совсем недавно, но по ощущению уже в прошлой эре) переформатировали игровое поле (https://news.1rj.ru/str/gonzo_ML/1062), и теперь, например, про DALLE-2 уже мало кто вспоминает, она сейчас не очень игрок. Так и новые языковые модели могут реально подвинуть разных коммерческих игроков, про что как раз был недавний пост кого-то из Гугла (https://news.1rj.ru/str/gonzo_ML/1515). Похоже, у нас правда очень скоро будут мультиязычные модели вполне достойного качества, которые можно запускать у себя на ноутбуке (а может и даже на телефоне) и локально решать большой спектр задач, где такого pseudocognition вполне достаточно. Даёшь маленькие коробочки с LLM для домохозяйств!

Что-то давно мы не слышали этого отца-основателя

https://www.theguardian.com/technology/2023/may/07/rise-of-artificial-intelligence-is-inevitable-but-should-not-be-feared-father-of-ai-says

Из новостей последней недели в дайджесте от Economist

The disruptive potential of generative artificial intelligence came into sharp focus when Chegg, a provider of online study aids, said that the use of Chatgpt by students was starting to affect revenues. Although the chief executive tried to assure investors that this “is not a sky-is-falling thing” and the effects are “just on the margin”, Chegg’s share price swooned, dragging down the stock of other online education companies.

The Writers Guild of America called its first strike for 15 years, in a dispute over pay with studios such as Apple, Disney and Netflix. The television and film writers say the studios are creating “a gig economy” in the industry, for example by moving to “day rates” in comedy variety. It also wants to restrict the use of ai in creating noscripts. The last stoppage by Hollywood’s noscript writers lasted 100 days.

Geoffrey Hinton, one of the pioneers of ai, resigned from Google in order to speak his mind about the technology. Mr Hinton, 75, said ai was developing too rapidly and the idea that it would outsmart people was no longer “30 to 50 years” away. Humans are “biological systems and these are digital systems”, he warned, as he called for more safety protocols for ai.

https://www.economist.com/the-world-this-week/2023/05/04/business

И картинка в тему:

https://www.economist.com/the-world-this-week/2023/05/04/kals-cartoon

Looks interesting!

Introducing ImageBind by Meta AI: the first AI model capable of binding information from six different modalities at once.

Humans absorb information from the world by combining data from different senses, like sight and sound. ImageBind brings machines one step closer to this ability with a model that’s capable of learning a single embedding for text, image/video, audio, depth, thermal and IMU inputs. We hope this work opens the floodgates for researchers as they work to develop new, holistic systems across a wide array of real-world applications.

The model and a new paper are now available publicly for the research community.

https://ai.facebook.com/blog/imagebind-six-modalities-binding-ai/