Недавно мы с вами обсуждали MT-bench – бенчмарк, который напрямую коррелирует с результатами моделей на LMSYS Arena. Однако, как замена оценки на основе человеческих мнений от все же не идеален.

В связи с этим создатели арены решили создать что-то посвежее – и выкатили Arena Hard v.0.1. Этот бенчмарк тоже проверяет способность модели вести сознательный диалог, но делает это качественнее.

В частности, его ответы почти в три раза чаще, чем у MT-bench, мэтчатся с тем, что предпочитают люди на самом деле. Оказалось, с его помощью можно отсортировать модели гораздо точнее, и получится с приемлемой погрешностью примерно так же, как это делает человеческое голосование.

Но это не все. Создатели арены запустили конкурс на Kaggle "Chatbot Arena Human Preference Predictions". Участникам нужно создать модель, которая будет предсказывать, какой ответ из нескольких, данных разными LLM, будет предпочтен человеком.

Призовой фонд – $100тыс. Можно внести мощный вклад в оценивание LLM и неплохо заработать. Любителям RL точно стоит попробовать.

А вы что-нибудь слышали про Ангилью?

Это такой небольшой остров в Карибском море. Его площадь чуть меньше площади Новгорода, там почти нет природных ресурсов, и живет Ангилья только за счет туристов.

Точнее, так было раньше. В конце прошлого века у острова появился национальный домен .ai. Понимаете, куда мы клоним? Начиная с 2009 года в зоне Ангильи появились Stability.ai, X.ai Илона Маска, Character.ai и многие другие стартапы и компании в области ИИ. И спрос продолжает расти.

По данным управляющего доменами острова, в 2017 Ангилья получила от регистрации сайтов миллион долларов, а в 2023 году, по предварительной оценке, доходы составили $25–30 млн.

Повезло, повезло

Миниатюра: компании добавляют ИИ в свои продукты

В соцсетях завирусился ролик, в котором девушка шутит про то, что усердно работает для того, чтобы ее муж мог позволить себе терять по $30тыс в месяц на своем AI-стартапе

Однако шутка оказалась не просто шуткой.

В комментариях и Твиттере женщины массово пишут, что ИИ-стартапер – это муж мечты, и они действительно готовы брать на себя все домашние обязанности и плюсом к этому спонсировать партнера, если тот занимается ИИ-стартапом.

Воу-воу, коллаб века! Stack Overflow и OpenAI объявили о сотрудничестве. Что будет:

1) В ответах ChatGPT на вопросы, связанные с программированием, будут появляться ссылки на обсуждения с форума.

2) OpenAI поможет Stack Overflow с разработкой ИИ-ассистента OverflowAI.

3) Ну и, конечно, данные. В официальном аннонсе это, мягко говоря, не подчеркивается, но OpenAI будут использовать данные с сайта для обучения своих моделей (как будто раньше они этого не делали).

Кстати, новость понравилась далеко не всем. В соцсетях проскальзывают посты с призывами удалять свой код со Stack Overflow.

Что тут скажешь, любишь сгружать таски ChatGPT, люби и код сеточке жертвовать.

Я и документация PyTorch

Интересный факт: последняя версия GPT-4 была впервые показана на ужине в доме Билла Гейтса, который уже 4 года официально не имеет отношения к Microsoft.

В 2020 году миллиардер покинул совет директоров компании "для того, чтобы сфокусироваться на филантропии" (на самом деле из-за внебрачной связи с сотрудницей). Однако он до сих пор:

– консультирует руководителей
– нанимает менеджеров
– лично общается с Альтманом

Именно он, а не Наделла, сыграл решающую роль в запуске ИИ-поисковика Bing. Возможно, теперь он будет курировать создание MAI-1 – новой крупнейшей LLM от Microsoft с 500B параметров.

Пока о нейросети известно немного. Возможно, корпорация раскроет карты через две недели на конференции Build.

Для тех, кто до сих пор не разобрался, как работает обратное распространение ошибки:

Ты должен был бороться со злом, а не примкнуть к нему!

Пользователи Интернетов после вчерашней новости о сотрудничестве Stack Overflow с OpenAI начали припоминать, что раньше политика форума в отношении AI была другой.

В частности, в 2022 году они полностью забанили ChatGPT на платформе как «очень вредный инструмент для решения вопросов по программированию».

После этого утекло много воды. ChatGPT бустанулся, а трафик Stack Overflow на фоне этого упал на 50%…

Так может быть, сделка форума с OpenAI – это не наглая продажа данных, за которую сейчас так ругают Overflow, а вынужденное хватание за соломинку?