Очередной скандал с данными для обучения

Что объединяет Mr.Beast, The Wall Street Journal и Гарвард? У них всех «украли» видео для обучения моделек. К такому выводу пришли журналисты из Wired и Proof News.

А дело вот в чем: есть такой открытый датасет под названием The Pile. К нему и раньше были вопросы из-за большого количества мата, религиозных и расовых оскорблений и пр. А сейчас выяснилось, что он еще и содержит субтитры более 170к роликов с 48 тысяч YouTube каналов. Это, естественно, полное нарушение правил платформы.

Однако обвиняют во всем все равно корпорации: Apple, Nvidia, Anthropic и др. Те даже не пытались скрыть, что используют Pile, и явно ссылались на него в статьях, ведь это (еще раз) открытый датасет.

Anthropic, кстати, журналистам так и сказали, мол: «Ну и предъявляйте создателям Pile, мы то что нарушили?». Остальные компании и вовсе воздержались от комментариев.

Ну и вообще, использование субтитров с YouTube для обучения уже ни для кого не новость. Еще давно выяснилось, что OpenAI и Google транскрибируют видео и даже разрабатывают для этого специальные инструменты (почитайте этот наш пост).

А Proof News, кстати, даже инструмент выкатили для проверки того, не используют ли ваш канал для ИИ. Проверьте, вдруг повезло 😂

⚪️ Японские СМИ выражают опасения по поводу LLM. Они говорят, что это «зайцы» в мире СМИ, которые используют контент с сайтов и не генерируют значительного ответного трафика.

Особенно бизнес-моделям сайтов, по их мнению, вредят Perplexity-подобные системы, однако они хотя бы указывают источник. Журналистам удалось доказать, что GPT, например, на некоторые вопросы отвечает чуть ли не дословными отрывками из новостных статей (конечно, без ссылок на источник).

Согласны, обидно получается

⚡️ Llama 3 на 400B слили на день раньше

Все, как всегда, благодаря 4chan. Правда весит все чудо 820GB 😝

В интернете уже есть ссылки на торенты. Пару часов назад модель также была замечена на HF под именем miqu2, но сейчас оттуда ее уже почистили.

⚡️ Breaking! Llama 3.1 405B будет новой SOTA

Как вы помните, вчера модель слили на 4chan. А ночью в сеть просочились и бенчмарки. Выглядит очень сочно, на многих тестах моделька обгоняет даже взрослую GPT-4o.

Вместе с llama 3.1 на 405В параметров выходят 3.1 на 70В и на 8В. Посмотрите в таблице, какой у них мощный прирост относительно обычных троек на то же количество параметров. Есть предположение, что это получилось потому что это не дотренированные или дотюненные с нуля модели, а дестилляции моделей покрупнее.

То есть ученые не сразу обучили модель с 70В или 8В параметрами, а обучили модель с Х параметрами, где Х>>8/70В, а потом провели дистилляцию. Очень интересный подход.

Кажется, у нас наконец будет опенсорс уровня GPT-4o 🥳

🔥 Такое любим: обновление Google Colab с интерактивными таблицами

В Colab наконец-то добавили функцию InteractiveSheet, с помощью которой можно создавать и редактировать таблицы прямо в ноутбуке.

Идеально для анализа или просто экспорта результатов.

А вот это круто: Яндекс открывает аспирантуру по искусственному интеллекту

В стиле ИТ-компании все будет практико-ориентировано. Чтобы наука и продукт жили дружно, у студентов будут одновременно руководители из вузов и самого Яндекса. А еще каждый аспирант будет получать… гранты по 800к в год. Кто там говорил про бедных студентов? 🤑

Первый набор начнет учиться этой осенью. Среди партнеров уже НИУ ВШЭ и ИТМО, и компания обещает кратно увеличить их число. Из Яндекса подключатся лиды из беспилотных авто и Yandex Cloud. Задачи будут соответствующие: придумывать способы адаптации YandexGPT, улучшать LLM, повышать безопасность автономного транспорта и другой экшен.

За 3-4 года будет даже возможность скататься на стажировки в зарубежные лабы и университеты + поучаствовать в А* конференциях.

В общем, респект 🫡