🤝 Результаты эксперимента «AI Art Turing Test»

В блоге Astral Codex Ten недавно опубликовали результаты эксперимента «AI Art Turing Test». Участникам предлагалось отличить произведения искусства, созданные человеком, от изображений, сгенерированных искусственным интеллектом

Вот некоторые цифры из результатов:

🤝 Средняя точность ответов участников составила примерно 60%
🤝 Только около 5% участников смогли правильно идентифицировать более 75% изображений.
🤝 Примерно 25% участников показали точность ниже 50%
🤝 Некоторые изображения вводили в заблуждение особенно часто: одно из AI generated изображений было идентифицировано как человеческое более чем в 70% случаев.

Подробнее об эксперименте и его выводах можно узнать в оригинальной статье: How Did You Do On The AI Art Turing Test?

@notedatascience

📸 Paragraphica: context-to-image camera

Недавно наткнулся на один интересный арт-проект. Paragraphica — это камера, которая использует данные о местоположении и другие показатели для генерации "фото" места и момента. Вот ключевые моменты:

🖍️Принцип работы: камера анализирует данные о местоположении — адрес, погоду, время суток и близлежащие объекты. На основе этих данных она генерирует текстовое описание текущего места.

🖍️Технология: с помощью AI image synthesis, текстовое описание преобразуется в визуальное изображение. Это не обычное фото, а визуализация данных, отражающая сущность момента и место, в котором вы находитесь.

🖍️ Оборудование: Raspberry Pi 4, 15-дюймовый сенсорный экран, 3D-печатный корпус, индивидуальная электроника.

🖍️Программное обеспечение: Noodl, Python, API Stable Diffusion.

Получился супер любопытный проект. По ссылке можно ознакомиться с подробной статьей в картинках с производства, схемах и других деталях

@notedatascience

🧿 Live: Introduction to Operator & Agents

Только что началась трансляция на YouTube канале OpenAI про фичу оператора.

Трансляция: https://www.youtube.com/watch?v=CSE77wAdDLg

Статья: https://openai.com/index/computer-using-agent/

Reddit: https://www.reddit.com/r/singularity/comments/1i88v45/introduction_to_operator_agents/

@notedatascience

⌨️ Change of plans: OpenAI edition

Альтман написал, что o3 и o4-mini выйдут через пару недель, а GPT-5 – через несколько месяцев

И это после объявлении об их промо-кампании по раздаче подписок Plus американским и канадским студентам. Выпросили!

Стоит ли ждать релиза за день до LlamaCon, то есть 28 апреля? 😭

@notedatascience

🤖 TidyBot++: применение, статья, код

Ребята написали довольно хороший абстракт с документацией для своего проекта, можно хорошенько залипнуть на целый вечер (и собрать своего робота)

Вот они, слева направо: сайт, статья, GitHub

@notedatascience

💬 Yet another dataset?

Сегодня — честный обзор на уже захайпленный датасет.
Если вы когда-либо занимались ресерчем в рексисе, то точно сталкивались с проблемами датасетов.
(Можно вспомнить классическую статью Are We Really Making Much Progress?)

Сначала — немного боли из прошлого:
— гигантский гэп между train и test
— однотипный фидбек
— отсутствие разнообразия пользовательских паттернов

И это всё — на фоне постоянных споров в академии про то, что вообще считается хорошим датасетом.

Даже если вы соберёте SOTA-модель — она может просто не «прокраситься» на кривом сете.
Ну серьёзно, в том же MovieLens test отстоит от train на несколько лет.

И вот — датасет от Яндекс Музыки.
Огромный:
⭐ 4.78 млрд взаимодействий
⭐ 9.39 млн треков
⭐ 1 млн пользователей
⭐ и впервые — флаг is_organic, который показывает:
пришёл ли пользователь к треку сам или его привёл алгоритм

С одной стороны — это прям must-have для исследовательского пула.
Многоуровневый фидбек:
⭐ implicit (прослушивания)
⭐ explicit (лайки, дизлайки, отмены)

Даже эмбеддинги спектрограмм есть.

А ещё — продуманный split:
⭐ leave-one-last
⭐ temporal global
(приложу картинку в комментах — очень в тему для продовой оценки)

По сравнению с Netflix, Steam и прочими — это реально большой и комплексный датасет.

Я бы еще упомянул о бенчмарках и красивом коде куда на мой взгляд легко интегрировать свои решения.

Один момент, о котором почти никто не говорит — это домен.

Яндекс Музыка — это, как и TikTok, продукт с ярко выраженными короткими и длинными предпочтениями.
Здесь трансформеры можно не просто тестировать — здесь они раскрываются.

Но. Доверяй, но проверяй.
👀 Насколько честно размечена органика?
👀 Подходит ли датасет для cold-start задач?
👀 Для многих экспериментов вокруг LLM, мне бы хотелось увидеть больше фичей о пользователях, да и в целом фичей. (btw я понимаю, из-за чего их не включают)

Спасибо ребятам из Яндекса за такой летний подгон.
Реально мощный вклад в сообщество, действительно мало компаний могут себе это позволить.

➡️ Hugging Face и arxiv

💰 LLM против рынка крипты: nof1.ai

На сайте nof1.ai запустили эксперимент Alpha Arena – LLM торгуют криптой за настоящие деньги. Каждой модели выдали по $10.000 и одинаковый промпт с техническими индикаторами, без доступа к новостям

Список участников: GPT-5, Claude 4.5 Sonnet, Grok 4, Gemini 2.5 Pro, DeepSeek V3.1, Qwen 3 Max

Сейчас лидирует Qwen 3 Max с доходностью +14% и капиталом $11.4k, следом DeepSeek Chat v3.1 с +10%. Grok 4 и Claude Sonnet 4.5 уже в минусе на ~15-17%, Gemini 2.5 Pro просел почти на -56%, а GPT-5 – абсолютный аутсайдер с -69% от стартового депозита.

Ирония в том, что авторы называют рынки ultimate test of intelligence, но по факту тестируют скорее устойчивость к рандому и комиссиям, а долгое время выигрывала модель, которая вообще не трейдила

Графики, метрики, сделки и чат: nof1.ai

@notedatascience

🤖 GPT-5.1: что завезли в ChatGPT

OpenAI выкатывает обновление линейки GPT-5 – теперь это GPT-5.1, с упором на более живое общение и нормальные настройки тона. Внутри две ветки: Instant и Thinking

GPT-5.1 Instant

👀 По-умолчанию стала теплее и разговорнее

👀 Лучше держит инструкции: если попросить «отвечать шестью словами», действительно продолжит в этом формате, а не сорвется через пару сообщений

👀 Появился adaptive reasoning – модель сама решает, когда «подумать подольше» над сложным вопросом. За счёт этого подтянули математику и кодинг на задачах уровня AIME 2025 и Codeforces

GPT-5.1 Thinking

👀 Точнее дозирует время размышления: на простых запросах отвечает заметно быстрее, на сложных – дольше и глубже. В выборке реальных задач самые быстрые ответы стали примерно в 2 раза быстрее, а самые долгие – в 2 раза медленнее, чем у GPT-5 Thinking

👀 Ответы чище: меньше жаргона и непоясненных терминов, материал легче читать, особенно когда нужно объяснять техничку или сложные рабочие кейсы. Тон по умолчанию тоже сделали более эмпатичным

Персонализация

В настройках ChatGPT обновили личности. Остались Default/Friendly/Efficient, добавились Professional, Candid и Quirky, плюс старые Nerdy и Cynical

Теперь можно отдельно крутить, насколько ответы будут краткими/теплыми и как часто модель будет сыпать эмодзи. ChatGPT умеет сам предлагать обновить эти настройки, если вы регулярно просите другой тон прямо в диалоге. Все эти параметры действуют для любых моделей

Успел немного потыкать – нравится adaptive reasoning, но сильно не нравится чрезмерная игривость и шутливость без каких-либо изменений в персонализации с моей стороны. А вам как?

@notedatascience