Метрики рекомендательных систем: Метрики на основе ранжирования

Если у нас есть алгоритм генерации кандидатов, который возвращает ранжированный порядок элементов, и элементы ниже в списке с меньшей вероятностью будут использоваться или видны, то следует учитывать метрики на основе ранжирования.

0 • 1 • 2

Вот так, используя Stable Diffusion, можно реконструировать изображения из данных фМРТ мозга. Верхний ряд — картинки, на которые смотрит человек, нижний — то, что генерирует SD по активности его зрительной коры.

Модель учили на Natural Scenes Dataset, где собраны сканы мозга испытуемых, отсмотревших тысячи изображений. Нюанс в том, что у каждой картинки есть текстовая аннотация, нейросеть ее тоже учитывает. Это и дает впечатляющий результат.

High-resolution image reconstruction with latent diffusion models from human brain activity | bioRxiv (2022)