Количество неуникальных подписчиков русскоязычных каналов в Telegram за 2022 год выросло вдвое — с 1 млрд до 2 млрд, показало проведённое для Forbes исследование.

Выросло и общее количество каналов. Например, за 2022 год количество каналов в категории «Искусство» увеличилось более чем вдвое, категории «Новости и СМИ», «Блоги», «Медицина», «Природа», «Игры», «Мода и красота», «Право» — более чем в полтора раза.

Сильнее всего по абсолютному числу подписчиков за 2022 год приросли каналы главы Чеченской республики Рамзана Кадырова (плюс 3 млн), издания «РИА Новости» (плюс 2,6 млн), а также новостной канал Readovka (плюс 1,6 млн).

Подробности и больше данных — на сайте.

Нашла еще один интересный подход к сегментации изображений: с помощью разбиения графа self-attention карты трансформера.

В чем идея:
Берем vision transformer, обученный на картинках в self-supervised режиме. Т.е. без какой-либо обучающей разметки. Смотрим на карты его self-attention. Оказывается, что на этих картах становтся подсвечены контуры объектов (см. 1 рис). Причем такое наблюдается только для трансформеров, обученных в self-supervised режиме: ни для supervised трансформеров, ни для CNN такое не работает.

Одними из первых это свойство заметили ребята из FAIR (статья). Они пошли дальше: взяли эти self-attention карты, обучили на них KNN и получили качество 78.3% top-1 на ImageNet.

Но вернемся к сегментации. Другие ребята придумали, как сделать сегментацию на основе этого свойства. Идея простая: берем элементы self-attention карты трансформера и строим на них граф. Ребро между двумя векторами будет равно 1, если косинусное расстояние между ними больше заданного порога, и eps, если меньше порога. На таким графе решаем задачу разбиения графа (normalized cut). Так элементы карты аттеншена, соответствующие объекту, будут отделены от элементов, соответствующих фону.
Последний шаг — применяем какой-нибудь алгоритм edge refinement (например, стандартный CRF), и получаем неплохую карту сегментации объекта на картинке.

Недостаток такого подхода — он умеет сегментировать только один объект на картинку. Поэтому ребята из FAIR (уже другие) предложили, как улучшить идею. Все просто: находим карту одного объекта. Далее накладываем на патчи self-аттэншена этого объекта маску, и снова запускаем алгоритм. И так несколько раз.
Это позволяет находить на одной картинке сразу несколько объектов (рис. 2).

Вот такая идея. Вообще, attention maps разных трансформеров часто обладают подобными свойствами, и на основе информации из них можно понимать, как "думает" моделька и решать разные downstream задачи. Интересно их исследовать)

ChatGPT не только пишет дипломы российским студентам, но и придумывает стихи, программный код, рецепты пиццы 🤯

Неужели нейросети в скором времени заменят digital-специалистов? Разбираемся в картинках.