Зарелизили DINOv2

Это трансформер для картинок, который натренирован абсолютно без лейблов. Что там происходит: в картинках закрашивают случайный патч черным и просят сеть предсказать, что там было. DINOv2 натренировали на огромном сбалансированном датасете и выложили код и веса в открытый доступ.

Теперь, когда решаете свою задачу, лучше начинать не с весов ImageNet, а с весов DINOv2: они более универсальные и лучше подходят под новые задачи. Так же авторы показали, что фичи DINOv2 лучше чем фичи OpenCLIP, который тренировался соотносить размеченные пары картинок и их текстовых описаний.

Блог | Код | Демо

😻 #news #NN

Когда не нужно заполнять пропуски в данных?

Есть много способов заполнять пропуски в данных: KNN, нули, медианы. Но не всегда это может быть нужно. Вот почему:

1. Современные градиентные бустинги (LightGBM, CatBoost, XGBoost) умеют работать с пропусками из коробки. Их просто не нужно заполнять - скармливаете модели данные как есть.

2. Очень популярная библиотека оценки моделей - SHAP - показывает пропуски отдельным цветом (серым), что позволяет более осмысленно их интерпретировать.

😻 #train

DeepFloyd IF - новая open-source модель text-2-image, использующая трехуровневую диффузионную архитектуру и T5 encode. Модель превосходит Imagen от Google в качестве генерации и имеет лучший FID. Доступна открытая имплементация, веса и детали архитектуры. DeepFloyd IF является лучшей Text-to-Image моделью на сегодняшний день.

👩‍💻 GitHub | 🤗 HuggingFace

😻 #NN #news

Hugging Face выпустила HuggingChat — конкурента ChatGPT с открытыми исходниками

Интерфейс HuggingChat похож на интерфейс ChatGPT. А сам чат-бот выполняет схожие задачи с теми, которые «умеет» ChatGPT.

Правда, в основе HuggingChat лежит модель OpenAssistant на 30 млрд параметров. В то время как размер ChatGPT оценивают в 175 млрд параметров. Пока алгоритм справляется чуть хуже ChatGPT и иногда лагает.

😻 #NN #news

Не убежит?

😻 #memes

OpenAI вернула доступ к сервису ChatGPT для пользователей в Италии

Компания сообщила, что внесла изменения, в соответствии с требованиями итальянского регулятора, выдвинутыми им в конце марта. Теперь пользователи веб-версии сервиса, которые подключаются к ChatGPT с итальянского IP-адреса получают уведомление, что пользователи должны подтвердить, что им исполнилось 18 лет или более или им 13 или более лет, а они действуют с согласия родителя или опекуна.

😻 #news

Мы тут нашли подробный гайд от Meta AI по self-supervised learning

Это даже не просто гайд, а целый cookbook. В ней можно найти и определения, и историю SSL, и обзоры основных подходов, и всякие инсайдерские трюки по обучению.

Сами Meta в своем анонсе книги назвали SSL "темной материей интеллекта", и "ключевых ингридиентом недавних прорывов".

Сама книга: The self-supervised learning cookbook

😻 #advice #NN