Точность vs кол-во параметров

Недавно paperswithcode.com добавили кол-во параметров в свои графики, и один реддитор запилил мета-анализ - отношение top 1 accuracy на imagenet к кол-ву параметров. Модели из одного года объединены одной линией.

Любопытный (но ожидаемый) тренд: более новые модели показывают лучший результат с тем же количеством параметров. Все-таки, емкость - не единственный критерий успеха.

Обожаю 1С (нет)

Огромный массив данных, индекс из слов и фраз, встречающихся в научных и исследовательских публикациях на английском языке выложен в свободный доступ. В таблице n-грамм 355 миллиардов записей, всего проиндексировано более ста миллионов статей. Я не знаю где они взяли документы для индексации (вероятнее всего это Sci-Hub, да продлится онлайн его вечно), но это очень большое дело. С таким индексом можно не только банально аналитикой заниматься, но и пытаться строить штуки похожие на GPT-3 с разной степенью полезности. Представьте, систему которая за вас дописывает научные статьи. Или доливает воды по вкусу 🙂 https://archive.org/details/GeneralIndex

В середине октября «Яндекс» в сотрудничестве с изданием N+1 запустили онлайн-журнал «Техно». Каждый выпуск журнала будет посвящен одной из технологий «Яндекса». Первый номер о языковых моделях с интерактивными дополнениями и тестами уже доступен всем желающим.

«Яндекс» в первом выпуске онлайн-журнала «Техно» открыл всем желающим доступ к общению с ИИ, генеративная модель которого обучена выдавать тексты «в стиле Хабра». Разработанная командой «Яндекса» «болтливая» языковая модель из семейства YaLM (Yet another Language Model), вдохновленная GPT-3 от компании Open AI, очень любит говорить про нейросети или может рассказать, как переустановить винду.

• Новость на Habr
• Онлайн-Журнал Техно
• Попробовать/пообщаться

Тем временем кстати NVIDIA релизнули код для GANcraft

Drawdata

Для тех кто преподаёт. Это небольшое приложение на питоне позволяет рисовать датасеты в блокноте jupyter. Мне кажется, что это может быть очень полезно при обучении алгоритмам машинного обучения.

🖥 Код

#teaching #datasets

"Sky City by Greg Rutkowski" VQGAN+CLIP
С помощью этого колаба

"an isometric 8bit grass field with sheep by greg rutkowski trending on artstation #pixelart" VQGAN+CLIP

Новая темная лошадка домашнего диплернинга - Nvidia Quadro P6000
Думаю, ни для кого не секрет, что диплернеры активно интересуются б\у видеокартами предыдущих поколений.
Например, старая добрая tesla M40 24gb на ebay может стоить всего 20000 рублей. Для сравнения, свежий вариант с 24гб - это RTX 3090, который можно купить разве что в ипотеку.

Зачем столько памяти? Для стайлтрансфера и прочих этих ваших дипфейков в высоком разрешении.

У M40 две основные проблемы - пассивное охлаждение (либо покупать серверные кулеры, либо что-то колхозить своими руками), и низкая скорость - в среднем 6 tflops fp32, и полный стоп-кран в fp16.
Quadro P6000 (не путать с M6000) в два раза быстрее в fp32 (но так же бесполезна в fp16), имеет активное охлаждение и видеовыход, поэтому ее можно воткнуть как основную карту. Стоит в районе 65000р.

Это, само собой, не призыв к покупке данных девайсов, так как надо в любом случае изучать все подводные камни, совместимость дров и прочее, но это явный кандидат на рассмотрение.

Теперь вместо FAANG, можно говорит MANGA. The geeks will inherit the Earth, indeed

Источник

Да

Существующие ИИ ещё не готовы к работе в восточной Европе.