Nvidia внедрили в свою GPU серии RTX искусственный интеллект, который может апгрейднуть видео-изображение с SDR на HDR. Функция будет доступна и тем, кто приобрел видеокарту раньше. Как отмечают владельцы, лучше всего результат заметен на хорошем HDR мониторе. Подобные технологии Nvidia также использует в играх и для улучшения качества старых или загруженных извне фото и видео.

Двигаясь тихо и не подавая вида, Apple действительно инвестирует в ИИ активнее, чем конкуренты. С 2017 года компания приобрела 21 стартап, в том числе WaveOne этой осенью. По сообщениям инсайдеров, компания работает над собственными LLM и планирует выводить на новый уровень запуск внутренних систем ИИ на мобильных устройствах.

OpenAI опять ворвались с обновлениями. Давайте по порядку:

– Многие пользователи жаловались, что GPT-4 последнее время «ленится», то есть выполняет задания нехотя или неполностью. Разработчики подправили это, но правда только для GPT-4 Turbo. Что конкретно они сделали – не пишут.

– Стали доступны эмбеддинг-модели: text-embedding-3-small и text-embedding-3-large. Большое событие, особенно для RAG-систем.

– Обновили GPT-3 Turbo и понизили цены на генерации.

– В ближайшее время пообещали раскатить GPT-4 Turbo Vision на всех пользователей. Ждем!

Искусственный интеллект: справедливость или клевета?

В 1990 году в парке города Беркли произошла трагедия: во время пробежки там была убита 32-х летняя Мария Вайдхофер. Никаких следов предступления убийца не оставил. Кроме ДНК, но это полицейским не помогло: образцы не нашлись ни в одной базе данных.

В 2017 году следствие возобновилось с помощью лаборатории Parabon NanoLabs: там исследователи занимались воссозданием лиц по ДНК. Вскоре после этого воссозданный фенотип подозреваемого мужчины уже опубликовали, а еще спустя 3 года начали хотели начать гонять по базам данных фотографий.

И вот тут-то началось недовольство юристов и граждан США: какое право полицейские имеют искать людей с помощью непонятных, ничем не подтвержденных алгоритмов? Ведь так могут оказаться под следсвием невиновные случайные люди.

С одной стороны, полицейские сделали все, чтобы восстановить справедливость и найти убийцу. С другой, нарушили с десяток этических правил. Внимание, вопрос: на чьей стороне вы?

Что почитать кроме Data Secrets?

Рекомендация для тех, кому всегда всего мало, а особенно обучающих постов. Наши друзья из канала DeepSchool как раз отличный вариант, если хочется погрузится в CV и не только.

Команда из практикующих ML инженеров регулярно пишет статьи, дает практические советы по ML/DL, разбирает теорию и пишет туториалы.

Ловите подборку из наших любимых статей с канала ребят:

— Что такое attention?
— Виды сверток
— Основы RL
— Ликбез по архитектурам (раз два три четыре)
— История YOLO (раз два три четыре)

Подпишись, чтобы не потерять: @deep_school

Когда добавил 10 эпох и скор улучшился на 0.01

Hugging Face и Google Cloud будут сотрудничать

Это означает, что теперь во всех сервисах Hugging Face разработчикам будут доступны возможности Google Cloud, GPU в том числе. В общем, любимая платформа станет еще круче.

А для Google это еще один большой шаг к статусу лидера индустрии. Такой же, как, например, покупка Kaggle. К слову, Hugging Face оценивают сейчас в $4.5 млрд.

Коллеги, мы или не мы?

Как набить руку для первой работы в ML?

Машинное обучение – это про решение проблем и задач. Вы можете прочитать книгу или посмотреть видео, но то, что действительно важно – это практика. И тут нам повезло. У нас есть Kaggle, неповторимая платформа, идеальная для того, чтобы применить знания на практике. Кроме этого, прогресс на Kaggle – большой показатель для работодателя.

Как начать работать с Kaggle?

Если вы уже имеете представление о том, что такое Kaggle и как с ним работать, но не ныряли глубоко, то лучше начать со старых соревнований. Там уже есть решения других участников, обсуждения и готовые пайплайны. Можно смотреть -> делать похожим образом -> сравнивать.

А если совсем новичок?

Тогда советуем книгу «Developing Kaggle Notebooks» от Габриеля Преда и прилагающийся к ней репозиторий кода. В ней объяснено каждое действие, каждая строка кода. Точно не запутаетесь. И кстати, в ней есть даже главы про генеративки. А еще, обязательно ознакомьтесь с руководствами от самого Kaggle – там огромное количество бесплатных полезных курсов.

Желаем успехов, и не забудьте поделиться своими достижениями на Kaggle в комментариях!

На днях 2 года исполнилось InstructGPT – матери всех современных LLM. Статья про эту модель была опубликована на NeurIPS в 2022 году и стала главным предзнаменованием перехода LLM из статуса академической диковинки в реальный продукт. Неудивительно, что это была последняя статья от OpenAI, описывающая детали обучения.

3-этапный алгоритм, обрисованный в статье, до сих пор используется (с вариациями) как канон в большинстве LLM. Pre-training -> supervised finetuning -> RLHF. Вон он, рецепт счастья. Кстати, RLHF изобрели еще раньше (тоже в OpenAI). Аж в 2017 году, почти одновременно с трансформерами.

А еще эта статья – эталон презентации своего исследования. Ничего лишнего, кристально описанные 3 этапа обучения, подсветка важных деталей. Мёд 🍯

Ну вы поняли – это маст-рид, советуем!

Никто: …
Моя модель: …
Я после каждого батча: