На хабре вышла статья про мой проект "Атаки на мультимодальные модели", который я делал в рамках ИМШ (Инженерно-математическая школа НИУ ВШЭ и VK). Основной фокус проекта был на переносимости adversarial атак с визуальных энкодеров на VLM и Video-VLM, в рамках исследования получилось добиться неплохих результатов по переносимости атак.

Про саму ИМШ - совместная школа VK и НИУ ВШЭ на ~6-9 месяцев, где вы делаете определенный проект самостоятельно или в команде под руководством ментора. Проекты интересные и достаточно разнообразные, вообще проекты далеко не только по ИИ, как минимум есть проекты по разработке. Набор происходит в начале учебного года, для поступления необходимо пройти отбор - подать заявку, выполнить небольшое тестовое задание и пройти собеседование.

ИМШ сайт ВШЭ
ИМШ сайт VK

Авито и Факультет компьютерных наук ВШЭ запустили новую магистерскую программу «Машинное обучение в цифровом продукте». Фокус на стык между машинным обучением и бизнесом.

Внутри:
- Обязательная база: Python, алгоритмы, математическая статистика, MLOps, NLP, распределенные вычисления и GPU.
- Предметы по выбору: компьютерное зрение, дизайн аукционов, рекомендательные системы, LLM и другие.

Также обещают научить проектировать сложные системы на реальных кейсах Авито.

Для поступления нужно знание Python, линейной алгебры и математической статистики.

Мест немного: всего 35. 30 из них — бюджет от Авито, причём это финансирование не накладывает обязательств на студентов, очень круто.

Прием документов до 8 августа.

"Задачи позже сделаю, сейчас занят чтением статьи"

Тем временем статья:

TLDR если кошка медленно моргает рядом с тобой значит она тебя любит чувствует себя в безопасности

Колокол в меме на самом деле не похож на нормальное распределение

Когда лид говорит опасаться вайбкодеров которые пушат говнокод в мастер

Альтернативно по мотивам свежего скандала в русском IT: когда руководитель говорит опасаться программистов у которых несколько работ

Из всех сегодняшних релизов думаю самый интересный у Deepmind: https://deepmind.google/discover/blog/genie-3-a-new-frontier-for-world-models/

Интерактивные миры по промпту, 24 fps 720p, мир не расклеивается несколько минут. Вайбгеймдизайнинг не за горами!

Промпт:

A vibrant 3D style, an adorable, fluffy creature bounding across a vibrant rainbow bridge in a fantastical landscape. The creature is small and compact, with fur that mimics the warm hues of a sunrise – oranges, yellows, and pinks blending seamlessly together. Its most striking feature is a pair of large, perked ears, shaped like those of a German Shepherd, adding a touch of playful contrast to its otherwise rounded form. As it runs on four short legs across the rainbow, its fur appears to ripple and flow, adding to its sense of dynamism and energy. The rainbow bridge arches gracefully through a whimsical landscape, perhaps filled with floating islands, glowing flora, and swirling clouds. The lighting is bright and cheerful, casting a warm glow on the creature and its surroundings. The overall impression is one of joy, wonder, and boundless energy, capturing the creature's playful spirit and the magical nature of the world it inhabits. This image evokes a sense of childlike whimsy and invites the viewer to imagine the adventures that await this charming creature in its fantastical realm

.

Инсайдерская история на стыке мира AI рисерча и индустриального ML.

AI Safety организация тестировала идею: можно ли привлечь консалтинговые компании к исследованиям? Можно ли нанимать консультантов имплементировать статьи, делать бенчмарки и новые методы?

Начали интервьюировать консультантов больших и маленьких, чтобы оценить, какой вообще у них пул ML инженеров.

Одна из компаний-кандидатов это топ-5 менеджмент консалтинг в мире.

И там оказалась такая воронка.

Штат компании: X тысяч человек.
Сколько компания заявила у неё ML специалистов: 500.
Сколько по факту насчитали людей способных делать ML инжиниринг: 20.

Далее этим консультантам предложили сделать тестовое задание и те назвали ценник в несколько тысяч долларов в час. Нормальный такой рейт.

Что не удивительно: им буквально всех нормальных MLE в компании придется задействовать!

В общем можно сделать много разных выводов. Например, что инженеров способных делать инжиниринг около ML рисерча очень мало. Или что бизнесу их много не нужно. Или что не нужно иметь много ML инженеров, чтобы брать тысячи долларов в час за ML услуги. Предлагайте свои

Pro tip: ближайший час в тиндере пониженная конкуренция за женщин так как парни смотрят стрим GPT-5

Pro tip 2: ближайший час в Grindr нет аудитории

Будь причиной по которой человек решит почистить подписки в телеграме

Оказывается у Univercity of Amsterdam есть отличный набор материалов к курсам по Deep Learning

https://uvadlc-notebooks.readthedocs.io/en/latest/index.html

Например, посмотрите какой красивый туториал по реализации SimCLR: https://uvadlc-notebooks.readthedocs.io/en/latest/tutorial_notebooks/tutorial17/SimCLR.html

Куча каких-то тем о которых очень сложно найти нормальные материалы, например про Tensor Parallelism для обучения и инференса одной большой модели на нескольких GPU.

Лекции тоже частично доступны за прошлые годы, например 2023: https://uvadlc.github.io/lectures-nov2023.html#.

AI индустрия сделала одну вещь хорошо: обманула продактов и нагрузила их работой. Теперь они кодят вместо джунов, оплачивают подписки трех ИИ тулов, радуются и считают, что это они всех перехитрили.

Я не был обманут, просто надоело ждать. И теперь прототип я приношу сам )

Case in point

# Искусственный интеллект не дает преимуществ

"Тебя заменит не ИИ, а программист, умеющий пользоваться ИИ"

Слышали такое?

Это верно только в недалекой перспективе и только в самых неприятных нишах. Далее примеры будут про программистов, но все применимо к кому угодно.

Компания действительно может заменить одного ничем не выделяющегося программиста на другого если второй в добавок умеет промптить Курсор. Ведь второй делает чуть больше работы за ту же зарплату. Это ненадолго: эффект пропадет как только все будут пользоваться Курсором на сносном уровне.

При наличии серьёзных конкурентных преимуществ все работает принципиально по-другому. Например, недавно я познакомился с программистом ядра базы данных MariaDB. Этого человека никогда не заменят случайным парнем который хорошо промптит LLM.

Кроме того его не заменят другим разработчиком ядер баз данных который лучше пользуется ИИ тулами. В такой нише нет отбора по принципу кто больше строк кода напишет в единицу времени. Никто не задается вопросом "как бы нам заменить одного из трех ключевых разработчиков?"

Проверьте себя.

Вы делаете платежную систему, кого бы вы скорее наняли:
1. Опытного разработчика платежных систем, знающего все подводные камни.
2. Парня с крутым собственным промптом в Курсоре.

Вы делаете интернет магазин и вам нужен фронтендер, кто интереснее:
1. Человек который делал фронтенды для разных интернет магазинов.
2. Человек который пользуется ИИ тулами с первых дней.

Вы делаете новый поисковик:
1. Первый кандидат написал несколько научных статей про ранжирование и работал в крупной поисковой компании.
2. Второй говорит, что кодит быстрее, потому что запускает трех агентов параллельно.

Не могу придумать случая когда использование ИИ тулов перебьет серьёзное преимущество. Если же серьезное преимущество есть, то использование ИИ тулов не играет роли. Выбирая между двумя опытными разработчиками поисковиков мне будет абсолютно все равно кто из них лучше пользуется Курсором.

В общем, с приходом ИИ тулов преимуществ ни у кого не добавилось. Наоборот, добавились вещи за которыми надо поспевать, чтобы оставаться на том же уровне.

Раньше можно было хвастаться, что ты можешь писать и бекенд, и фронтенд. Теперь так может каждый. По крайней мере на каком-то уровне. Ширина знаний немного обесценилась.

Глубина наоборот стала ценнее. Редкие знания, доменная экспертиза, репутация, лояльность и все такое.

Получается такой парадокс: для подготовки к ИИ революции лучше прорешать Демидовича, чем следить за ИИ новинками.

Понедельник