В МФТИ я закрывал курс машинного обучения, в конце которого была защита проектов. Я реализовывал нейросетевое распознование лиц на чем-то типо сиамских сетей, и первый вопрос на защите был - зачем тут нейронки, чем это лучше чем алгоритмы основаные на поиске ключевых точек лица? Тогда я очень удивился вопросу, ведь "нейронки это круто, за ними будущее!".
По итогу этот случай забылся (даже с учетом того, что мне порезали балл из за необоснованости решения) до YML conf.

Там был доклад яндес лавки про то, как они предсказывают необходимое количество товаров для заказа в свои дарксторы, разбросанные по Москве (и не только). Перед докладом я долго обдумывал всякие сложные архитектуры для работы с последовательными данными, думал какой будет лучше. Очень хотелось услышать доклад - ведь яндекс же точно придумает что-то сложное и интересное. Уровень моего разочарования вы можете понять по картинке сверху. Как оказалось ~90% результата дало просто усреднение по последней недели, а ~98% усреднение за месяц с учетом дней недели (то есть в пн усредняем по прошлым понедельникам, итп).

Я понял, что постоянно пытаюсь усложнить задачу, при этом в сторону, которая вообще не нужна бизнесу. В этом случае, можно было бы получить намного больший рост бизнес метрик просто учтя квантование товаров (заказ коробками), канибализацию итп, однако как kaggle млщик (где соревнования происходят в формате все или ничего, твое решение может быть на 0.01% хуже, но ты уже не победитель) смотрел чисто на ML ные метрики.

Про похожую ситуацию и как с этим бороться рассказывал Антон Малцев, советую вам чекнуть)

Мы сейчас на конференции (моего самого ненавистного сервиса) - Yandex Cloud. Нахожусь в зале ML, подходите познакомится). Подробный отчет напишу позже, но пока из интересных моментов:

* Yandex GPT теперь можно будет обучать. Яндекс, так же как и openai теперь предоставляет возможность обучать текстовые модельки под свои нужды. Очень круто что с выхода модельки прошло меньше месяца, а такой сервис уже готов. OpenAI для этого потребовалось несколько лет (GPT-3 вышла в 2020-м)
* Все крутится вокруг Yandex GPT. Теперь есть интеграция с Speech Kit-ом для поомощи в колцентрах, построение аналитики звонков итп, будет интеграция с сервисом рассылок сообщений и другими
* Борьба с CV - моделььками решающими капчу продолжается, Yandex анонсировал огромное количество новой хорошо защищенной от автоввода капчи (видео в коментах)

* Yandex Speech kit может отвечать голосом любого человека "обучившись" за ~20 секунд записи его голоса. Разумеется это не технологический прорыв, такие модельки были уже давно, но теперь FakeVoice as a Service в яндекс облаке даст огромный буст к возможностям телефонным мошенников итп

Прошу прощения, снова про Yandex cloud. Под натиском посетителей конфы, сайт на котором должно быть написано что у облака аптайм 100% - лёг

Сейчас видел как тестировали ADAS (недоавтопилот помощник водителю) - это просто нечто невероятное 🤯🤯🤯- если это будет серийно во всех машинах - я возможно даже перестану бояться ездить на такси и переходить улицу без светофоров. Она Сама реагирует на препятствия, выбегающих пешеходов, резкие перестроения, может очень умно подстраивать подвеску на поворотах.

Жалко что хайп на беспилотные машины сменился хайпом на сети просто выплевывающие буквы.....

Пару дней недель назад увидел просто бомбический пост от Бориса Цейтлина - “LLM это статистические попугаи или все-таки нет.”

Что бы это проверить, на вход к моделям подавали названия различных мест нашей планеты (города, достопремечательности итп). Оказалось что, пониженные через PCA до двумера эмбединги этих событий образуют карту земли - события произошедшие в европе находятся в компактном кластере, чуть "южнее" кластер африки, сборку северная и южная америка, а в другую сторону азия и в далеке океания - прям настоящая карта! (лучше чекните картинку в посте)

Разумеется тут есть небольшое читерство - это все верно с точностью до линейного преобразования - (их проще представлять как кобинация двух поворотов и растяжения) - но все равно)

Я решил посмотреть какую информацию содержат в себе эмбединги кода моделей - выкачал задачек по некоторым с архива codeforces, а так же их решения. Проделав аналогичные действия (но с моделью попроще - codebert), я обнаружил, что:


* Задачи их их решения разделились на 2 больших неоднородных кластера - ну это вроде очевидно
* Для задач внутри одной темы, вектор идущий от эмбединга решения к эмбедингу кода - плюс минус постоянный, а для задач разных тем он отличается на небольшой поворот. Получается что внутри модельки существует "вектор решения", прибавление которого к описанию задачи - дает его решение

Ссылка на исходную статью

Кстати супер интересный кейс - в нем gpt3.5 показывает себя лучше на русском, чем на английском. А почему - домашнее задание

Отличный сервис который сделали ML-щики и урбанисты что бы показать как бы выглядела ваша улица, находись она в Нидерландах. Просто вводите адрес (можно на русском) и ИИ сам строит изображение. Например на фото выше всем известная физтехам Первомайская - улица напротив МФТИ.

Если этот пост наберет хотябы одну эмодзи с варламовым <или Гершманым или кем то еще> (или стикер в коменты) - сделаю подробный пост как это работает и как они обучали свою модельку.

Прост оставлю это здесь

Школа анализа данных (ШАД) и ФПМИ МФТИ приглашают вас принять участие в уникальном интенсиве, посвященном разработке и изучению GPT!

🚀 Что вас ждет на этом интенсиве? Вы погрузитесь в мир генеративных моделей, узнаете все о YandexGPT, его предобучении и alignment, а также о вызовах, связанных с сбором гигантских датасетов. Будет много практической работы и возможностей задать вопросы экспертам из команды YandexGPT.

🧠 Этот курс идеально подходит для тех, кто уже имеет базовые знания в области машинного обучения и хочет углубить свои знания в ML.

📅 Интенсив пройдет онлайн с 27 ноября по 1 декабря.

✅ Регистрация открыта до 23 ноября. Тык <-----


⚡А еще вы бесплатно получите доступ к датасфере - это как Google colab - но есть возможность выбрать значительно более мощные конфигурации с большим числом A100

Краткий пересказыватель встречи, встроенный в зум работает довольно забавно на русском языке))

Если этот пост наберет 5 реакций генерю более лакшери лагман (см коментарии)

Сори за еще одно уведомление, необходимое число реакций есть, более лакшери лагман в коментариях, там же условие на следующую картинку

Как то идея с лагманом очень зашла, мы собирали необходимое число реакции быстрее чем дифузия успевала генерировать картинки - что бы не засоряь этот канал - буду выкладывать посты в отдельном треде - подписывайтесь что бы не потерять (больше постов про лагманы в этом канале не будет, он продолжит быть серьезным))))

https://news.1rj.ru/str/lagmanlux/7

Кстати фан факт, по данным hh.ru средняя зарплата курьера в РФ больше чем зп айтишника, и вторая продолжает падать