Уроки истории (1)

Четыре века назад Московское царство столкнулось с тяжелейшим кризисом, вошедшим в историю под названием "Смутное время".

НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН, РАСПРОСТРАНЕН И (ИЛИ) НАПРАВЛЕН ИНОСТРАННЫМ АГЕНТОМ СОЛОВЬЕМ ВАЛЕРИЕМ ДМИТРИЕВИЧЕМ. 18+

Одной из ключевых причин национальной катастрофы стала недальновидная политика Ивана Грозного, измучившего страну беспрецедентным даже по меркам Средних веков внутренним террором и подорвавшего ее потенциал бессмысленной многолетней Ливонской войной. Нанесенный ущерб стал миной замедленного действия, которая взорвалась 20 лет спустя под воздействием других объективных и субъективных факторов, поставив под вопрос само существование единого государства.

Одной из примечательных особенностей Смуты стал феномен самозванчества - в частности, три разных человека объявляли себя чудом выжившим царевичем Дмитрием и заявляли претензии на престол. При этом первый и второй Лжедмитрии были не лишены политических и полководческих талантов, добивались кратковременного успеха и вошли в национальную историю. Лжедмитрий I в течение года даже был единоличным главой государства и успел начать реформы, которые часть современных исследователей считает достойными внимания и перспективными. Однако закрепиться в новом статусе на длительный срок не удалось ни одному из самозванцев: Лжедмитрий I был казнен в результате восстания в столице. Его последователя, "Тушинского вора", несколько лет спустя убили собственные соратники.

Весьма интересна роль, которую сыграли в происходивших событиях ближайшие родственники "чудом воскресшего Дмитрия". Последняя жена Ивана Грозного Мария Фёдоровна была выведена Лжедмитрием I из опалы и признала в нем своего сына, официально погибшего в 1591 году. Однако год спустя она с той же уверенностью отреклась от самозванца, а позже торжественно встретила в Москве мощи святого царевича Дмитрия, привезенные из Углича.

Жена Лжедмитрия I, Марина Мнишек, успевшая побыть русской царицей в течение недели, пережила убийство мужа, а позже не только тайно обвенчалась с "Тушинским вором", но и родила от него ребенка. Младенец Иван Дмитриевич (прозванный недоброжелателями Иваном Воренком) даже рассматривался в 1613 году в качестве официального претендента на престол, однако уже год спустя был повешен, а его мать вскоре закончила свои дни в заточении. Таким образом, реальные и мнимые родственники самозванцев действовали в соответствии с конъюнктурными соображениями и вряд ли имели шансы изменить к лучшему печальную судьбу обоих Лжедмитриев и их наследников.

История циклична, а России, большинство лидеров которой не знают ее и принципиально не извлекают из нее уроков, это касается в особенности. Человек, возглавивший наше государство на рубеже XX - XXI веков, точно так же бездарно распорядился своим историческим шансом, растратив нефтедоллары на обогащение личных друзей, репрессии и внешнеполитические авантюры, а аналогию между СВО и Ливонской войной не провел только ленивый.

Вероятность наступления новой Смуты после его состоявшейся смерти более, чем велика, а нам остается лишь надеяться, что в условиях ускорения исторического времени всё закончится быстрее и не будет иметь таких тяжелых последствий для страны и ее жителей.

Ну а самозванцам, желающим выдать себя за ушедшего главу государства, стоит помнить о печальной судьбе их давних предшественников, которую никак не изменила временная лояльность "ближайших родственников".

#musk #selfdriving #gpt

Делать роботакси, чтобы считать на их сопроцессорах ответы ГПТ? Мне одному кажется, что это так себе идея?

Вот была же в 2000-х идея облачного гейминга: мощная облачная видяха отрисовывает кадры и транслирует тебе по вебу. Мне тогда казалось это тупостью из-за пингов. Но нет, в неё вложили миллиарды баксов. Ну и где это сейчас?

Насчёт роботакси, хоть туда не вложился сейчас только ленивый, я хоть убей не понимаю выгоды. Двуногие скоты вам быстро засрут, заблюют ваши новенькие Теслы, а маржи получите копейки. И так ведь уже современные мобильные приложения очень сильно уронили норму прибыли в таксобизнесе: раньше лондонские кэбы ломили поистине конские деньги за подвоз, так что когда на рынок зашёл Убер, и клиенты начали осознавать, что не обязательно переплачивать в 10 раз, это вызвало инфаркт у извозчиков. Неужели производители роботакси реально надеются отжать ещё что-то от этого пирога?

#featureselection #hpo #hpt #global #optimization #optuna #scipy

Начинаю бенчить алгоритмы глобальной оптимизации на задаче определения лучшего количества фичей в машинном обучении. Для развитых современных сред это лишь частная подзадача: одномерная однокритериальная оптимизация в целочисленном домене без допограничений.

Мне надо знать, чем лучше всего искать лучшее количество фичей, хорошо ли с этим справляются существующие библиотеки, какие для них лучше использовать настройки, и надо ли пилить своё решение.

Общий сетап: есть 8 кривых зависимости CV метрики качества от nfeatures: выдуманные, синтетические по связям, синтетические по данным и связям, с шумом (как есть) и сглаженные. Количество фичей там посчитано от 150 до 570.

Замеряю вкупе по всем 8 задачам (в среднем):
1) найденный максимум на истинный максимум
2) среднее по верхнему 25% перцентилю найденных значений на истинный максимум
3) факт нахождения истинного максимум
4) итерацию нахождения истинного максимум к общему числу попыток
5) время поиска

С Оптуной уже есть интересные результаты. Почти всё богатство настроек там в т.н. сэмплерах, я насчитал 7, от случайного до генетиков и парценовского. У некоторых настроек просто тонна. Так как большинство сэмплеров в сравнении будут model-based (smbo), у них (в Оптуне) есть параметр n_startup_trials, т.е., сколько брать случайных точек для инициализации модели. Тут интуитивно не хочется отдавать случаю слишком много ценных попыток, кажется, пусть уж лучше ищет с умом.

Для 100 повторов с n_trials 50 (n_trials - это разрешённое число оценок целевой функции) выяснилось, к примеру, что уменьшение n_startup_trials с 10 до 5 увеличивает долю нахождения истинного максимума с 66.7% до 68%. А вот дальнейшее снижение до n_startup_trials=2 уже снижает долю до 66.87%. А ведь у оптуны этот параметр по дефолту 10! Так что не полагайтесь на дефолты, тестируйте.

Ясно, что 100 повторов для каждого конфига мало, надо тысяч 10 минимум, а лучше 100. Но даже для 1 парценовского сэмплера кол-во комбинаций конфигов под сотню. Придётся, видно, писать распредёлённый бенч под Dask (

А, и уже видно, что TPE сэмплер заруливает случайный: доля найденных истинных максимумов составляет 68% против 18%. Цена принятия решения вполне оправдана: вместо 0.01 секунды тратится 0.28, что несущественно по сравнению с переобучением даже одной терабайтной модели.

UPD. С дефолтными параметрами все сэмплеры Оптуны, кроме TPE, на моем тесте не могут обогнать RandomSampler, поэтому их тонкие настройки тестить даже не буду.

#translations

Я вижу!

#competitions #watersupply

Крис Мольнар упомянул крайне интересное соревнование Water Supply Forecast Rodeo. Кто хочет поучаствовать?! Йихаа, бэйби!! )

Решил влезть в эту сореву. Подкупает несколькими вещами:

1) общественно полезная работа. всегда мечтал сделать что-то полезное для общества в масштабе. это вам не сбербанковские конкурсы, которые только для пиара и где хорошие решения организаторам неинтересны

2) дают данные. notebooks-only соревы я не люблю: организаторы получаю от участников бесплатно идеи, а большинство участников получает хрен.
тут, кажется, можно сильно прокачаться в альтернативных данных. список источников курируется и довольно велик. странно, что пока спутниковые снимки не завезли, вроде пока только табличные данные.

3) это близко к моим научным и практическим интересам: временные ряды, но только в части фичей. таргеты скорее из классики ML Нужно предсказывать по каждому из 26 источников воды суммарный водяной поток за сезон в любую дату до завершения сезона. По сути, можно провести аналогию с 26 активами на бирже, только трейдеры/кванты хотят предсказывать за период не суммы, а экстремумы ряда. Причём наверняка между "сайтами" есть связи, как и между активами.

4) данных не то чтобы супермного по объёмам, гранулярность дневная, вполне может влезть на мой рабочий комп.

5) у меня уже есть модули создания фичей для временных рядов, обучения моделек с разными препроцессингами над одними и теми же фичами с логированием в облачный mlflow, простым ансамблированием

6) как раз, возможно, получится докрутить feature selection и hyperparameters tuning и заюзать здесь. а может, и на полноценный стэкинг хватит.

7) призовой фонд в полмиллиона баксов наверняка привлечёт мировых топов в соревновательном DS, и я смогу сравнить силу своих ML решений с лидерами отрасли. пока вижу 350+ команд.

Организаторы применили какой-то хитрый ход с удалением части данных, т.к. на них будет скориться 1я часть соревы. Мне это совершенно не нравится, т.к. не построить нормальные фичи. Попробую официально предложенные фичи игнорировать, а начать с альтернативных данных. Утечки данных отбивают всё желание тратить время.

Лично мне, кстати, противно смотреть рекомендации кэгглеров, посвящённые чисто эксплойтам дата ликов.

#featureselection #hpo #hpt #global #optimization #optuna

Ну вот, уже не зря делал исследование. Не все настройки парценовского сэмплера Оптуны одинаково полезны. Выходит, в задаче FS хитрейт можно легко поднять с 68% до 76%!

#anaconda #windows #bollocks

Лесорубы-создатели установщика анаконды до сих пор не узнали, как прописывать пути в реестре винды. Обновился до питона 3.11, прописываю пути вручную.

#microsoft #bollocks

Шёл 2023-й год. Это флагманский продукт от мирового лидера с капитализацией триллион долларов.

#watersupply #competitions

Чёт ещё не начал участвовать, а уже разочарование. Ребята уверенно заложили data leak бомбу прям под свой фундамент. Ещё и ресурсы на это оттянут. Ну и нахер надо на это своё время тратить?

"Hi, wanted to participate in this competition and create value for the society. However, I feel that artificial data limitations introduced by the organizers to be able to run the Hindcast stage will influence Forecast stage (where help of DS folks is REALLY need) in a negative way:

spirit of the competition requires that at forecast issue dates ALL present information should be accounted for (for features only, not for targets). However, your current data withholding (for the Hindcast stage) creates artificial gaps in features for no reason. For example, at the day of forecast issue I want to know running water inflow for every 12 preceding months. Or 24. It’s very natural for TS feature creation. But you simply don’t allow this currently. Contestants need to fight to overcome such gaps. Why should we spend extra efforts developing worse models?

I understand the desire of keeping Hindcast data private to be able to estimate true predictive power of the models early. However, ground truth data is in public open APIs and easily downloadable. And there are ways to overfit on ground truth data indirectly. Do you want to make the Hindcast stage a “data leakage” stage? Then at least do that without artificial features/data limiting, so that people don’t spend time and carbon footprint on solutions that go nowhere.

My suggestions:

1) allowing all data up to forecast issue dates without gaps and length limitations, to not waste contestants time on fighting windmills
2) using known in advance TimeSeriesSplit cross-validation schema with big enough folds number, to decrease data leakage impact and judge submissions more fairly. Do not allow hardcoded hyperparameters. Do the training inside of submitted noscripts, not only the inference.
3) lowering prices for the Hindcast stage in favor of Forecast stage"

https://community.drivendata.org/t/nagative-influence-of-the-hindcast-stage-possible-fixes/9249

#apple #marketingbs

Надо бы Бобу Борчерсу предложить зафиттить модельку на 15Гб данных на маке с 8Гб RAM. Со ставкой в его годовую зарплату, если сможет/не сможет без свопа и просадок.

"Компанию подвергли критике, потому что 8 Гбайт оперативной памяти в 2023 году — недостаточно для работы, и модель серии Pro должна иметь на борту хотя бы 16 Гбайт.

На эту критику недавно ответил вице-президент Apple по международному маркетингу Боб Борчерс (Bob Borchers) в ходе интервью китайскому видеоблогеру Линь Ил И (Lin YilYi). «Сравнение нашей памяти с памятью другой системы на самом деле не эквивалентно, потому что мы используем память очень эффективно, используем сжатие памяти, и у нас унифицированная архитектура памяти. На самом деле 8 Гбайт на MacBook Pro M3, вероятно, аналогичны 16 Гбайт на других системах. Мы просто сумели использовать её более эффективно. Так что я бы сказал, что людям лучше попробовать то, что они хотели бы сделать на своих системах, и думаю, что они увидят невероятную производительность"

https://3dnews.ru/1095663/apple-zayavila-chto-8-gbayt-pamyati-na-macbook-pro-analogichni-16-gbayt-na-pk

#chess

Фантастически красивые варианты

https://www.youtube.com/watch?v=xfK_chxzRoM

#categoricals #trading

Удивительные результаты получил. Оказывается, лучше тренировать модельку на 1 актив, чем на несколько (даже с нормализацией всех фичей)+категориальная переменная "код актива". Это совпадает с информацией Эрни Чана, но противоречит статье Deep LOB, да и моему опыту в бизнес-проекте, где с заказчиком специально проверяли, будут ли региональные модели перформить лучше чем 1 большая глобальная. Тогда оказалось, что нет, а сейчас что да, и довольно значимо. Так что если у Вас есть категорийки, оказывается, нет серебряной пули, в каждом проекте проверяйте буст от покатегорийных моделей отдельно.

Тут получаются "сапожники без сапог": мы всегда советуем клиентам проводить А/Б тесты, но при этом сами используем в своей работе только то, что хорошо себя зарекомендовало в наших прошлых работах. А это же смещение, и надо с этим бороться. Резонно с "лучших по своему опыту" решений начинать, но по мере развития каждого проекта тестировать на нем надо все опции, более того, регулярно перепроверять (см data drift).

Почему так получается, что иногда фиксированные "лучшие практики" не срабатывают? Думаю, дело в переплетении факторов каждой конкретной проблемы, за которыми мы не следим, да и не можем уследить.

#hpt #hpo #optuna

Было смешно. Чувак применил HPT и получил на OOS хуже )

https://www.youtube.com/watch?v=t-INgABWULw

#jobs #gpt

"Технологические гиганты продолжают настаивать на разработке и внедрении ИИ, в то время как специалисты, которые по задумке должны будут использовать подобные инструменты, всё чаще высказывают опасения по поводу возможного сокращения рабочих мест в игровой индустрии. Некачественный контент как результат применения инструментов ИИ, также вызывает большую озабоченность у игроделов.

Согласно заявлению Microsoft, разработчикам видеоигр будет предложено использовать пакет программного обеспечения, состоящий из двух компонентов: интеллектуальный «помощник по дизайну» и ИИ-движок генерации персонажей, которые помогут разработчикам создавать сюжетные линии, квесты и другие игровые элементы.

С момента публикации The Game Awards (TGA) этой новости, в X появилось великое множество комментариев от разгневанных разработчиков игр, актёров озвучки, сценаристов игр и телевизионных сценаристов. В сообщениях комментаторы критиковали и осуждали применение инструментов ИИ в индустрии. Отмечается, что внедрение «инноваций» способствовало тому, что только в этом году работу потеряли более 6-ти тысяч специалистов игровой сферы.

В то время, как Microsoft продвигает инструменты ИИ, как способ для разработчиков «существенно расширить свои собственные возможности», волна негатива в отрасли наводит на мысль, что нововведение заставило актёров и сценаристов почувствовать что угодно, но только не счастье от появления ИИ в их творческой среде. При этом компании, занимающиеся созданием видеоигр, всё с большим восторгом воспринимают подобные новости, вероятно, думая: «Наконец-то у нас появилась технология, позволяющая увольнять наших работников ещё быстрее, чем раньше!»"

https://3dnews.ru/1095747/instrumenti-iskusstvennogo-intellekta-dlya-xbox-razdragayut-stsenaristov-i-aktyorov-videoigr

Разобрался, почему так произшло в том примере. Оказалось, train/test skew. На 300 примерах train_test_split(test_size=0.2,random_seed=) создала куски с вот такими распределениями таргета. Видимо, этого оказалось достаточно, чтобы гиперпаарметры, лучшие для train (хотя это ещё вилами по воде без анализа чувствительности), провалились для test.

#hpt #hpo #optuna

Но, кстати, ситуация жизненная. Что делать-то, если test set недоступен, и возможностей проверить train/test skew нет, к примеру, это соревнование? Потратил такой кучу ресурсов, заоптимизировался на train/public. Вроде приложил усилия, сделал HPT, и на тебе, сюрприз. Хочу на этом тестовом примере изучить, что было бы, если за лучший сет брать не просто аргмакс от сырой метрики, а аргмакс от метрики, усреднённой по n ближайшим соседям.

#optuna

Глубоко в недрах доки Оптуны, и почти случайно, я обнаружил, что у неё всё-такие есть нормальный интерфейс и можно у неё попросить все параметры сразу. Называется это define-and-run. Также, оказывается, не обязательно заворачивать всё в objective, можно использовать ask/tell чтобы гибко интегрировать её в существующие системы.

https://optuna.readthedocs.io/en/stable/tutorial/20_recipes/009_ask_and_tell.html#ask-and-tell

#skopt

Преодолел сложности, запустил таки skopt. На моей задаче его forest_minimize и gbrt_minimize находят лучшие решения, чем TPE Optuna. Правда, работает уже не доли секунды, а 5-15 секунд. gp_minimize с ядром Матерна работает плохо. Но проблема ещё в том, что skopt очень много кандидатов выдаёт повторно, вместо того, чтобы исследовать новых. Возможно, проще сделать своё решение, чем разбираться и допиливать чужое.

#hpt #hpo #optuna

ну хоть узнал про CMA-ES. Понравилась идея гибридного подхода, когда начинается проверка многих случайных комбинаций методом последовательного халвинга, потом в какой-то момент включается TPE.

Кстати, удивляет, что если в документации используется небрежный или неэффективный код, всё равно при демонстрациях, да и в практическом использовании подобную ересь все как попки копируют. В случае оптуны подобным кодом является загрузка и сплит датасета внутри objective. На кой эти дорогие задачи делать снова и снова на КАЖДОЙ итерации? И главное, человек при этом замеряет время исполнения... И нигде у него не ёкает.

Хах, а как он тестирует прунинг? Походу, совершенно не понимает, что это и как оно работает, там же должен быть partial_fit. И опять же, время выполнения у него с "прунингом" такое же, как и без, почему, вопросов у него не возникает даже. Доклад сделал, нормалёк, чё вам ещё надо?

https://www.youtube.com/watch?v=hboCNMhUb4g

#crow #rl

Обучение с подкреплением )

https://www.youtube.com/watch?v=MKwyoek9ir8