Нихао!

Китай, часть 1, Шеньжень

В Шеньжене находится головной офис хуавей, и по ощущениям это город внутри города. По сути своей это район из нескольких кварталов, одноимённой станцией метро, парком и кучей офисных зданий.

Особенно меня поразило количество зелени, пышная трава, живая изгородь, кусты, деревья разной высоты, пруды, фонтаны. Чего угодно я ожидал от Китая, но не господства зелени на улицах. Причём всё ухожено на высшем уровне, всё вписывается в аргономику улиц. На каждом дереве висит qr-код с его паспортом. Везде очень чисто, мусорные баки под сортировку, стенды с бесплатной питьевой водой на тротуарах.

До работы все добираются на мопедах, преимущественно по пешеходной зоне, поэтому движение по ней затруднено. Но везде есть выделенная велодорожка, которая по назначению не используется, все ездят как хотят.

Один из кварталов - парк с президентскими апартаментами и прудом с чёрными лебедями. Чёрные лебеди - один из символов хуавей, в пруду их плавает пять, интересно символизирует ли это пять случившихся "чёрных лебедей".

В общем нахожусь под огромным впечатлением от корпоративного района, остальной Шеньжень конечно другой, не такой элитарный и чистый, единственное что зелени и в нём очень много. Есть ощущение что Шеньжень основался вокруг хуавеевского района.

город-офис одной маленькой инди-компании, где-то между Сучжоу и Шанхаем

На днях завершилось ежегодное соревнование Lux, посвященное применению RL в комплексных средах. Мы заняли 24 место и взяли серебро. Задача была поставлена в виде стратегии в реальном времени (RTS), где агенты начинают игру в равных условиях на симметричной карте. Среда представляла из себя Partially Observable Markov Decision Process (POMDP), это когда среда настолько сложна, что из текущего observation (частичного наблюдения среды) нельзя теоретически вывести идеальный action (действие, которое ведёт к максимизации реварда). Также задача осложняется тем, что из всех observation не факт что можно вывести state (полное представление о среде, из которого теоретически можно вывести идеальный action). В таких случаях эвристики и алгоритмы на них не дают лучшего результата, потому что неясно каким образом переводить observations и туманные представления о прекрасном state в action. Но вот нейросети с механизмом внимания вполне могут уловить тонкую настройку вселенной и приблизиться к пониманию state и соответственно чаще выбирать идеальный action

Вернёмся к насущному, агент представляет из себя флот из 16 космических кораблей, которые обладают энергией, обзором, могут двигаться, стрелять и умирать, когда энергия заканчивается. На карте размером 24х24 каждая клетка обладает энергией, которая может быть положительной или отрицательной и эта энергия меняется раз в какое-то количество таймстемпов. Также на карте присутствуют дрейфующие астеройды, блокирующие передвижение, и зоны туманности, с увеличенной тратой энергии и уменьшенной видимостью. Для победы нужно набрать больше поинтов, чем агент противника, добыча поинтов осуществляется путём нахождения одного из юнитов на клетке "реварда". Стрельба реализована через энергию, стоимость выстрела в энергии фиксированна и равна урону. Юнит тратит на выстрел столько же своей энергии, сколько отнимет у противника при попадании, то есть мат ожидание выстрела отрицательное и стрелять чаще всего не выгодно. Но есть параметр сплеша, отвечающий за коэффициент распространения урона на соседние клетки

На лидерборде агенты оценивались по системе Elo, постоянно играя друг против друга. Каждая игра состояла из 5 матчей, после каждых 100 степов фиксировалось победное очко агента, набравшего большее количество поинтов в прошедшем матче, и начинался новый матч

Наше решение в конечном счёте основано на алгоритме, который принимает решение исходя из заложенных в него представлений о стратегии и тактике, по сути он оптимизирует эвристики. В условиях изменяющейся среды и ограниченной видимости написать подобный алгоритм было сложно. Мы также пытались тренировать transformer-based модель, которая в каждый момент времени принимает вектор observation, формируемый CNN энкодером на фичермапах карты, и look-up table вектор action с предыдущего таймстемпа. И две головы, одна на классификацию actions для каждого юнита на карте, другая на регрессию нормированных координат выстрела, также для каждого юнита. Данные для обучения мы парсили с топовых мест лидерборда, пытаясь реализовать imitation learning подход. Но довести до ума обучение не успели. Как выяснилось позже, у 1 места была похожая архитектура

Решение первого места хорошо расписал Сергей, почитайте его пост. О решениях 2 и 3 места были неплохие посты у Димы. Из особенно интересного, 3 место обучил UNet архитектуру с размерностью выхода 6х24х24 - вероятность 6 возможных действий для каждой клетки карты, до этого я не додумался. 1 место с ConvLSTM+transformer архитектурой удачно заменил CNN на CNN с вниманием, до этого я додумался но реализовать не успел

Огромную благодарность хочу выразить команде, было круто коммуницировать с вами. Я узнал много нового про RL, буду теперь применять знания к аудио домену

А, ну и да, я стал Kaggle competition Master, принимаю ваши поздравления :)

На выходных слетал с коллегами в страну кимчи, пластических операций, свергнутых президентов и игр в кальмара. В столицу государства на реке Хан, Сеул 🇰🇷

Южнокорейский экономический бум пришелся на 60-70-е года прошлого века, когда после войны с северным соседом в страну хлынули инвестиции из США и Японии. Стремительная индустриализация, развитие морской торговли, реформы в сфере образования и человеческий капитал за несколько десятилетий построили новую Корею. Но время идёт, темпы роста снижаются. В отличие от современных китайских мегаполисов, где смешалось всё, кони, люди, жизнь в Сеуле показалась мне куда более спокойной и комфортной. Местами город выглядит обветшалым, это проблема всех городов, переживших внезапный экономический бум. Если построить все здания в один период, придут в негодность они также вместе. Несмотря на это, ярких контрастов трущоб и небоскрёбов, как в Шанхае, замечено не было. Но это частное, в общем случае городская среда очень комфортна, чиста и красива: повсюду выделенные велодорожки, широкая сеть метро, практически отсутствие мусора, огромное количество ухоженной зелени, безбарьерная среда адаптированная для маломобильных граждан. Но помимо плюсов, влияние США также образует интересный и пугающий синтез двух культур, западный культ личностного достижения и азиатский культ трудолюбия, по моим ощущениям, они здесь возведены в абсолют. Не зря таксист на вопрос про то смотрел ли он "игру в кальмара" ответил: "конечно, это буквально наша жизнь"

но об этом позже, всем хамса хамида