Прохожу курс по Дата Инженерии. Подтема - Slowly changing dimension.

Рассматриваем SCD 0 - The Type 0 dimension attributes never change and are assigned to attributes that have durable values or are described as 'Original'.

Лектор привел в пример пол студентов. Я тут же подумал что это не может быть SCD 0.

Культурные особенности разных стран

P.S. Вспомнил историю когда работал в банке Открытие
Некоторые клиенты регулярно меняли пол (сто и более раз за 3-5 лет)
Бывало даже воскресали

С интересом смотрю Linked In разных людей

Приятно знать что теперь учат сортировать за линию

P.S. В принципе отсортировать за линию (при ряде допущений) вполне можно, но вряд-ли это дефолтная функция

Прочитал статью CoLES: Contrastive Learning for Event Sequences with Self-Supervision, в который ребята рассказывают, как используя contrastive learning получать эмбединги для дискретной последовательности событий. Говорят, что применяют это в большой финансовой компании в Европе. По интересному совпадению, ряд авторов этой статьи читают канал

Пишут что генерить эмбединги вещь не новая, но если брать текст или картинки, то там контекст крайне помогает (соседние слова или пиксели), но так хорошо бывает не всегда.

For example, log entries, IoT telemetry, industrial maintenance, user behavior, travel patterns, transactional data, and other industrial and financial event sequences typically consist of interleaved relatively independent sub-streams.

Добавляют что популярные SOTA могут не выдать ничего путного с такими данными.
Используют новую хитрую аугментацию, генерируя подстроки из основной строки и используют их как высокоразмерные репрезентации изначальной строки. Применили метод на 4 датасетах и он везде зарешал

Какая цель? Сгенерировать такие эмбединги, чтобы они были близки, если произведены одним процессом и далеко, если разными (подстроки одного пользователя генерированы одним процессом)

Собственно на этом все; нарезали подстрок, отправили подстроки одного пользователя как позитивы, разных пользователей как негативы
Как меру близости использую Euclidian Distance (дополнительно обсудили как решать проблему negative samples)

Из интересного, решили использовать GRU для Sequence encoder

В целом - хорошая, прикладная инженерная статья. Не уверен что это будет state of the art, но рассмотреть как вариант для своих задач вполне можно
Из недочетов - 4 датасета кажется недостаточным для надежной оценки

P.S. Возможно в algorithm 1 (в статье) имеет смысл дополнительно слегка перемешивать соседние события?
#ArticleReview

Больше я не работаю в Blockchain.com как Head of Data Science

Как и прогнозировали сочувствующие на ячане, head of DS мне получилось быть лишь до поры до времени. С недавних пор моя должность изменилась. Теперь я VP, Data Science

P.S. предыдущее сообщение не должно было быть отправленным

20 сентября в 20:00. Тема и программа всё та же — «Перфоманс ревью и калибровка в технологических компаниях».

Есть интересный сервис https://promethease.com - туда можно загрузить результаты ДНК теста, например с 23andme и получить миниэнциклопедию себя, над которой можно зависать часами, хвалиться или ужасаться каким то результатам.

В течении получаса после загрузки выдается html файл, в котором можно вводить ключевые слова и получать результаты

Выглядит это примерно как на картинке. Саммари в целом в виде pie chart, краткий абстракт по каждому отдельному исследованию, его характеристики и ссылка

Сервис кстати бесплатен, поэтому если делали ДНК тест - советую

UPD: пишут что стоит 12 долларов

Запускаемся через три минуты

В твиттере обсуждают понижение налогов в ЮК. Ругаются что это затронет лишь тех, кто много получает и зачем все это

Для меня, как иммигранта, который может выбирать среди множества стран, постоянное повышение налогов не выглядело как что-то очень притягательное. И все больше и больше я задумывался над тем, чтобы поехать в Дубай, под тяжелое бремя налога в 0%

Ведь заплатить 0 фунтов налога, гораздо приятнее чем > 150к

Тренд на понижение наооборот, заставляет меня задуматься, что стоит остаться. Лондон - лучший город, среди тех где я жил/был. Кажется что заплатить 5к чтобы получить 150к - хорошая сделка

В апреле я рассказывал историю, как одна из моих помощниц зарабатывала, устраивая встречи с мужиками, имеющими доход от определенной суммы в месяц.

Мир не стоит на месте. ВКонтакте подкинул рекламу, где человек, похожий на лоха, предлагает устроить встречи с миллиардерами (за деньги) в клубе миллионеров. Логическое развитие бизнеса. Если можно продавать встречи с мужиками - женщинам, то почему бы не продавать встречи с мужиками - мужикам?

P.S
Я конечно в свое время ради прикола обучил алгоритм ВК на всякий трэш, но до сих пор не могу поверить как много трэш рекламы находится в ВК. Получается востребованная вещь

Теперь совсем официально.

Написали в корпоративном блоге про изменения в Leadership Team

Упомянули и меня

Однажды я работал в очень большой компании с очень крутыми консультантами

Очень крутые консультанты работали над очень важными проектами по оптимизации промо акций, ассортимента и всего на свете.
Ребятами они были умными и приятными в общении. Читали разные книги, могли поддержать беседу и совсем ерунду почти никогда не предлагали.

К сожалению они не умели писать код, не знали что такое архитектура/дизайн и масштабирование систем.
Для них было неприятным открытием, что некоторые вещи при масштабировании в 15 000 раз - нежизнеспособны. Хотя казалось бы, все слышали про муравья, которого при увеличении раздавит под собственным весом.

Кульминацией послужил момент когда мне с гордостью вручили архитектуру проекта - большой листа формата А3, плотный картон, красивые цветные иллюстрации.

Я взял лист и начал его изучать. Многочисленные прямоугольники, изображенные на нем, внушали уважение. Приглядевшись к ним, я понял что типов прямоугольников два - excel и jupyter notebook, местами соединенные через планировщик задач.

Мороз пробежал по спине при мыслях о таком продакшене. Но надо было держать лыбу, ведь партнер от консультантов сидел рядом и внимательно наблюдал за моей реакцией. Благо я тоже читал книжки, в которых Сунь Цзы писал: Война – это путь обмана. Поэтому, если ты и можешь что-нибудь, показывай противнику, будто не можешь

Стоит ли удивляться, что большинство проектов неизмеримо разрослись, команды стали слишком большими и неповоротливыми, а один проект стал притчей во языцех с ежедневными стендапами в полтора часа
#Memoir

Симулятор ML ещё конечно в активной разработке, но им уже можно пользоваться

Забавно что ролик записали ещё в декабре 2021 года и только сейчас настало его время

На следующей неделе выступаю в рамках ML/AI Track на Linq Conference event. Тема - The First steps in designing ML systems. По факту - краткий пересказ первых трех глав книги Principles of ML System Design

Получил награду внутри компании - communicate with candor. Меня правда во время объявления не было, летел в самолёте. Говорят, дали за то, что always direct, but communicate with respect

Награда приятная, но очень опасная, так и до loose canon недалеко, что в художественном переводе на русский означает - обезьяна с гранатой

Памятная дата. Чуть больше десяти лет назад я уехал продолжать обучение в Германию, в город Karlsruhe

Со мной были рюкзак и два чемодана. Один чемодан по прилёту забрали в аэропорту на проверку, что упростило дорогу до города.

Город Карлсруэ построил шизофреник. Его звали Карл и однажды, во время охоты, он так хорошо поспал в лесу, что решил на этом месте построить город, который назвал Карлов Отдых. На этом его шизофрения не остановилась, и он решил что его дворец в городе это солнце от которого расходятся лучи, что непременно следует отразить в архитектуре.

Пирамида в его честь до сих пор находится на центральной площади города. Как сочетаются пирамида и Карл - я уже не помню, но разве шизофрения должна заканчиваться со смертью владельца?

Это был мой второй переезд в другую страну и по сложившейся традиции, я ехал в никуда, как минимум в том плане, что никакого жилья заранее забронировано не было, но было назначено две встречи.

Первая встреча была с немецким жуликом - жулик поводил меня по студенческим общагам, где в итоге он показал мне большую комнату, в которой не было мебели, а туалет и кухня были в общем холле. Комната стоила 350 евро в месяц, еще 700 евро нужно было отдать в виде депозита, 100 евро - как депозит за ключ (что меня удивило, при наличии предыдущего депозита) и еще 800 евро жулику за его услуги. Я сказал что предложение отличное, но мне нужно сходить в банкомат и был таков. Ушел я, понятное дело, не в банкомат, а на вторую запланированную встречу.

Вторая встреча была с чудесной девушкой Радмилой, которая сдавала комнату в своей квартире на полгода, до момента приезда ее Папы, профессора математики. Карлсруэ - город с большим количеством студентов, комнаты уходят как пирожки, поэтому Радмила была удивлена, что на ее предложение отозвался только один человек. Я не был удивлен, потому что за месяц до этого, письмо, отправленное на адрес Radmial@ вернулось с ошибкой, я быстро поменял адрес на Radmila@ и получил ответ. Судя по всему, с этой задачей справился только один человек. Призом была комната за 350 евро, с мебелью, кухней, ванной и всем остальным, всего в двух остановках трамвая от университета (впрочем и пешком было недалеко). Спустя пару дней мой чемодан вернули из заточения и жизнь стала налаживаться

К слову, немецкого жулика я встретил в этом трамвае четыре месяца спустя, когда пришло время искать новое жилье. Но о том, как я познакомился с солисткой Мариинского театра и стал снимать у нее квартиру - в другой раз
#Memoir

Подняли очередной раунд инвестиций

Все мы были детьми, кроме тех, кто ими еще являются. Меня сия участь тоже не миновала
Как только появляются дети, возникает вопрос, что с ними делать? Решением этого вопроса занимались многие, от Аристотеля и Платона, до Монтессори, Корчака и Макаренко.

В России моего детства и недавнего прошло одним из самых популярных методов был Лагерь. Если задуматься, способ решения проблем через Лагерь был популярен не только в России.
Когда пришла моя пора быть отправленным в Лагерь, он больше не назывался пионерским. Наступила другая эпоха и пионерские Лагеря трансформировались в детские оздоровительные лагеря. Красный пионерский галстук был заменен на галстук обозначающий отряд. Синий у первого , красный у второго и т.д. Очень удобно, сразу видно кто Пацак, а кто Чатланин

История, правда, не о цветовой сегрегации. История о том, как пользуясь служебным положением, я украл честь третьего отряда во время Зарницы.

В 2004 году меня отправили в Лагерь, на три смены подряд. Во время первой смены мне удалось захватил власть и стать председателем штаба Лагеря. Тоже самое произошло и во вторую смену. Власть вскружила мне голову и я стал терроризировать пионервожатых. Будучи умным ребенком я терроризировал их в рамках закона и поэтому выгнать меня из лагеря у них не получилось. Не выдержав морально давления, взрослые побежали жаловаться директору лагеря. К счастью и она не имела материала на руках, позволяющего меня выгнать, поэтому, чтобы спасти вожатых, ей пришлось переселить меня в свой коттедж. Поддавшись разврату роскоши я начал позже ложиться и позже вставать. Ведь завтрак приносили прямо в коттедж директора и не было необходимости маршировать в столовую, а вся жизнь в лагере крутилась вокруг еды. К сожалению, собрания штаба шли сразу после завтрака и их я тоже прогуливал, поэтому в третью смену мои позиции пошатнулись и вместо председателя штаба, мне удалось стать лишь заместителем председателя. Что уже само по себе было немыслимым. Это никак не билось с планами главной пионервожатой, которая хотела избежать эпохи террора, но моя закулисная игра нарушила ее планы

Итак, в третью смену была объявлена Зарница, военно спортивная игра, во время которой отряды бились за место под солнцем, выполняли разные задачи, ходили в разведку в лес и гордо носили свое знамя во время марша. Маршировали в основном в столовую и из нее, ведь жизнь в лагере, как я уже говорил, крутилась вокруг еды.

Все участвующие получили звание и погоны, от низшего - рядового, до самого высшего - полковника.
Главная пионер вожатая стала полковником, начальник штаба - подполковником, командиры отрядов - капитанами, пионервожатые - лейтенантами, командbhs взводов - младшими лейтенантами или сержантами. Я стал майором. Майорский погон, как и погон полковника, имеет две полоски, явный авторитет на фоне всех остальных, где одна полоска или ее вообще нет

Пожалуй самым крутым достижением во время Зарницы является захват знамени противника, поэтому, когда я увидел марш третьего отряда на обед без знамени, что-то щелкнуло в моей голове. Жажда славы немедленно возобладала над желудком. Бросив все, я побежал в корпус третьего отряда и нашел там вожатскую комнату, где сидела чья то мама. Показав на свои погоны, я сказал что отряд без знамени не пускают на обед и если мы хотим избежать катастрофы, ей необходимо срочно передать его мне. Что и произошло.
Через минуту, уже в другом здании, знамя было сорвано с флагштока, свернуто и спрятано в карман. Все произошло настолько быстро, что мне удалось попасть вместе со своим отрядом на обед (первый отряд шел последним), и обеспечить себе алиби.

Надо ли говорить, что тихий час, следовавший за обедом, был совсем не тихим для третьего отряда. Я собрал кружок единомышленников и отправился в радиорубку клуба, объявлять что знамя, а вместе с ним и безоговорочная победа, за нами.
Почему не пошел один? Потому что отбиваться от толпы лучше вместе с группой крепких пацанов. Впрочем это вызвало ярость не только третьего отряда, но и главной пионервожатой, которая мечтала провести зарницу без захвата знамени. Впрочем, не впервые #Memoir

Нашел преподавателя для исправления своего акцента на английском. Через полгода расскажу об успехах