#Tip42 #EDA #Pandas

На прошлой неделе поучаствовал в хакатоне GO ALGO, организованный Московской фондовой биржей.
Для решения задачи нужно было анализировать биржевую информацию. И наконец-то мне мне удалось применить на практике очень редкий вид графиков — Спарклайны (Sparkline).

Спарклайны — это небольшие немаркированные графики. Обычно они не содержат ни осей ни подписей, поэтому в основном предназначены для передачи какой-то общей идеи.

А т.к. спарклайны очень маленькие, то они отлично помещаются в ячейках Pandas'а :)

import base64
from io import BytesIO
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from IPython.display import HTML

def sparkline(data):
    data = list(data)
    
    fig, ax = plt.subplots(1, 1, figsize=(4, 0.25))
    ax.plot(data)
    
    # Убираем все лишнее с графика
    ax.set_axis_off()
    
    # Заливаем график
    ax.fill_between(range(len(data)), data, len(data)*[min(data)], alpha=0.1)
    
    # Выводим min/max
    plt.plot(np.argmax(data), data[np.argmax(data)], 'r.')
    plt.plot(np.argmin(data), data[np.argmin(data)], 'm.')

    img = BytesIO()
    plt.savefig(img)
    img.seek(0)
    plt.close()
    
    return '<img src="data:image/png;base64,{}"/>'.format(base64.b64encode(img.read()).decode())

agg_df = df.groupby('tradedate', as_index=False)['pr_open'].agg(list)
agg_df['sparkline'] = agg_df['pr_open'].map(sparkline)

HTML(agg_df[['tradedate','sparkline']][-10:].to_html(escape=False))

Графики можно редактировать в определенных границах: менять их ширину/высоту, можно разукрасить на свое усмотрение. Также вы можете вывести другие типы графиков: барплоты, гистограммы и пр.

З.Ы. Сам хакатон проходил в интересном формате. С одной стороны это был обычный хактон - с чек-поинтами и общением с экспертами. С другой - он длился целых 10 дней (вместо обычных 2-3). А за это время можно было сделать неплохой продукт :)

#languages

Мечтаю найти время и запилить свою приложуху с AI для изучения языков. Фишкой должно быть расширение словарного запаса и одновременное изучение нескольких языков (в т.ч. одного иностранного через другой иностранный). Допустим, мы знаем какие-то слова на английском и немецком, но не на испанском. Идея в том, что зная на первых двух, нам будет легче выучить на 3-м. Повторялка слов должна быть не тупой, а с ML, чтобы тебе подсовывала слова которые ты скорей всего уже забыл ))

Гайд
Как нравиться девочкам и производить на них хорошее впечатление

Итоги года
Издал «Предварительная подготовка данных» в 2 томах
Издал «Прогнозирование временных рядов»
Издал «Логистическая регрессия»
Перевел «Causal Inference для честных и храбрых»
Перевел «Streamlit для Data Science»
Перевел книжку сэра Дэвида Кокса по статистике (скоро узнаете, какую)
Перевел книжку по трансферному обучению (пойдет в следующем году в подписку «Сборник статей по ML»)
Внедрил единую методологию прогнозирования, классификации и кластеризации временных рядов на работе (подписка «Прикладной анализ временных рядов» из 4 томов - частичка этой методологии) – от зоопарка из 35 методов перешли к 8, цикл разработки сократился в 3,5 раза
Написал регламент для DBS Bank по скорингу редких событий и скорингу активов (для слияний/поглощений)
Обучил 30 учеников, 8 уехали из России и смогли найти работу, один в настоящее время в процессе перехода в Amazon (заниматься прогнозированием рядов).
Разработал систему из 16 подписок, ядро (платные подписчики/покупатели постов) -140 человек, суммарный объем 5000 страниц, 400 тыс. строк программного кода (работа небольшого института). Кстати, пописывайтесь. Шампанское и салат выйдут естественным образом, а знания останутся с вами.

P.S.
Обновил подписку GNN. Говорим о выразительности GNN, канонической форме графа, двух методологиях обеспечения выразительности – тесте Вайсфейлера-Лемана и GIN – графовой сети изоморфизма.

#chances #probability #randomness

#chances #probability #randomness

#milestones #plans #2023

Итоги моего 2023-го года.

Бизнес-проекты

К сожалению, у меня трудности с доведением замыслов до готового продукта, даже если технически всё реализовать я могу - теряется как-то быстро интерес, что ли. В 2023-м я "технически сделал" 1 такой продукт/сервис для поиска подходящих облачных серверов, #opticloud, но никуда в паблик пока не вывел. Также за этот год появились идеи как минимум 6 интересных стартапов (от знакомств и обучения языкам до оптимизации СУБД), над некоторыми я даже неплохо поработал и добился начального прогресса. Благодаря неожиданно вышедшему на связь старому товарищу поработал над ML в оценке недвижимости. В планах на 2024-й продолжить работу над этими проектами, и, самое важное, зарелизить как минимум 1 общедоступный цифровой продукт.

Совместная работа

В очередной раз убедился, что люди неактивны, равнодушны, ничего не хотят делать. Была надежда, что в команде получится работать гораздо продуктивнее, но не получилось никого найти )

ML

За год удалось вернуться к многим своим старым идеям о взаимной информации и отборе признаков, переписать свою старую библиотечку с visual basic на python с многопроцессорностью и gpu, сформулировать идеи экспериментов и сравнений, которые надо провести. Начал писать свою FS-либу #diogenes, сейчас она включает в себя на 95% готовые модули filters и wrappers с кастомной реализацией SelectBest и #RFECV и превосходит по функциональности и качеству всё то, что я знаю из общедоступных решений. В планах на 2024-й её доведение до ума и интеграция со своей библиотекой оптимизации гиперпараметров.

Обучение

В основном я прокачивал знания в ML, просматривая/прослушивая ютуб-ролики, на эту тему (эффективного усваивания подобного материала) появились идеи ещё нескольких стартапов )

Соревнования

В очередной раз подтвердилось моё понимание, что ML-соревы - это бесполезная трата времени. Насколько я был воодушевлён, решив поучаствовать в #watersupply, настолько же оказался разочарован, увидев, какие тупые искусственные ограничения туда добавили организаторы. Ещё более меня разочаровали 350+ дата сайентистов, которые слова не сказали против таких правил, позволяющих пилить оверфитнутые решения, бессмысленные с точки зрения практики. В итоге, после препирания (моего и ещё 1 неравнодушного участника) с админами площадки, незадолго от дедлайна пришло уведомление, что идиотские ограничения убраны, что ещё более усилило, как это модно говорить, чувство кринжа.

Правда, в начале года я выиграл мини-сореву по предсказанию цен на электричество #electricity, но там каждому участнику была гарантирована компенсация в $2k независимо от места, и я ничего не терял. С тех пор, кстати, я сильно прокачал модуль генерации признаков для временных рядов, использованный в сореве.

Публицистика

Написал несколько статей на medium. Площадка - говно, но и хабр не лучше, а куда-то писать надо было.

Трейдинг

Это одна из тем, к которой я регулярно возвращаюсь со времён университета, и отступаю из-за нехватки знаний. В этот раз уже знаний, кажется, хватает, но завяз в тонкостях реализации. Проделана большая работа в нескольких поднаправлениях, в частности, сделано хорошее логирование экспериментов в MFlow, с ансамблями и стекнгом. Ожидается существенный прогресс от интеграции с Диогеном. Надо, как всегда, побыстрее делать простое работающее решение, и постепенно улучшать. В этом плане я решил попробвать сначала поработать с трейдером, предоставив ему информационную поддержку в виде веб-панельки с прогнозами, какие активы имеют высокую вероятность роста/падения в ближайшее время, посмотрим, будет ли она полезной. В планах на 2024-й, безусловно, полностью автоматизированная торговля на основе ML моделей.

#milestones #plans #2023

Политика, война, будущее

Я по-прежнему в ужасе о того, что происходит в моей стране, и как гадко себя ведут люди. Считаю, что всё плохое происходит от лжи и равнодушия. У нас одни врут, другие делают вид, что всё как и надо, прекрасное комбо. Я за правду, за инициативу, за мир. Считаю, что ресурсы (финансовые, технологические, умственные) люди должны направить на исследование и заселение других планет, создание космического зонтика вокруг Земли #astronomy, борьбу с болезнями, улучшение качества жизни всех людей и животных. Я против питекантропов, которые этого не понимают.

Религия

Продолжаю быть разочарован #religion. На поверку большинство верующих кажутся просто лжецами. В лучшем случае лгут другим, в худшем - себе.

ИИ

Очень вдохновлён прогрессом OpenAI и больших языковых моделей в целом, уже понятно, что за ними будущее и что именно через них люди смогут создать сильный ИИ. Разделяю точку зрения Курцвейла #futurology, что за этим последует эпоха "сингулярности", эра экспоненциального развития человечества и даже непредставимых пока открытий. Возможно, что это случится в ближайшие годы. Но не хотелось бы, чтобы ИИ оказался той самой причиной, которая уничтожает цивилизации по мере выхода на определённый уровень развития.


Заключение: год паршивый, людей я по-прежнему не понимаю, работал немало, а надо ещё больше и сфокусированнее, но ещё есть некоторая надежда. Надеюсь, 2024-й будет лучше. С Новым годом! )

#trading #grimes

Осмелюсь порекомендовать трейдера-практика Adam Grimes. Наткнулся на его лекции в ютубе, много здравых идей, чувствуется понимание темы. Возможно, буду выкладывать видосы по мере освоения материала, а пока, вот его сайт.

Ещё у него есть бесплатный курс по трейдингу и две книги с хорошими отзывами.

#featureengineering #gruzdev #pygeohash

Также порекламирую следующие мини-лекции по созданию признаков. Я потратил несколько долларов, чего и вам советую сделать )

Про геохэши вообще раньше не знал. Также ценным показался авторский опыт про манхэттенское расстояние в задачах оценки недвижимости, важность разнообразия MCC кодов и структуры deposits/withdrawals в задаче оттока. Ещё из необычного понравились:
- идея с округлением вещественных значений;
- идея с промежуточной моделью и формированием новых признаков - отношений между топовыми фичами (по важности) промежуточной модели (odd-even). Вообще данный подход кажется интересным для исследования на стадии feature improvement (название только что придумал). У меня по этому направлению будет отдельная работа, завязанная на теорию информации.

Интересно было отступление о методе EFB в lightgbm и связи с задачей раскраски карты.

Для DS со средним опытом лекции будут полезны. Ну и полнота охвата позволит не забыть некоторые очевидные вещи (типа включения курса доллара, индекса покупательной способности, и прочей макроэкономики) и потестить их в своём конкретном проекте. Я уже записал пару вещей в бэклог своих.

https://boosty.to/gewissta/posts/46a20bb7-3a49-43d3-b63c-1610c608e7fa

Хотя нет, уже не советую ) Иметь дела с такими токсичными людьми желания мало.

#dash

Хорошая оптимизация трафика с Patch().

https://www.youtube.com/watch?v=CYTMXMGuI-A

РЕЗЮМЕ
Часть 1

Продолжим цикл про собеседования. Здесь я раскрою подробнее, на что следует обратить внимание в ваших резюме. Самое главное - надо помнить, что просмотр резюме занимает 10-15 секунд у рекрутера, и после прохождения скрининга оно попадает на стол к человеку, открывшему вакансию, где он уже чуть внимательней просматривает ваше резюме на соответствие вакансии. Давайте пройдем по пунктам.

1. Соответствующий шаблон.

Есть некоторые устоявшиеся в IT правила заполнения резюме. Резюме должно составлять 1 страницу, максимум 2 (если вы идете на очень высокие позиции и у вас много значимых должностей и мест работы, то возможно вам уже и не нужно резюме). В резюме не должно быть фото, также обязательно следует указать ваши контакты. Один раз я видел резюме, в котором вообще не было ничего из информации, по которой можно связаться с человеком (как думаете, связались ли потом с ним?).
В резюме должна быть сухая выжимка из вашего опыта, сделанных проектов, навыков, образования. Шаблоны можно посмотреть здесь. Также есть тематические чаты в тех же DS сообществах, где можно например посмотреть, как коллеги по цеху готовят свои резюме и на какие ошибки им указывают.

2. Ключевые слова в навыках

Возможно одна из главных причин, когда резюме может просто не пройти скрининг. Допустим, в вакансии указаны ключевые слова по направлениям: Classic ML, NLP, CV (а также ключевые слова по условным библиотекам: pandas, numpy, sklearn, lightgbm, pyspark, torch, transformers, opencv, pillow). Я думаю, что подавляющее большинство не знает в совершенстве 3 этих дисциплины со всеми нюансами. Однако, возможно это и не требуется в вакансии. Возможно на саму позицию нужен человек, работавший с текстами и немного работавший с классикой и компьютерным зрением. Обычно на этом делается акцент в самом описании вакансии.
Хотя, возможно именно наличие этих ключевых слов позволит пройти первичный скрининг (например, есть моменты, когда этот самый первый этап проводит робот). Ни в коем случае не стоит обманывать. То есть, если вы никогда не работали допустим с CV, то и не стоит его указывать - потому что на самом мобеседовании это может сыграть с вами злую шутку (за каждый описанный в резюме пункт надо уметь доказать, что он там стоит справедливо). С библиотеками примерно то же самое.

3. Опыт работы и образование

Здесь в первую очередь важен именно опыт работы с раскрытием релевантных вакансии должностей и мест работы. Например, вы отправляете резюме в банк на позицию ML Engineer. В этом случае будет релевантным указать именно тот опыт работы, который перекликается с данной вакансией. Опыт разработчика, DS, аналитика, исследователя тоже не будет лишним. Даже некоторый опыт работы в банке даже не на DS позиции будет релевантен. Но не думаю, что опыт работы промоутером сыграл бы здесь роль, достойную отведенного ему места на страничке. Тем более уместить все на 1 страницу довольно проблематично.
В описании работы также хорошим тоном считается указать не должностные обязанности, а проекты, над которыми велась работа, и что было достигнуто. Например: “За счет разработки и внедрения в прод новой модели на транзакционных данных (линформер) удалось увеличить метрику Gini на X процентов, что позволило компании заработать Y денег.” Это позволяет показывать конкретный результат, который вы принесли за счет своей экспертизы и умение доводить дела до конца.
В графе образование можно указать вашу специальность и пройденные курсы, которые могут быть релевантны рассматриваемой вакансии. Даже упоминание релевантной дипломной работы и статей будет не лишним.

Продолжение ниже ⬇️

#interview #resume

РЕЗЮМЕ
Часть 2

Начало выше ⬆️

4. Проекты

Здесь есть некоторое пересечение с тем, что было описано уже в рабочих проектах. Это скорее подходит для проектов, которые вы делали в свободное время. Например, у вас есть классный пет-проект, который помогает распознать, какая же цифра из 10 нарисована на изображении. Его и стоит включить сюда, скинуть ссылку на репозиторий проекта и по возможности страничку проекта. Как упороться по своему проекту, я напишу в будущем и приложу интересные ссылочки.

5. Дополнительная информация, которую вы считаете релевантной

Здесь может быть указан какой-нибудь уникальный интересный курс, который вы проходили (кроме баянистых курсер и подобного конечно). Возможно ваш опыт участия в олимпиадах, соревнованиях, спортивные достижения. Также неплохо будет указать опыт выступления на профильных конференциях.

В целом, здесь мы видим, что даже резюме требует достаточных вложений времени. И здесь это скорее такой универсальный способ выделиться среди остальных кандидатов за счет своих проектов, опыта и даже возможно образования. Если выразиться просто - это некий входной билет, который вы демонстрируете, чтобы дальше пройти на собеседования.

Успехов в оформлении резюме!

Если будет достаточный интерес, то могу выложить первую версию своего резюме, и во что оно превратилось после того, как я отредактировал вообще все, что в нем было согласно описанным тут пунктам.

Полезные ссылки:
1. Чек-лист для резюме
2. Валидация резюме (можно еще это сделать в сингулярисе)
3. "Идеальное резюме для разработчика"
4. Тагир про составление резюме (оригинал поста нашёлся)
5. Советы Бориса по составлению резюме
6. Краткий гайд по резюме для DS'а
7. Рома Васильев про правила составления резюме
8. Борис опять про оптимизацию резюме

#interview #resume

Про ML соревнования.

Свои первые деньги, не связанные со студенческими стипендиями, я заработал ~шесть лет назад: занял второе место в ML соревновании и получил 200 тысяч. Собрал тогда мощный комп с 1080ti, чтобы нейроночки обучать и ведьмака проходить :)

Первые два года изучения ML меня очень сильно драйвили соревнования, вплоть до того, что я посвящал им почти все свободное время. Подозреваю, что от улучшения метрик и карабканья по лидерборду у меня выделяется довольно большое количество серотонина, потому что я тогда фигачил без отдыха месяцами, на энтузиазме :)

Мой первый контест — Sberbank Data Science Journey 2017; определение релевантности вопроса параграфу текста. Я тогда обогнал своего препода с кафедры, заняв 8-е место. Изучение мной NLP и классического ML происходило буквально по ходу соревнования, и такое изучение теории на практике для меня работало очень хорошо. Еще помню, что там часть вопросов была синтетическая, сгенерированная, и надо было научиться отличать их от настоящих, чтобы сразу ставить им нолики. Я тогда применил марковскую цепь как языковую модель и очень радовался, что это сработало :)

Основное, что я вынес с соревнований (и вспомнил во время написания этого поста):

1. Успех идеи очень сильно зависит от реализации. У контестов, как правило, были чаты, где участники активно общались по ходу соревнования. Я неоднократно наблюдал, как те же идеи, что давали много профита у меня, у других людей не срабатывали. И наоборот. Осталось ощущение, что почти из любой идеи можно выжать профит, если рассмотреть ее под правильным углом.

На работе с этим сложнее: конкретные эксперименты проводит один человек, и если эксперименты закончились неудачно, то всегда остается некоторая неопределенность, почему так получилось. Здесь помогают (1) статьи, по которым мы иногда точно понимаем, что что-то должно работать. (2) правильные формулировки задач, смещение акцента с оффлайн-метрик базового качества на интерпретируемые вопросы и гипотезы, и (3) перепроверки друг за другом, а также (4) возвращение к старым направлениям экспериментов.

2. Получил очень много опыта по ведению экспериментов. С одной стороны, оптимизировать какое-то не совсем интерпретируемое чиселко в отрыве от бизнеса — не очень продуктивно. Соревнования сильно разнятся по степени "осмысленности", это зависит от осознанности организаторов. С другой стороны — в отличие от работы, здесь ты соревнуешься с другими людьми, и есть возможность себя очень хорошо откалибровать относительно них. Насколько хорошо ты ставишь эксперименты, а именно: находишь правильные гипотезы, быстро их проверяешь, правильно реализуешь.

На работе все сильно зависит от самокритичности человека, это иногда и плохо, и хорошо. Из неудачной серии экспериментов можно сделать совсем разные выводы. Самый частый вывод — что гипотеза неудачная или задача нерешаемая; он особенно плох, если не получилось при этом сформировать правильную интуицию происходящего. В соревнованиях же если ты находишься низко по лидерборду, то у этого может быть только одна причина :)

Итого, плюсы соревнований:
* опыт экспериментирования
* возможность откалиброваться относительно других экспериментаторов
* доп. источник заработка

Минусы:
* осмысленность поставленных задач сильно зависит от осознанности организаторов
* прошлый пункт, на самом деле, еще иногда приводит к страшным эффектам по типу ликов в данных и к совсем необобщающимся на бизнес зависимостям, без которых высокую метрику не получишь
* если у вас хорошая работа, то на ней задачи интересней, и необходимость в соревнованиях отпадает. На работе у меня есть возможность самому формулировать задачи, и при этом мне доступны почти неограниченные ресурсы с т.з. данных и железа

На бустерс @boosters после долгого молчания платформы началось новое соревнование по рекомендашкам от hh. Вашего покорного слугу там в лидерборде тоже можно найти; решил тряхнуть стариной :)

#trading #aspiration

"The argument of many academics is that you can’t make money trading; your best bet is to put your money in a diversified fund and reap the baseline drift compounded over many years. (For most investors, this is not a bad plan for at least a portion of their portfolios.) Even large, professionally managed funds have a very difficult time beating the market, so why should you be able to do so, sitting at home or in your office without any competitive or informational advantage? You are certainly not the best-capitalized player in the arena, and, in a field that attracts some of the best and brightest minds in the world, you are unlikely to be the smartest."

Откуда ты, сука, знаешь?! )

#music #poetry #allanpoe #soporaeternus

From childhood's hour I have not been
as others were; I have not seen
as others saw; I could not bring
my passions from a common spring.

From the same source I have not taken my sorrow,
I could not awaken my heart to joy at the same tone
and all I loved, I loved alone.

Then, in my childhood, in the dawn
of a most stormy life, was drawn
from every depth of good and ill
the mystery which binds me still.

From the torrent, or the fountain,
from the redcliff of the mountain,
from the sun that round me rolled
in its autumn tint of gold,

from the lightning in the sky
as it passed me flying by,
from the thunder and the storm,
and the cloud that took the form,
when the rest of Heaven was blue,
of a demon in my view.

https://www.youtube.com/watch?v=aZyDF49h_-Y