https://youtu.be/0Z9RW_hhUT4?t=507

довольно классно показаны различные варианты ответов на один и тот же вопрос в зависимости от уровня

#ml #mlops

Всем привет! Сегодня день большого анонса! Команда Iterative.ai выпустила новый open source инструмент MLEM!
https://mlem.ai/

Этот крутой тул был невозможен без @mike0sv и @agusch1n ! Большой им респект!

Пока все материалы на английском, но думаю скоро появится что-нибудь на русском. Если хотите поддержать проект, небольшой гайд:

- ⭐️ the repo
- ✍️ Check out the blog post
- 🎬 Watch the video and like it!
- Like/share/comment posts on Twitter (the repo one with dog giphy is most important)
- Like/share/comment posts on LinkedIn (the repo one with dog giphy is most important)
- Go to HackerNews and look for it to upvote
- Join us tomorrow for the Release Party Meetup
- We also got a GREAT article in Tech Crunch! Please share!

#interview #algo
Интересные лекции по dynamic programming
https://m.youtube.com/watch?v=iKj-xI4enLw&feature=youtu.be

DP это применение мемоизации (https://en.wikipedia.org/wiki/Memoization). Давайте выберем какой-нибудь язык где легко добавить мемоизацию, например Питон, и возьмем задачу на DP, например https://leetcode.com/problems/coin-change/ . Тогда есть наивный, экспоненциальный алгоритм

def coinChange(self, coins: List[int], amount: int) -> int:
def fewest(val):
if not val:
return 0
if val < 0:
return inf
return min(fewest(val - c) for c in coins) + 1

return clamp_inf(fewest(amount))

а есть элитный, решающий задачу за О(М ⨉ N) time O(N) space алгоритм dynamic programming (найдите на картинке одно отличие)

def coinChange(self, coins: List[int], amount: int) -> int:
@cache
def fewest(val):
if not val:
return 0
if val < 0:
return inf
return min(fewest(val - c) for c in coins) + 1

return clamp_inf(fewest(amount))

(где clamp_inf определена для удобства как return v if v != inf else -1)

Поэтому надо научиться решать задачи экспоненциально, а потом оптимизировать.
Вот тут есть похожий подход к этой задаче на C++ и упоминание какой-то серии лекций, возможно она будет полезной https://leetcode.com/problems/coin-change/discuss/1371738/C%2B%2B-Recursion-greater-DP-Memoization-greater-DP-Tabulation

#ml
Ребята варят ML и написали про тестирование ML систем

https://telegra.ph/Testirovanie-ML-sistem-06-02

#ml #kaggle
Top kaggle solutions
https://farid.one/kaggle-solutions/

#ml #dl
Determined.ai
всем советую и сам пользовался. и self-hosted, и внутри как хочешь ресурсы аллоцируешь, и эксперименты логгируешь, и модель реджистри делаешь, прям вах какая красота. а для визуализаций обычный такой тензоборд, но атвоматом поднимается
upd. еще у них есть слэк и там всё можно спрашивать. как я понял, за банкет платит HPE, который их купил и развивает опенсорс
MLFlow - медленно и некрасиво (зато бесплатно)
Neptune - быстро и красиво
W&B - быстро, красиво и дорого шо пипец

#mlops
Airflow – это оркестратор/шедулер для пайплайнов обработки данных. Типичный пайплайн: раз в сутки налить одни логи, потом другие логи, потом третьи логи, затем перелить это куда-то ещё, затем обучить модель и сохранить её куда-то. И здесь не должно быть капитальной разницы между как-нибудь бустингом и prophet.
В вашем случае ничего не сказано про регулярность запуска. Если нужно сделать предсказания для каждой из колонок только один раз, то airflow не нужен. У него основная цель – более-менее удобно запускать и мониторить регулярные задачи: в динамике смотреть, что когда падало, что сколько времени выполнялось и т.д.

#ml #recommender

Про прогноз спроса в ритейле 🛒

Одна из самых важных и денежных задач в ритейле - предсказание спроса. Именно проекты связанные со спросом часто бывают ключевыми в работе DS команд крупнейших игроков рынка.
Причём спрос как таковой можно прогнозировать как для первостепенной цели - автопополнения распределительных центров/торговых точек, так и для косвенных. К примеру, можно построить зависимость спроса от цен (фактически, усложнённую эластичность) и таким образом управлять ценообразованием, чтобы максимизировать ожидаемую выручку. Либо же строить зависимость спроса от ассортимента и формировать ассортимент, который будет максимизировать спрос.

Подборка материалов, которые помогут разобраться в теме:
1. Прогноз спроса для промо акций в Магните: часть 1 (более бизнесовая) и часть 2 (более техническая). Ребята выиграли несколько премий в этом году, так что знают о чём говорят 🙂
2. Доклад про предсказание спроса от ребят из Rubbles и х5. Есть ещё один от Саши Фонарёва, более подробный. Оба скорее бизнесовые.
3. #кудажебезвалеры Валерий Бабушкин про предсказание спроса в х5 (но обратите внимание что видео от 2020 года, часть инфы устарела). Тут есть.и про признаки, и про построение непосредственно моделей.
4. Евгений Бурнаев: Топологический анализ временных рядов для прогнозирования спроса
5. Топовый вебинар Богдана Печёнкина по ценообразованию (тут есть модели спроса и целый блок про признаки)
6. Доклад Максима Гончарова про управление ассортиментом на основе моделей спроса
7. Учебное соревнование по прогнозу продаж на Kaggle. А ещё есть соренование от Walmart и от Favorita.
Здесь в ноутбуках можно найти примеры применения различных подходов.

За помощь в создании подборки большое спасибо Максиму

#ml #theory

Вчера у меня прошёл последний семинар по машинному обучению на ФКН в этом сезоне. Семинарить у самого Жени Соколова было большой честью.

Коли курсера закрыта, курсы ещё не особо куда-то переехали, а на дворе лето — лучшее время для самообразования, держите плейлисты с видосами с курса.

лекции МО-1 лекции МО-2 мои семинары репозиторий

Знать всё невозможно. Поэтому в течение курса я узнал что-то, что не знал раньше. Хочу поделиться с вами самыми крупными открытиями. Некоторые из них довольно стыдные:

- Я очень мало знал про обучение эмбеддингов на графах. Семинарист Ильдус сделал про это богоподобный конспект [ru] и тетрадку в питоне.

- Я вообще ничего не знал про differential privacy и то, как можно добавить эту штуку в свои модели.

пост 1 [en] пост 2 [en] статья от apple [en]

- У нас был классный семинар про бустинг с ручными задачками [ru]. Кажется, что я перешёл в его понимании на какой-то качественно новый уровень.

- Я ничего не знал про uplift-моделирование и никогда не встречался с ним на практике. Узнал чуть больше из обзорной статьи [en]

- Я вообще ничего не знал о спектральной кластеризации. Ни разу не слышал о таком методе, а он есть даже в sklearn.

лекция [ru] семинар [ru] туториал [en]

- Я никогда не уважал ядра и SVM. После курса стал относиться к ним немного получше.

#math
Книги по доказательной математике

#financial
Крутой чувак по подготовке к CFA и финансовым рынкам

https://m.youtube.com/c/MarkMeldrumPhD/playlists

#opensource
Подборочка опенсурс проектов
https://awesomeopensource.com/

#behavioral
Списочек вопросов от Виктора Рогуленко:

Behavioral Questions | SWM Prep

(0.) General
Tell me about yourself
Why a software manager? Wny not a product manager?
Talk about some of the projects you've worked on
What was the largest project you've executed?
When was the last time you did something innovative?
How do you describe the technical aspects of a project to individuals who don't have technical backgrounds?

(1.) Company
Why Google? - ambitions projects in ambiguous environments - action-oriented culture - collaborative & diverse teams
Why Meta?
Why Amazon?
Why …

(2.) Working with people
Experience-based
Tell me about a time when you've handled a conflict with a subordinate, a teammate, or a superior.
Tell me about a difficult employee situation that you handled not so well
Give an example of how you helped another employee
How do you manage difficult conversations?
Hypothetical
How would you address a skills gap?
How would you address a personality conflict?
How would you ensure your team is diverse and inclusive?
How could you spot burn out?
How would you organize day to day work activities?
How would you convince a team to adopt a new technology?
How do you plan to integrate team building into the workplace?


(3.) People Management / Leadership
Experience-based
How do you lead in a non-hierarchical team environment (even if you are not a formal leader)?
What is your personal leadership style?
How do you set goals for your engineering team?
Show examples of how you’ve resolved complex situations. How did you ensure you dealt with team challenges in a balanced way?
How would you build a high-performance engineering team?
How do you hire top engineers?
How do you structure 1:1s?
How do you deal with low performers?
How do you deal with high performers?
How do you coach and develop your team?
Talk about your best and worst performing teams
Have you ever coached an engineer into a management role?
How do you build credibility with new reports on a team you haven't built yourself?
Hypothetical
How would you support and grow your teams?
How would you influence, solve problems and drive improvements?
How would you take ownership and stay creative while moving quickly?
What would you do with someone that had stayed at the same level for too long?

(4.) Project Management
Experience-based
Tell me in detail about the architecture of a project you've been involved with
Tell me about a time you scaled a system
As a manager, how do you handle trade-offs?
Describe how you deal with change management
Describe in detail a project that failed
Describe a project in the past that was behind schedule and provide concrete steps that you took to remedy the situation
How do you break down large, complex projects for your team?
Tell me about a time you needed to deliver a project on a deadline but there were multiple roadblocks and constraints to deliver. How did you manage that situation?
Tell me about a project, product or system you worked upon. What were the design and technical problems you faced? How did you solve them?
Hypothetical
What’s your personal Project Management philosophy? How do you apply your framework to projects you manage? Be prepared to explain and justify your methodology.
Be able to discuss and compare different project management methodologies and their relative merits (e.g. tradeoffs between flexibility and process in an agile environment). Why did you use a particular approach?
How do you deal with ambiguous situations and problems?
Tell me how you would balance engineering limitations with customer requirements
How do you handle projects without defined end dates?
How would you prioritize multiple projects of varying complexity?
How do you balance process versus execution? What are signals that too much or too little process is in place?
How do you evaluate the success or failure of a project?
What are some strategies for handling competing visions on how to execute a project?

Be prepared to discuss how to use data effectively to move critical decisions forward and how to measure impact.