#interview #systemdesign #recommendersystems
Очень крутая ссылка с материалами для подготовки к ML System Design и Recommender Systems
https://www.theinsaneapp.com/2021/03/system-design-and-recommendation-algorithms.html

#interview #book
Что почитать при подготовке к Behavioral

#interview #english
Какие английские слова употреблять на интервью

#interview #behavioral
Что-то интересное о подготовке к Behavioral

Привет!

1. Канал Gergely Orosz (Pragmatic Engineer) - https://youtube.com/c/mrgergelyorosz - тут больше в общем про разработку/менеджерство, но есть и видео специально по бихейву
2. Dan Croitor https://youtube.com/c/DanCroitor - чисто бихейв
3. Meta https://youtube.com/channel/UCEHFikgnRuLd1HYKTLrae9Q - тут совсем немного видео, не специфично про бихейв но больше про прохождение интервью в целом. Мне оч зашло "Don't get down-leveled or how to tell a good story".

#rl
Interactive RL
https://transforms.ai/animo

#ml
Инструментальные методы отбора переменных

https://econml.azurewebsites.net/spec/flowchart.html

#interview #career

https://youtu.be/0Z9RW_hhUT4?t=507

довольно классно показаны различные варианты ответов на один и тот же вопрос в зависимости от уровня

#ml #mlops

Всем привет! Сегодня день большого анонса! Команда Iterative.ai выпустила новый open source инструмент MLEM!
https://mlem.ai/

Этот крутой тул был невозможен без @mike0sv и @agusch1n ! Большой им респект!

Пока все материалы на английском, но думаю скоро появится что-нибудь на русском. Если хотите поддержать проект, небольшой гайд:

- ⭐️ the repo
- ✍️ Check out the blog post
- 🎬 Watch the video and like it!
- Like/share/comment posts on Twitter (the repo one with dog giphy is most important)
- Like/share/comment posts on LinkedIn (the repo one with dog giphy is most important)
- Go to HackerNews and look for it to upvote
- Join us tomorrow for the Release Party Meetup
- We also got a GREAT article in Tech Crunch! Please share!

#interview #algo
Интересные лекции по dynamic programming
https://m.youtube.com/watch?v=iKj-xI4enLw&feature=youtu.be

DP это применение мемоизации (https://en.wikipedia.org/wiki/Memoization). Давайте выберем какой-нибудь язык где легко добавить мемоизацию, например Питон, и возьмем задачу на DP, например https://leetcode.com/problems/coin-change/ . Тогда есть наивный, экспоненциальный алгоритм

def coinChange(self, coins: List[int], amount: int) -> int:
def fewest(val):
if not val:
return 0
if val < 0:
return inf
return min(fewest(val - c) for c in coins) + 1

return clamp_inf(fewest(amount))

а есть элитный, решающий задачу за О(М ⨉ N) time O(N) space алгоритм dynamic programming (найдите на картинке одно отличие)

def coinChange(self, coins: List[int], amount: int) -> int:
@cache
def fewest(val):
if not val:
return 0
if val < 0:
return inf
return min(fewest(val - c) for c in coins) + 1

return clamp_inf(fewest(amount))

(где clamp_inf определена для удобства как return v if v != inf else -1)

Поэтому надо научиться решать задачи экспоненциально, а потом оптимизировать.
Вот тут есть похожий подход к этой задаче на C++ и упоминание какой-то серии лекций, возможно она будет полезной https://leetcode.com/problems/coin-change/discuss/1371738/C%2B%2B-Recursion-greater-DP-Memoization-greater-DP-Tabulation

#ml
Ребята варят ML и написали про тестирование ML систем

https://telegra.ph/Testirovanie-ML-sistem-06-02

#ml #kaggle
Top kaggle solutions
https://farid.one/kaggle-solutions/

#ml #dl
Determined.ai
всем советую и сам пользовался. и self-hosted, и внутри как хочешь ресурсы аллоцируешь, и эксперименты логгируешь, и модель реджистри делаешь, прям вах какая красота. а для визуализаций обычный такой тензоборд, но атвоматом поднимается
upd. еще у них есть слэк и там всё можно спрашивать. как я понял, за банкет платит HPE, который их купил и развивает опенсорс
MLFlow - медленно и некрасиво (зато бесплатно)
Neptune - быстро и красиво
W&B - быстро, красиво и дорого шо пипец

#mlops
Airflow – это оркестратор/шедулер для пайплайнов обработки данных. Типичный пайплайн: раз в сутки налить одни логи, потом другие логи, потом третьи логи, затем перелить это куда-то ещё, затем обучить модель и сохранить её куда-то. И здесь не должно быть капитальной разницы между как-нибудь бустингом и prophet.
В вашем случае ничего не сказано про регулярность запуска. Если нужно сделать предсказания для каждой из колонок только один раз, то airflow не нужен. У него основная цель – более-менее удобно запускать и мониторить регулярные задачи: в динамике смотреть, что когда падало, что сколько времени выполнялось и т.д.

#ml #recommender

Про прогноз спроса в ритейле 🛒

Одна из самых важных и денежных задач в ритейле - предсказание спроса. Именно проекты связанные со спросом часто бывают ключевыми в работе DS команд крупнейших игроков рынка.
Причём спрос как таковой можно прогнозировать как для первостепенной цели - автопополнения распределительных центров/торговых точек, так и для косвенных. К примеру, можно построить зависимость спроса от цен (фактически, усложнённую эластичность) и таким образом управлять ценообразованием, чтобы максимизировать ожидаемую выручку. Либо же строить зависимость спроса от ассортимента и формировать ассортимент, который будет максимизировать спрос.

Подборка материалов, которые помогут разобраться в теме:
1. Прогноз спроса для промо акций в Магните: часть 1 (более бизнесовая) и часть 2 (более техническая). Ребята выиграли несколько премий в этом году, так что знают о чём говорят 🙂
2. Доклад про предсказание спроса от ребят из Rubbles и х5. Есть ещё один от Саши Фонарёва, более подробный. Оба скорее бизнесовые.
3. #кудажебезвалеры Валерий Бабушкин про предсказание спроса в х5 (но обратите внимание что видео от 2020 года, часть инфы устарела). Тут есть.и про признаки, и про построение непосредственно моделей.
4. Евгений Бурнаев: Топологический анализ временных рядов для прогнозирования спроса
5. Топовый вебинар Богдана Печёнкина по ценообразованию (тут есть модели спроса и целый блок про признаки)
6. Доклад Максима Гончарова про управление ассортиментом на основе моделей спроса
7. Учебное соревнование по прогнозу продаж на Kaggle. А ещё есть соренование от Walmart и от Favorita.
Здесь в ноутбуках можно найти примеры применения различных подходов.

За помощь в создании подборки большое спасибо Максиму