Forwarded from MISTER SOSISTER ~ CHINESE TIME OF MY LIFE
7. МЛ не существует в вакууме. Для него нужны данные, для данных нужно хранилище, для запуска нужны ресурсы, нужна инфра, нужна бекенд-логика. Здесь, опять же, не получится просто прикрутить вторую модель на ТФ когда первая на пайторче, потому что зависимости улетят в космос. Не получится использовать любые данные, и не получится съедать все ресурсы машины или допускать краши. Нужно думать про соседей, потому что дырка в стене это проблема для обоих.
8. МЛ не существует в моменте, и точно запускается не только во время тестирования. Вы должны понимать что ваша модель будет крутиться в облаке 24/7, и если вы заранее не позаботитесь, чтобы ее кручению ничего не препятствовало, то будете просыпаться ночами и крутиться вместе с ней. МЛ нужно поддерживать, и чем этой поддержки меньше, тем лучше.
Итого: бизнес не оценит крутость, модность, новизну, и даже интеллектуальность ваших алгоритмов, что действительно ценится это простота, прозрачность, эффективность в решении поставленной задачи, и стоимость внедрения и поддержки. Тащемта, то же можно сказать и про самого МЛ-инженера 🙈
8. МЛ не существует в моменте, и точно запускается не только во время тестирования. Вы должны понимать что ваша модель будет крутиться в облаке 24/7, и если вы заранее не позаботитесь, чтобы ее кручению ничего не препятствовало, то будете просыпаться ночами и крутиться вместе с ней. МЛ нужно поддерживать, и чем этой поддержки меньше, тем лучше.
Итого: бизнес не оценит крутость, модность, новизну, и даже интеллектуальность ваших алгоритмов, что действительно ценится это простота, прозрачность, эффективность в решении поставленной задачи, и стоимость внедрения и поддержки. Тащемта, то же можно сказать и про самого МЛ-инженера 🙈
Forwarded from Andrey Kamyshan
если правильно понял постановку проблемы, то начать можно с https://en.m.wikipedia.org/wiki/Learning_to_rank#
Wikipedia
Learning to rank
Learning to rank or machine-learned ranking (MLR) is the application of machine learning, typically supervised, semi-supervised or reinforcement learning, in the construction of ranking models for information retrieval systems. Training data may, for example…
Forwarded from Anton Eryomin
You should really learn to DEPLOY your Machine Learning models! Focus less on the algorithms and understand the products you are building. A junior data scientist tends to think about algorithms and model performance. A senior data scientists will think more efficient deployment pipelines, products, user experience and business metrics.
There are many ways to deploy ML models, but the most common one is as a ML microservice: a backend application would communicate to your ML service through http API calls (usually REST or RPC). There are many online tutorials to get you started. The first entries when searching on google:
- https://lnkd.in/gtUjMqaK
- https://lnkd.in/grPjpqz7
- https://lnkd.in/g4eGEyFr
- …
For example, you will be able to get a better feel on the latency of your model inference, you will be able to participate to system design conversations and you will be able to think about edge cases like “what happens when the data payload is empty?”, “what happens to the overall system when the ML server crashes?”. When trying to convince stakeholders, I always like to present a “product” instead of a “model”. A “model” or performance metrics are not really convincing to non-technical people, but show them in action what ML can do and they get impressed. I often like to use Dash (https://plotly.com/dash/) to prototype a quick UI to show the power of ML.
After learning to deploy API endpoints, learn about dockerizing your applications, about orchestrating your applications and push them to the cloud! After that learning this, you will be a long way in being a more senior data scientist.
Нашел пост чувака с ФБ в продолжении того, о чем писалось выше. Что мол МЛ это уже далеко не только какие-то метрики и модельки, это в первую очередь задача бизнеса и то, как ты свои модельки доведёшь до продакшена.
There are many ways to deploy ML models, but the most common one is as a ML microservice: a backend application would communicate to your ML service through http API calls (usually REST or RPC). There are many online tutorials to get you started. The first entries when searching on google:
- https://lnkd.in/gtUjMqaK
- https://lnkd.in/grPjpqz7
- https://lnkd.in/g4eGEyFr
- …
For example, you will be able to get a better feel on the latency of your model inference, you will be able to participate to system design conversations and you will be able to think about edge cases like “what happens when the data payload is empty?”, “what happens to the overall system when the ML server crashes?”. When trying to convince stakeholders, I always like to present a “product” instead of a “model”. A “model” or performance metrics are not really convincing to non-technical people, but show them in action what ML can do and they get impressed. I often like to use Dash (https://plotly.com/dash/) to prototype a quick UI to show the power of ML.
After learning to deploy API endpoints, learn about dockerizing your applications, about orchestrating your applications and push them to the cloud! After that learning this, you will be a long way in being a more senior data scientist.
Нашел пост чувака с ФБ в продолжении того, о чем писалось выше. Что мол МЛ это уже далеко не только какие-то метрики и модельки, это в первую очередь задача бизнеса и то, как ты свои модельки доведёшь до продакшена.
lnkd.in
LinkedIn
This link will take you to a page that’s not on LinkedIn
Forwarded from DL in NLP (Vlad Lialin)
🤗 запускает курс по RL
Syllabus: https://github.com/huggingface/deep-rl-class
Регистрация: тык
Обещают научить работать со stable baselines, RLlib, RL Baselines3 Zoo. Также будут не только заезженные Space Invaders но и новые environments, включая работающие на Unity.
Кроме классических топиков (Q learning, policy gradients, PPO) будут также offline RL и decision transformers.
Заучит классно, мне давно пора подтянуть свои RL скилы.
Syllabus: https://github.com/huggingface/deep-rl-class
Регистрация: тык
Обещают научить работать со stable baselines, RLlib, RL Baselines3 Zoo. Также будут не только заезженные Space Invaders но и новые environments, включая работающие на Unity.
Кроме классических топиков (Q learning, policy gradients, PPO) будут также offline RL и decision transformers.
Заучит классно, мне давно пора подтянуть свои RL скилы.
GitHub
GitHub - huggingface/deep-rl-class: This repo contains the Hugging Face Deep Reinforcement Learning Course.
This repo contains the Hugging Face Deep Reinforcement Learning Course. - huggingface/deep-rl-class
Forwarded from Борис опять
P.S. Яндекс рисерч не так давно выпустил статью про свойства метрик классификации.
Tldr: лучше использовать symmetric balanced accuracy чем f1 score. Но еще лучше почитать статью.
https://arxiv.org/abs/2201.09044
Tldr: лучше использовать symmetric balanced accuracy чем f1 score. Но еще лучше почитать статью.
https://arxiv.org/abs/2201.09044
Forwarded from DL in NLP (Vlad Lialin)
Стенфорд выложил все видосы cs224n Winter 2021 Natural Language Processing. 🔥🔥
Это один из лучших курсов по nlp в мире, и теперь доступна его более свежая версия. Есть нормальная лекция по трансформерам, T5, low resource MT.
Всем смотреть.
https://youtube.com/playlist?list=PLoROMvodv4rOSH4v6133s9LFPRHjEmbmJ
Это один из лучших курсов по nlp в мире, и теперь доступна его более свежая версия. Есть нормальная лекция по трансформерам, T5, low resource MT.
Всем смотреть.
https://youtube.com/playlist?list=PLoROMvodv4rOSH4v6133s9LFPRHjEmbmJ
Forwarded from Tatiana Durova
The STAR Interview: How to Tell a Great Story, Nail the Interview and Land your Dream Job https://www.amazon.de/dp/1973425904/ref=cm_sw_r_apan_i_N4ZDTKD69RHHYE718CTQ?_encoding=UTF8&psc=1
Amazon
The STAR Interview: How to Tell a Great Story, Nail the Interview and Land your Dream Job
The STAR Interview Method is used by millions of people all around the world to answer interview questions and tell stories. Fortune 500 companies (Amazon included) recommend using the STAR method to answer behavioral questions. Whether you’re just starting…