#mlops

https://www.researchgate.net/publication/354805553_Demystifying_MLOps_and_Presenting_a_Recipe_for_the_Selection_of_Open-Source_Tools

Мне очень нравится блог на neptune.ai . Вот несколько статей оттуда: Best ML Model Registry Tools (обновл 30 сентября 2022), The Best MLOps Tools and How to Evaluate Them (обновл 19 августа 2022), Best End-to-End MLOps Platforms: Leading Machine Learning Platforms That Every Data Scientist Need to Know (обновл 21 июля 2022) . Кстати, с этой платформой я тоже знакомилась в рамках курса MLOps ( https://yandex.ru/q/tech/11450986242/ ) По моему опыту (познакомилась с 5-ю платформами), статьи и обзоры не очень сильно проясняют ситуацию, но там есть критерии и чекбоксы, которые дают некоторый ориентир. При выборе инструмента для себя имеет смысл потратить время и познакомиться с несколькими вариантами. По моим личным впечатлениям - WandB - отличный вариант с самым низким порогом вхождения и плавной кривой обучения если нужно запускать поиск гиперпараметров и сравнивать очень много моделей между собой, очень удобно для совместной работы и быстрого формирования ярких и наглядных отчетов, ClearML - отличный инструмент, если главным является налаживание пайплайнов и трекинга моделей, при более подробном знакомстве - это мощный инструмент (вся система локально - это 6 докер-контейнеров для трекинга моделей и ещё 7 контейнеров для деплоя и мониторинга на стадии продукта), MLFlow - легковесный инструмент для трекинга и деплоя, https://abacus.ai/ - очень эффективный инструмент, позволяющий деплоить прямо из ноутбука, при этом налажены и встроены мониторинг model drift и data drift, neptune.ai - мощная и обширная платформа, постоянно развивается, шикарный блог.

#causal
Интересная книга:
https://chabefer.github.io/STCI/

#datasets #crypto

📚 Анализ данных в крипте

У меня в канале много ML-щиков, которые хотят погружаться в мир блокчейнов. Нейронки вам вряд ли пригодятся, но вот вам полезные источники данных. Научитесь с ними работать, укажите в резюме и сможете устроиться в крипто стартапы аналитиком.

- dune.com - люди загружают датасеты про блокчейн, ты пишешь к ним SQL! Отдельно интересно смотреть горячие дешборды, чтобы понимать, что сейчас происходит в мире крипты. Например, сейчас все опять обсуждают бан кошельков USDT и остановку BNB Chain. Парсится питоном сложно, с selenium должно быть ок.

- tenderly.co - если интересно понять что-то про транзакцию (какой контракт и как был вызван, почему упала транзакция). API платный, но сайт парсится на ура.

- nansen.ai - если нужно узнать больше про адрес. Показывает не только балансы токенов, NFT и стейкинг в разных сетях, но и похожие аккаунты, с какими контрактами/кошельками взаимодействует, выставляет labels, полезен для антифрода и “пробива”. Сложно парсится питоном.

Блок эксплореры типа etherscan выдают минимум инфы, только для 1 чейна, а их API максимально скуден и отличается от чейна к чейну. Если дергать напрямую ноды через RPC, то там еще меньше базового функционала (из-за этого и появились сканнеры). Нужно знать, какой минимум можно получить от них, так как они парсятся на ура.

Также периодически можно найти крутые сайты с ценными данными, которые так и хочется спарсить. Один из таких скину завтра, подписывайтесь :)

#dl #courses

#How_to_заботать

How to заботать Deep Learning?

Как и обещали за (((много огоньков и шэров)) наш преподаватель по ML/DL делится своим видением How to заботать Deep Learning.
Овладев ML (Смотрите How to заботать Machine Learning), самое время присмотреться к глубокому обучению. Ведь куча современных прорывных и революционных технологий в области искусственного интеллекта основываются именно на нейронных сетях. Благодаря им машины способны отличать котиков от собачек, анализировать тексты, сжимать данные и пробовать себя в рэпе.

Как всегда, для начала отлично подойдет какой-нибудь курсик:
1) Deep Learning School
Курс по глубокому обучению от МФТИ, ориентирован в том числе на школьников.
Математическая часть освещается, но более на интуитивном уровне. Основной упор сделан на практику.
Практических заданий много, они позволяют deep погрузиться в материал и научиться с умом
применять нейронные сети под разные задачи. Есть базовый и продвинутый поток. Советую брать продвинутый,
особенно если вы уже освоились в питоне и классическом машинном обучении, ибо на нем больше заданий. После
окончания выдается сертификат и делается итоговый проект. Первый семестр посвящен работе с изображениями,
второй - работе с текстами и аудио. Очень хороший курс, и многие ныне успешные handmade persons😎😎 в индустрии начинали
именно с него (потому что больше ничего особо и не было).
2) Курсы cs от Стэнфорда
Посвященные разным аспектам глубокого обучения. Есть курс, посвященный NLP,
и даже отдельный курс, посвященный машинному обучению на графах. Практические задания есть, но они не
самые обширные, и немалый упор делается на теорию и внутреннюю работу всего происходящего. По графам,
по личному мнению автора, нет курса лучше, чем стэнфордский cs224w.
3) Natural Language Processing от ods.ai.
Тоже достаточно большой и полный курс, освещающий большую часть современной
обработки текстов. Несомненным плюсом является то, что курс, в отличие от стэнфордских, полностью на
русском языке.
4) Нейронные сети и компьютерное зрение от Samsung Research Center
Рассчитан в том числе на школьников, в нем достаточно сильно разжевываются основные понятия нейронных сетей, и от них
идет переход уже к обработке изображений.
5) An Introduction to Deep Reinforcement Learning
Если хочется чего-то экзотического, например, заботать обучение с подкреплением, то есть отлчиный курс от
Huggingface. Он на английском, но это не делает его менее бомбическим.
После прохождения каких-то курсов и преисполнения в своём познании, можно переходить сами знаете к чему— практике, как действовать уже писали тут.

Книг же по глубокому обучению столь же много, сколько и курсов, но, что является недостатком для начинающего, к книгам не прилагаются качественные практические задания. То, что безусловно можно посоветовать - "Глубокое обучение" от Яна Гудфеллоу (лежит в комментариях). Книга является очень классической, и в то же время содержит множество полезных приёмов и объяснений, почему работает именно так, а не иначе. Более того, в ней очень много материала, про который не расскажут практически ни на каком дополнительном курсе. Поэтому она однозначно получает огонек от (((админа)))🔥🔥.

ок раскажу про свой челендж:
литкод ( 2400 задач)
binarysearch com (1067)
codingchef ~2k problems
hacker earth com - 1500
quant questions - 200
strata scratch - 500
я хочу все сделать подобные сайты. на кодфорс не могу смотреть - там слишком сложно.
я не могу полдня сидеть на 1 задаче!

#systemdesign
Микросервисы

Классные книги у Sam Newman: Building Microservices и Monolith to Microservices.
И сайт microservices.io тоже интересный (есть и книга у этого автора)

https://www.youtube.com/c/GotoConferences

Можно ещё на GoTo послушать разные выступления про микросервисы (вчера буквально слушал от Zalando и Spotify) — очень содержательно)

Прямо сейчас идет онлайн курс по асинхр. архитектуре https://education.borshev.com/architecture На него уже поздно записываться, но скорее всего можно будет получить доступ после окончания к материалам. Я записан, считаю его очень полезным для себя. И там много ссылок на доп. материалы

Ещё, кстати, (на удивление) полезный и не привязанный к вендору обзор разных паттернов от Microsoft:
https://learn.microsoft.com/en-us/azure/architecture/patterns/

В целом, у них много полезного там

У Марка Ричардса есть классный канал на Youtube про архитектуру в удобном для восприятия коротком формате:
https://www.youtube.com/channel/UC-Z7T0lAq_xECevIz8E5R5w

По сути это материал из Fundamentals of Software Architecture, которую я, к слову, тоже очень рекомендую)

Проходил какое-то время назад его (год/полтора назад). Я бы без ожиданий шел. Если курс не доработали, то он не очень хорош, как бы Антон не старался.

Материала очень много, объясняется всё поверхностно, дается САМАЯ база.

Условно, вам расскажут, что есть Event Storming в двух словах, расскажут, что есть DDD, но особо ничего не дадут про DDD, первые пару глав любой книги про DDD, не больше. И вы построите простейшую асинхронную систему.

Для самых-самых новичков.

Из плюсов, ссылок на доп. материалы датут в достатке (склонен считать это единственным полезным, что есть в курсе).