Designing Machine Learning Systems by Chip Huyen

Machine learning systems are both complex and unique. Complex because they consist of many different components and involve many different stakeholders. Unique because they're data dependent, with data varying wildly from one use case to the next. In this book, you'll learn a holistic approach to designing ML systems that are reliable, scalable, maintainable, and adaptive to changing environments and business requirements.

Author Chip Huyen, co-founder of Claypot AI, considers each design decision--such as how to process and create training data, which features to use, how often to retrain models, and what to monitor--in the context of how it can help your system as a whole achieve its objectives. The iterative framework in this book uses actual case studies backed by ample references.

This book will help you tackle scenarios such as:
- Engineering data and choosing the right metrics to solve a business problem
- Automating the process for continually developing, evaluating, deploying, and updating models
- Developing a monitoring system to quickly detect and address issues your models might encounter in production
- Architecting an ML platform that serves across use cases
- Developing responsible ML systems

Link: https://www.oreilly.com/library/view/designing-machine-learning/9781098107956/

Navigational hashtags: #armknowledgesharing #armbooks
General hashtags: #machinelearningsystemdesign #systemdesign #machinelearning #ml #designingmachinelearningsystems

@data_science_weekly

#spacex #starship

"Вчерашний полёт гигантского космического корабля Starship компании SpaceX вдохновил любителей космоса по всему миру, несмотря на неудачное завершение. Ускоритель первой ступени Super Heavy и сам космический корабль были потеряны при возвращении на Землю. Но мегаракета полетела быстрее, дальше и дольше, чем раньше, вселяя уверенность в компанию и NASA, чья программа «Артемида» планирует использовать Starship для высадки астронавтов на Луну."

https://youtu.be/Dr8ZaMAa5jw

#cnn #cv #pytorch #yolo #sport #tennis

https://www.youtube.com/watch?v=L23oIHZE14w

#vr

Какой квест брать, с 512 или 128 Гб памяти? Так поржал с этого коммента )

#hardware #laptop

выбираю новый ноут для ML-задач, за 8-10 тыс баксов можно взять ноут который почти ВО ВСЕХ аспектах (CPU, GPU, тоже 128GB но более скоростная RAM) лучше (иногда в разы) моего домашнего полноразмерного сервера 😂
правда, сервер я собирал в 2012м

хорошей альтернативой кажется Alienware M18 за $4,199.99, в нём памяти всего 64GB и RTX 4090 вместо ADA 5000, так зато и вдвое дешевле. эх, если бы туда RAM ещё больше можно было заказать...

кто посоветует хороший ноут для ML?

https://www.dell.com/en-us/shop/gaming-laptops/alienware-m18-r2-gaming-laptop/spd/alienware-m18-r2-laptop/

#hardware #laptop

Всё, хороший ноут для работы найден.

Intel 14th Generation Raptor Lake Refresh i9-14900HX 24 Core - 32 Thread Processor, 1.6 GHz (Max Turbo Frequency 5.8 GHz), 36 MB Smart Cache

NVIDIA GeForce RTX 4090 w/ 16 GB GDDR6

18" UHD+ (3840 x 2400) 120Hz screen

24 TB (3 x 8 TB) M.2 PCIe 4.0 x4 NVMe SSD

192 GB (4 x 48 GB) of fast DDR5 5600MHz dual channel system memory

Если брать только 1 SSD из 3х, можно уложиться в $6k.

Осталось придумать, как его импортировать )

#hardware

"Тот факт, что Micron решила показать свои модули памяти MCRDIMM объёмом 256 Гбайт именно на конференции Nvidia GTC 2024, посвящённой ИИ, может говорить о том, что компания рассматривает этот продукт в качестве решения для ИИ-серверов нового поколения, например, на базе процессоров Intel Xeon Scalable Granite Rapids. Системы на их основе будут использовать огромные объёмы памяти для обучения ИИ-моделей, поэтому указанные модули ОЗУ придутся как нельзя кстати. Сами чипы Intel Xeon Scalable Granite Rapids будут поддерживать 12-канальный режим работы памяти по два модуля на канал. Таким образом, на основе модулей Micron можно будет создавать серверы с 3 Тбайт ОЗУ при использовании 12 слотов памяти и до 6 Тбайт ОЗУ при использовании 24 слотов памяти."

https://3dnews.ru/1102149/micron-pokazala-ogromnie-moduli-ozu-mcrdimm-ddr58800-obyomom-256-gbayt-dlya-serverov

Рашифровка аудио с Whisper

Всех приветствую! Возможно, каждый из вас сталкивался с небольшой проблемой, когда хочется сделать транскрибацию часового аудио или видео и перенести все это в текст и не хочется тратить много времени на прослушивание даже на x2 и конспектировании.

К счастью, все придумано уже до нас. Нам остается лишь правильно это применить.
Расчехляем гугл colab и подгружаем GPU.

В первую ячейку вписываем небольшой костыль:

import locale
def getpreferredencoding(do_setlocale = True):
return "UTF-8"
locale.getpreferredencoding = getpreferredencoding

Далее подгружаем Whisper и ставим ffmpeg

!pip install git+https://github.com/openai/whisper.git
!sudo apt update && sudo apt install ffmpeg

В файлы загружаем необходимую для расшифровки аудиодорожку и далее просто запускаем модель

!whisper "audio1891746601.m4a" --model large-v2

После --model мы видим, что в принципе можно применять разные модели. По желанию вы можете даже попробовать версию v3 или применить другие модели, например tiny, base, small, medium. Подробнее тут.

Если вы хотите загрузить аудио из интернетов, то допустим это можно сделать следующим образом (может меняться от кейса к кейсу, поэтому просто погуглите)

!wget -c -A '*.mp3' -r -l 1 -nd http://example.org/musics/

Либо если вы хотите расшифровать это видео, грузим его вот так, а потом снова применяем whisper

pip install yt-dlp
yt-dlp -x --audio-format mp3 -o use_whisper.mp3 -- 8SQV-B83tPU

!whisper "use_whisper.mp3" --model large-v3

Результат расшифровки сохранится у вас в той же папочке.
Несколько минут - и вам не нужно слушать весь текст. А если файл большой, то можно другой сеточкой сделать суммаризацию (ну и вообще это сейчас можно делать прямо в браузере).

Надеюсь, было полезно. Кидайте в коменты модели (с кодом!), которые можно было бы применить для решения этой задачи.
Подробнее тут, тут и тут.

#dl #audio

#hardware

посмотрел цены, полноценная RTX 4090 $2200, 512Gb DDR5 4800MHz $2100, Threadripper™ 7970X 32-Core, 64-Thread $2500.
за $8k можно гораздо мощнее сервер собрать, чем этот ноутбук, пусть даже и Титан.

старший Threadripper™ PRO 7995WX 96-Core, 192-Thread без вариантов, $10k стоит один проц, блин.

А есть у кого новый Threadripper/Ryzen? И, кстати, новый Intel 14900? Хочу прогнать один бенчмарк.

#rl #trading

Посмотрел открытое занятие школы Отус по RL в трейдинге, дай, думаю, гляну, что ж там за библиотека волшебная FinRL. Многое стало понятно после просмотра примеров. Вот они выкладывают линию капитала от применения своего торгового RL агента. И никого не смущает, что просадка блять до 60% счёта доходит. Как и лектора Отус, кстати, который говорит - ну, там фильтров побольше добавить, и будет +.


https://github.com/AI4Finance-Foundation/FinRL/blob/master/examples/FinRL_PortfolioOptimizationEnv_Demo.ipynb

#trading #chan

https://www.youtube.com/watch?v=5G7YdjnRvVI

#politics #security

По поводу того, что наши спецслужбы не смогли предотвратить теракт в Крокус-Холле, хотя американцы предупреждали за две недели, что нечто подобное готовится: так а как они могли предотвратить, если они только трусы да дверные ручки ядом мазать обучены? Возможно, они сами и причастны к организации, я особо не удивлюсь, если так окажется. И поймал себя на мысли, что ужасные цифры количества погибших и раненых в теракте после 2 лет необъявленной войны с почти ежедневными сообщения о гражданских жертвах уже не вызывают почти никаких чувств. Очередные цифры, которые стараешься побыстрее забыть и больше не думать про них.

#trading #balch #course

Вот хороший ютуб-курс для новичков по питону, пандас, нампай, ML с прицелом на трейдинг и другие финансовые приложения. Лучший, что я знаю. Читает небезызвестный Tucker Balch.

https://www.youtube.com/playlist?list=PLAwxTw4SYaPnIRwl6rad_mYwEk4Gmj7Mx

#fun

По фану надо попробовать поставить везде своим жизненным кредом "To overcharge and to underdeliver", несложно догадаться, что получится )

#wisdom

It is better to be roughly right than precisely wrong.

#wisdom

In a market meltdown, nothing rises except correlations.

#ai #search #google #gpt

https://3dnews.ru/1102186/google-nachala-pokazivat-rezultati-iipoiska-polzovatelyam-kotorie-ne-aktivirovali-etu-funktsiyu

Дорогие подписчики и гости канала!
Нынешнее российское руководство, под предводительством Секретаря Совета Безопасности РФ Николая Патрушева, пытается извлечь максимум из теракта в Крокус Сити Холле. Во-первых, возвращение "смертной казни" - уже практически решенный вопрос. Придётся пройти ряд процедур, но террористы, осуществившие кровавый расстрел мирного населения, должны быть казнены. Это решение уже обговорено и дано распоряжение готовиться к реализации. Смертную казнь планируют применять не только в отношении террористов, но и за государственную измену, в этом случае, применительная практика грозит обернуться катастрофой. Закручивание гаек - излюбленный метод взаимодействия с обществом нынешней власти в России. Напрасны коментарии аналитиков, что, дескать, возврат смертной казни и, тем более, применение её, в отношении устроивших теракт в Крокус Сити Холле - невозможны. В России возможно всё, стоит только представителям верховной власти захотеть. 


 Нелепые обвинения руководства Украины в подготовее и организации теракта должны стать прологом к новому витку мобилизации. Во время совещания с представителями руководства силового и военного блоков Патрушеву было предложено использовать следующий нарратив: "все мужчины от 18 до 50 лет уроженцы Средней Азии получившие гражданство России в последние пятнадцать лет не прошедшие СВО, будут считаться пособниками террористов". Не имеющие российского гражданства проживающие на территории России граждане Узбекистана, Кыргызстана, Таджикистана и Туркменистана призывного возраста также будут склоняться к участию в СВО с угрозой быть записанным в террористы. Считается, что такие меры будут широко поддержаны населением России.

#series #openings

https://vimeo.com/670769093