Practitioners guide to MLOps: A framework for continuous delivery and automation of machine learning by Google Cloud

Across industries, DevOps and DataOps have been widely adopted as methodologies to improve quality and reduce the time to market of software engineering and data engineering initiatives. With the rapid growth in machine learning (ML) systems, similar approaches need to be developed in the context of ML engineering, which handle the unique complexities of the practical applications of ML. This is the domain of MLOps. MLOps is a set of standardized processes and technology capabilities for building, deploying, and operationalizing ML systems rapidly and reliably.

The document is in two parts. The first part, an overview of the MLOps lifecycle, is for all readers. It introduces MLOps processes and capabilities and why they’re important for successful adoption of ML-based systems.

The second part is a deep dive on the MLOps processes and capabilities. This part is for readers who want to understand the concrete details of tasks like running a continuous training pipeline, deploying a model, and monitoring predictive performance of an ML model.

Link: Book

Navigational hashtags: #armknowledgesharing #armbooks
General hashtags: #mlops

#investment #finance

https://www.youtube.com/watch?v=BO6JQt8VAOY

#trading

Интересная трактовка. Но не перестаёт удивлять, как люди создают вокруг себя воображаемые миры.

https://www.youtube.com/watch?v=T6bgqyxgW2I

#micropytrhon #emlearn #controllers #sensors

https://www.youtube.com/watch?v=S3GjLr0ZIE0

#llms #gpt #langchain #rag

Основы пользовательской работы с LLM-ками.

https://www.youtube.com/watch?v=aZVGQ-IlkF8

#fun #bobr

Bobr kurwa! Это видео "сделало мой день" )

Ночь, встретил бобра
В тиши, на дороге пустой.
Он
вдруг заметил меня
И стал
удивленный такой.

Его к речке я захотел прогнать
И кричал ему, чтобы напугать:

Pierwszy raz w życiu widzę bobra!
Ale jesteś, kurwa, duży ty!
Pierdolę, ja patrzcie co spotkałem!
Jakie bydlę, bobr kurwa!

"Впервые в жизни вижу бобра!
Ты такой, блин, здоровый!
Офигеть, посмотрите, кого я встретил!
Какое животное, бобр, черт возьми!" (польск.)

https://www.youtube.com/watch?v=-RTVlPINyQ8

#spacex #starship

Обалденные результаты, 1-ю ступень успешно поймали. Теперь она официально пригодна для многократного использования.
Пока диктаторские режимы, ведомые людьми с сознанием питекантропа, воюют с соседями, пытаясь захватить их территории, продвинутые режимы делают шаги к колонизации других планет и открытию тайн Вселенной.

https://www.youtube.com/watch?v=CiJ7MBRc5ec

#security #auth #telegram

Возможно, просто решил отбить судебный штраф ))
Шучу, конечно, на самом деле инициатива отличная.

"Павел Дуров представил новый инструмент для бизнеса под названием Telegram Gateway, который позволит компаниям верифицировать номера телефонов своих пользователей по самой низкой на сегодня цене — всего $0,01 за одно сообщение с кодом подтверждения, независимо от страны.

Индустрия проверки номеров телефонов — это рынок с оборотом в миллиарды долларов. Telegram, который тратит около $10 миллионов ежемесячно на аутентификацию пользователей, предлагает компаниям избежать этих затрат, гарантируя мгновенную доставку, в отличие от СМС-сообщений, ожидание которых может составлять несколько минут.

Компании получат доступ к подробной статистике, с помощью которой можно отслеживать объём сообщений и управлять бюджетом, а также анализировать конверсии и рост числа пользователей.

Как отмечает Дуров, Telegram Gateway не станет существенным источником дохода мессенджера, однако «эта инициатива сделает мир более эффективным, снизив издержки и цены на эти услуги по всему миру». Что касается безопасности, то здесь предлагается проверенный протокол шифрования с открытым исходным кодом, который, в отличие от SMS, невозможно подделать или подменить с помощью SIM-карты."

https://3dnews.ru/1112453/telegram-zapustil-dlya-kompaniy-uslugu-sverhdeshyovoy-verifikatsii-telefonov-klientov-za-1-tsent

#security

"Собеседник представился и сообщил, что на аккаунте зафиксирована подозрительная активность и спросил, не находится ли Митрович в поездке? После отрицательного ответа задал ещё пару уточняющих вопросов. В процессе разговора сотрудник Microsoft решил проверить номер, используя данные Google. К его удивлению, официальная документация Google подтвердила, что некоторые звонки действительно могут поступать из Австралии, при этом номер казался подлинным. Однако, зная о возможной подмене номеров, Митрович продолжил проверку, попросив звонившего отправить ему электронное письмо.

Тот согласился. При этом на линии во время ожидания были слышны звуки клавиатуры и шумы, характерные для колл-центра, что не должно было вызвать сомнений в подлинности разговора. Однако всё раскрылось в тот момент, когда звонивший повторил «Алло» несколько раз. Митрович понял, что разговаривает с ИИ, так как «произношение и паузы были слишком идеальными».

Бросив трубку, он попытался перезвонить на номер, однако услышал автоматическое сообщение: «Это Google Maps, мы не можем принять ваш звонок». Далее он проверил активность входа в свой аккаунт Gmail (это можно сделать, нажав на фото профиля в правом верхнем углу, выбрав «Управление аккаунтом Google», затем перейдя в раздел «Безопасность» и проверив «Недавнюю активность безопасности»). Все входы в систему, к счастью, оказались его собственными.

Далее Митрович изучил заголовки полученного письма и обнаружил, что мошенник подделал адрес отправителя с помощью системы Salesforce CRM, которая позволяет пользователям устанавливать любой адрес и отправлять письма через серверы Google Gmail. Итог истории в том, что мошенники с помощью ИИ и поддельного Email могут быть настолько убедительны в своих действиях, что даже опытные пользователи могут быть подвергнуты обману. С учётом технологических реалий сегодняшнего дня, единственной защитой является бдительность."

https://3dnews.ru/1112460/noviy-vid-moshennichestva-s-ispolzovaniem-ii-natselen-na-zahvat-millionov-akkauntov-gmail

#religion

Обычно в диспуте учёного-атеиста и служителя церкви-верующего бледно выглядит именно верующий. Отсутствие логики, непримиримость к чужому мнению, иногда даже агрессия.
Даже был забавный коммент, мол, это как играть с голубем в шахматы, батюшка и фигуры смахивал, и на доску срал.

Но в данном случае, к сожалению, всё наоборот. Да еще у уважаемого антрополога не хватает банальной воспитанности не перебивать собеседника и постараться понять его слова (

https://www.youtube.com/watch?v=X9HhjOynhvQ

#astronomy #clipper #europe #lifesearch

Ура!

"Станция Europa Clipper стала самым крупным межпланетным зондом в истории NASA. Её масса в заправленном состоянии приближается к 6 тоннам (5900 кг). Почти половину массы станции приходится на топливо. Но даже вооружённая 24 двигателями станция совершит два гравитационных манёвра, чтобы прибыть к месту назначения: один через четыре месяца будет совершён у Марса, а в 2026 году станция произведёт манёвр у Земли. К Юпитеру Europa Clipper доберётся в апреле 2030 года, а к научной работе приступит примерно год спустя, когда её орбита будет установлена для близких пролётов с его спутником — Европой.

Европа — один из четырёх крупнейших спутников Юпитера. Но это небесное тело, по размеру сопоставимое с нашей Луной, особенное. По ряду признаков, под ледяной бронёй на её поверхности может скрываться тёплый и солёный глобальный океан с объёмом воды больше, чем во всех земных океанах вместе взятых. Такое сочетание делает Европу потенциально пригодной для зарождения той биологической жизни, которую мы знаем по нашей родной планете. Поиски признаков такой жизни станут главной целью миссии.

В тусклом свете Солнца на орбите Юпитера энергию для питания бортовых приборов станции будут собирать две огромные пятисегментные солнечные батареи: их размах достигает 30 метров. Научное оборудование состоит из девяти приборов: оптические и инфракрасные камеры, инфракрасный спектрометр, ультрафиолетовый спектрограф, магнитометр, подповерхностный радар, прибор для исследования ионосферы (плазмы), масс-спектрометр, датчик пыли и отдельный прибор для исследования гравитационного поля Европы.

Научная миссия по изучению Европы рассчитана на чуть больше чем сто дней с возможностью продления. Станция совершит 49 близких пролётов рядом со спутником, собирая информацию о разломах, выбросах вещества из гейзеров и изучая её ледяной щит толщиной от 20 до 50 км. Максимальное сближение с Европой составит 25 км, что позволит собрать наиболее полные данные не только о внешних оболочках спутника, но также о его внутренней структуре."

https://3dnews.ru/1112471/raketa-spacex-falcon-heavy-otpravila-megplanetnuyu-stantsiyu-nasa-europa-clipper-na-poiski-gizni-v-glubinah-podlyodnogo-okeana-evropi

#religion

Тут отожгли все участники, но особенно доставил меланхоличный сотрудник католической энциклопедии )

https://youtu.be/zMmaidslj_4?si=Fk1SqUuI4YxphNfh

#physics #astronomy #universeorigin #religion

Чирцов - невероятно крутой физик и математик, всем советую его лекции по механике, оптике, квантовой механике. Но я был очень удивлён, что он, кажется, совершенно ничего не читал по космологии ) Хотя, может, это он так троллить пытался.

С другой стороны, Штерн всегда выступает уверенно, как танк, как будто мы и правда ну вот прям всё в точности всё знаем до 10^-37 секунды от Большого Взрыва. А тут физик плазмы говорит - минуточку, какие там доли секунды за миллиарды лет, мы до сих пор заряд между электродами точно посчитать не можем 😂

Егоров на удивление молодцом выступил, даром что самый молодой и наименее титулованный )

https://www.youtube.com/watch?v=Bv6jG82k8Qc&

#astronomy

"Европейское космическое агентство (ESA) опубликовало первый фрагмент космического атласа, полученного с помощью космической обсерватории «Евклид» (Euclid). Изображение соответствует всего одному проценту будущего каталога, в который в деталях войдут все видимые на глубину 10 млрд световых лет галактики, а на нём уже содержится 100 млн объектов — звёзд и галактик, 14 млн их которых уже можно использовать для поиска тёмной материи и тёмной энергии.

Данные обзора за первый год наблюдений опубликуют в 2026 году. Сбор данных продлится до 2030 года и охватит примерно треть неба. Но уже сейчас в данных «Евклида» достаточно информации, чтобы по его наблюдениям можно было начать работать."

https://3dnews.ru/1112534/opublikovan-perviy-fragment-kosmicheskogo-atlasa-teleskopa-evklid-ohota-za-tyomnoy-materiey-otkrita

#stats #distributions

Что примечательно, в МО признаки могут предобрабатываться нормальной CDF, ну или другими непрерывными функциями с прицелом на то, чтобы результат становился нормально распределённым. Возможно, заслуживает внимания замена в этом подходе гауссова распределения на более "длиннохвостовое" Стьюдента.

https://www.youtube.com/watch?v=-rE3DfeZ_jE

#trading #investing #wisdom

Differentiation: Tiger emphasized bottom-up domestic stock selection, adding international equities and a global macro view in the early 1990s.

“Our mandate is to find the 200 best companies in the world and invest in them, and find the 200 worst companies in the world and go short on them. If the 200 best don’t do better than the 200 worst, you should probably be in another business.”

#astronomy #gaia #btune #blosc

https://www.youtube.com/watch?v=0GX5nDqUUZE

#chess #fun

https://www.youtube.com/shorts/LRElM8j6krw

#featureselection #chan

Я напомню про вот эту классную лекцию по отбору признаков и оценке их важности. Эрни тут даёт неправильное определение bias & variance (нет, это не in-sample vs out-of-sample ошибки, но я понимаю его идею).
Что же касается важности, они действительно для одной и той же модели значительно меняется при разных случайных сидах ) Так что имейте в виду и усредняйте оценки.

https://www.youtube.com/watch?v=2-5HYJ0HhyQ