Поговорим про экономную архитектуру

https://thefrugalarchitect.com/

У меня есть история, которую мы провернули за последние полгода и я этим оч доволен. Взяли и сделали новую архитектуру кластера и как работают ETL и всякие ML штуки. В итоге пожирает это в 10 раз меньше деняк, чем было раньше, работает в 2 раза быстрей. Осталось перенести пару нагрузок с последнего кластера и убить его к чертям тоже. Ах да, это все деплоится через Terraform и ArgoCD. И да, сделано за несколько месяцев 1.5 человеками, не девопсами, с минимальным знанием в начале.
(Половинка это я, ходил не мешал, только направлял и иногда писал малюсенький код)

Даже мем в эту честь сделала 😄

А потом нашел в интернете примерный список принципов, по которым, как оказалось, мы строили эту архитектуру. Вот же приятное совпадение 😄

Make Cost a Non-functional Requirement
Когда разрабатываем архитектуру - стоимость этой шняги тоже надо вкладывать в требования. Иначе получится ерундистика как на картинке выше.

Systems that Last Align Cost to Business
Подстраиваем архитектуру и ее стоимость под то, как чувствует себя бизнес.

Architecting is a Series of Trade-offs
Архитектурные решения это всегда компромисс. Всегда. Испытано на себе за последний год.

Unobserved Systems Lead to Unknown Costs.
Нет мониторинга - не знаешь что сколько стоит.

Cost Aware Architectures Implement Cost Controls.
Все можно затюнить. Вопрос в критичности, важности и $.

Cost Optimization is Incremental.
Постепенно, потихоньку, стабильно. Взяли, оптимизировали, пошли дальше.

Unchallenged Success Leads to Assumptions.
"Мы всегда так делали и это хорошо работало" - оч плохой паттерн. Он ведет к тому, что вы перестаете смотреть по сторонам и начинается this is the way - только один путь как правильно и это ваш.

@ohmydataengineer

Datavox is a purpose-built Generative AI platform that converts unstructured data to structured data. Unstructured data represents more than 80% of all data available to companies. Because it’s unstructured, this data cannot be analyzed or measured, meaning 80% of all information has no voice. Until now.

Datavox is the first commercially available platform that solves this problem and gives you the incredible value found in this data. Not only does Datavox transform this data through our patented Textual ETL™, we provide industry-leading visualization and analysis tools to give you the deepest and most meaningful insights into what this data is saying to you.

@ohmydataengineer