AWS: Costs optimization – обзор Bills и Cost Explorer и контроль расходов

Продолжим серию по оптимизации расходов в AWS. Предыдущие посты –AWS: оптимизация расходов – покупка и анализ RDS Reserved Instances, AWS: Cost Explorer – проверка расходов на примере CloudWatch Logs, AWS: Cost optimization – обзор расходов на сервисы и стоимость трафика в AWS. Теперь, когда мы разобрались за что мы вообще платим в AWS – посмотрим,…

https://rtfm.co.ua/aws-costs-optimization-obzor-bills-i-cost-explorer-i-kontrol-rasxodov/

Подробный постмортем падения AWS на несколько часов 7 декабря 2021:

https://aws.amazon.com/message/12721/

Кому нужна выжимка:

• Проблема была во внутренней сети AWS, где крутятся мониторинг и control plain некоторых сервисов. Поэтому сами сервисы не падали, но невозможно было внести изменения, что для некоторых сервисов, например, API Gateway оказалось равным проблемам его работоспособности (делается фикс такого поведения).

• Задержка с отображением проблем на странице статуса в том числе связана с недоступностью мониторинга в результате падения внутренней сети. Так как инженеры AWS долгое время не могли узнать (без мониторинга), что на самом деле происходит.

• Интересно отметить, что причиной послужил код, который уже несколько лет успешно крутится в проде, просто его поведение, когда он масштабируется, не было оттестировано (теперь протестировали – нет, не работает). Автоскелинг выключили, мощности хватает, как дотестируют, включат автоскелинг обратно (может быть).

Дополнительно отмечу для себя интересный факт, что S3 и DynamoDB ресурсы, которые, как и другие, не страдали во время инцидента, однако вот те, что подключены через VPC Endpoint – были недоступны. Причём, как понимаю (чего нет в постмортеме) – речь именно о (бесплатных) Gateway VPC Endpoints, в то время как (платные) Interface endpoints – не пострадали.

Итого: приятно читать столь детальный отчёт, проливающий свет на внутреннюю кухню AWS.

We want to apologize for the impact this event caused for our customers. While we are proud of our track record of availability, we know how critical our services are to our customers, their applications and end users, and their businesses. We know this event impacted many customers in significant ways. We will do everything we can to learn from this event and use it to improve our availability even further.

#postmortem

AWS Cookbook: Recipes for Success on AWS (2021)
Авторы: John Culkin, Mike Zazon

Оказывается есть репа с этими стикерами/лого https://github.com/mkrl/misbrands

​​Новая AWS Console — главная страница с полезной информацией.

Удобно, что сразу видны расходы (если включён доступ к биллингу для юзера в аккаунте), ссылки на последние сервисы и возможность расположить нужные элементы в удобных местах на дашборде.

Можно убрать или добавить виджеты (меню снизу), на текущий момент дополнительный виджет - это лишь Favorites. Можно изменить размер виджета, нажав Change Size.

В общем, реально полезное изменение для консоли, с удобным подходом, как это реализовано для AWS Activate.

Пользуемся!

#AWS_Console

When working with Persistent Volumes in Kubernetes, you might run into the FailedAttachVolume or FailedMount error. In this tutorial, we’ll show you how to troubleshoot these errors and find the root cause and fix them
Read more https://containiq.com/post/fixing-kubernetes-failedattachvolume-and-failedmount

Kubernetes ImagePullBackOff: troubleshooting with examples
Read more https://containiq.com/post/kubernetes-imagepullbackoff

Guided DevOps Meditation

Улучшалка настроения - всем хорошего дня! 🤝

A cloud around you ☁️
A cloud around you is completely provisioned using Terraform
The developers are opening Pull Requests for creating new resources using Terraform
The developers are not even using Web UI 🤣

https://www.youtube.com/watch?v=epcbx5HkCbM

Preoomkiller softly kills your process with SIGTERM before it runs out of memory
Read more https://github.com/grosser/preoomkiller

Крутая документалка про Kubernetes, история создания и оркестрационные войны)

https://youtu.be/BE77h7dmoQU
https://youtu.be/318elIq37PE

There are quite a few open-source toolsets to test and measure performance impact of service meshes.
In this article you will compare: Fortio, Nighthawk, Wrk2, Httpbin, Meshery, Isotope, Hyperfoil, Service-mesh-benchmark, Locust & more
Read more https://itnext.io/service-mesh-testing-tools-frameworks-open-source-7904ee222298

🗺 Новое на GIJN: 9 картографических инструментов, на которые стоит обратить внимание в 2022 году

🔷 Карты – это один из самых популярных инструментов визуализации данных, а также легкий способ добавить контекст к базам данным, основанным на местоположении.

🔷 Большинство из нижеперечисленных инструментов просты в использовании, однако некоторые (ближе к концу списка), требуют базовых знаний в области программирования.

🖌 My Maps
Этот сервис от Google – один из самых простых способов отображения точек на карте и создания простых визуализаций для новичков. Просто импортируйте набор данных и выберите столбец, который вы хотите использовать в качестве расположения маркера – и готово.

🖌 BatchGeo
Инструмент работает аналогично предыдущему. Если вы укажете столбец, сервис автоматически сгруппирует точки, используя маркеры разного цвета. Карты BatchGeo можно встраивать на веб-сайт или делиться ими по ссылке.

🖌 Batch GeoCoder for Journalists
Предназначен для массового преобразования адресов в географические данные. Скопируйте и вставьте список мест, выберите страну, и получите список соответствующих координат GPS. 

🖌 GeoTools
Это целый набор картографических инструментов для работы с геопространственными данными. У него множество функций, включая извлечение определенных фрагментов карт, расчет и сравнение размеров географических областей и многое другое. 

🖌 Ogre
Если вы ищете что-то для преобразования картографических данных между шейп-файлами и GeoJSON (векторный формат для географических файлов), тогда вам стоит попробовать Ogre. Инструмент имеет относительно ограниченный набор функций, но у него есть API (программный интерфейс приложения).

🖌 MapShaper.org
Инструмент для продвинутого уровня. Имеет обширный набор функций, которые упрощают вам работу: изучение картографических данных, преобразование между форматами, уменьшение размеров карт и создание подмножеств карт.  

🖌 Leaflet.js
Хард-левел. Библиотека JavaScript для картографирования поможет создать практически любую карту. Но, чтобы «выжать» из Leaflet как можно больше, вам придётся научиться программированию.

🖌 QGIS
Его можно использовать для анализа и редактирования почти всех форм карт и пространственных данных. Инструмент поддерживает векторные и растровые слои. Более продвинутым пользователям понравятся возможности высокодетализированного редактирования карт и возможность создавать новые визуализации из нескольких источников.

🟡 Ещё несколько рекомендаций:

🍒MapStack – сервис создания красивых карт. 

🍒Color Brewer – подходит для определения цветовой схемы ваших карт.

🍒Flourish и DataWrapper – простые инструменты создания визуализаций данных и карт. 🍒CartoDB – отлично составляет карты, хотя большинство его лучших функций недоступны без платной подписки.

Больше о плюсах, минусах и фишках каждого инструмента читайте на GIJN (пока на английском).