Как Netflix реализует асинхронную репликацию между региональными ЦОДами
Требования к приложениям для реализации:
- Все приложения и сервисы должны быть stateless — обработка и репликация данных обслуживается в платформе данных
- Они должны иметь доступ до любых ресурсов локально в регионе, такие как S3, SQS и другие, что означает, приложения должны доставлять/публиковать данные во все регионы одновременно.
- Не должно быть межрегионального взаимодействия между приложениями. Репликация данных выполняется асинхронно.
Задачи для реализации:
- Нужны эффективные тулы для управления трафиком в корректный регион
- Трафик-шейпинг и распределение нагрузки для обработки огромного количества событий
- Надеждная асинхронная репликация между регионами.
Denominator — для управления трафиком через DNS
Zuul — для обработки трафика
Cassandra and EvCache — для репликации данных
Asgard — для автоматизации сборки и развертывания тысяч приложений
Множество Open Source тулов от Netflix — https://netflix.github.io/
Требования к приложениям для реализации:
- Все приложения и сервисы должны быть stateless — обработка и репликация данных обслуживается в платформе данных
- Они должны иметь доступ до любых ресурсов локально в регионе, такие как S3, SQS и другие, что означает, приложения должны доставлять/публиковать данные во все регионы одновременно.
- Не должно быть межрегионального взаимодействия между приложениями. Репликация данных выполняется асинхронно.
Задачи для реализации:
- Нужны эффективные тулы для управления трафиком в корректный регион
- Трафик-шейпинг и распределение нагрузки для обработки огромного количества событий
- Надеждная асинхронная репликация между регионами.
Denominator — для управления трафиком через DNS
Zuul — для обработки трафика
Cassandra and EvCache — для репликации данных
Asgard — для автоматизации сборки и развертывания тысяч приложений
Множество Open Source тулов от Netflix — https://netflix.github.io/
This media is not supported in your browser
VIEW IN TELEGRAM
ИИ в терминале: просто пишешь комментарий или переменную и он сам подставляет нужную команду 😆
https://github.com/tom-doerr/zsh_codex
https://github.com/tom-doerr/zsh_codex
https://getlantern.org/ru_RU/index.html
Lantern
- Another powerful tool to bypass Internet censorship, a pool of different proxies.
Lantern
- Another powerful tool to bypass Internet censorship, a pool of different proxies.
lantern.io
Lantern | Unlock the full internet
Fast, reliable, and secure access to anything from anywhere
Forwarded from Навколо розробки
abarrak.gitbook.io
Linux SysOps Handbook
Forwarded from Mops DevOps
Forwarded from Mops DevOps
The API Traffic Viewer for Kubernetes
Аналог TCPDump или Wireshark для Kubernetes
👉 https://github.com/up9inc/mizu
#kubernetes
Аналог TCPDump или Wireshark для Kubernetes
👉 https://github.com/up9inc/mizu
#kubernetes
Forwarded from ТЕХНО: Яндекс про технологии
Яндекс выложил YDB в открытый доступ
Сегодня мы опенсорсим YDB — нашу систему управления базами данных. YDB может обрабатывать миллионы запросов в секунду и сохраняет работоспособность в случае выхода из строя сервера или даже целого дата-центра. Это обеспечивает стабильность созданных на её основе продуктов.
Надёжность YDB проверена на масштабах Яндекса, где она используется больше 5 лет. Проекты в YDB размещают команды Алисы, Такси, Маркета, Метрики и других сервисов — сейчас в системе почти 500 проектов. Развернуть YDB можно как на собственных, так и на сторонних серверах — в том числе в Yandex Cloud или других облачных сервисах.
Подробный рассказ про технологию читайте в блоге Яндекса на Хабре.
Сегодня мы опенсорсим YDB — нашу систему управления базами данных. YDB может обрабатывать миллионы запросов в секунду и сохраняет работоспособность в случае выхода из строя сервера или даже целого дата-центра. Это обеспечивает стабильность созданных на её основе продуктов.
Надёжность YDB проверена на масштабах Яндекса, где она используется больше 5 лет. Проекты в YDB размещают команды Алисы, Такси, Маркета, Метрики и других сервисов — сейчас в системе почти 500 проектов. Развернуть YDB можно как на собственных, так и на сторонних серверах — в том числе в Yandex Cloud или других облачных сервисах.
Подробный рассказ про технологию читайте в блоге Яндекса на Хабре.
Forwarded from Pavel Klyuev
Getting-DataOps-Right.pdf
1.1 MB
Online VSCode + Shell
Full power access from anywhere
Manage your GCP resources with the flexibility of a Linux shell. Cloud Shell provides command-line access to a virtual machine instance in a terminal window that opens in the web console.
https://shell.cloud.google.com/
Full power access from anywhere
Manage your GCP resources with the flexibility of a Linux shell. Cloud Shell provides command-line access to a virtual machine instance in a terminal window that opens in the web console.
https://shell.cloud.google.com/
HashiCorp документация для провайдеров более недоступна
Пытался добавить по DNS в исключения
Конечные узлы находятся за Fastly (Web Application Firewall) и адреса постоянно меняются.
В итоге решилось все добавлением двух сетей целиком в исключение, а в них заодно и Twitter 😉:
Пытался добавить по DNS в исключения
terraform.io, registry.terraform.io, hashicorp.com — безуспешно.Конечные узлы находятся за Fastly (Web Application Firewall) и адреса постоянно меняются.
В итоге решилось все добавлением двух сетей целиком в исключение, а в них заодно и Twitter 😉:
151.101.0.0/16
146.75.0.0/16
registry.terraform.io
terraform.ioДокументальный фильм Андрея Лошака про русских хакеров.
https://www.youtube.com/watch?v=S0ehUSdIZ0k&list=PLhZQ-upHzY3F2F3pHjf7m4voaIvrBqweU
https://www.youtube.com/watch?v=S0ehUSdIZ0k&list=PLhZQ-upHzY3F2F3pHjf7m4voaIvrBqweU
Forwarded from DevOps&SRE Library
В связи с недоступностью документации Terraform в России, Яндекс создали зеркало, пользуйтесь пожалуйста
https://registry.tfpla.net/
https://registry.tfpla.net/providers/yandex-cloud/yandex/latest/docs
https://registry.tfpla.net/
https://registry.tfpla.net/providers/yandex-cloud/yandex/latest/docs
https://github.com/dragonflydb/dragonfly
Probably, the fastest in-memory store in the universe!
Dragonfly is a modern in-memory datastore, fully compatible with Redis and Memcached APIs. Dragonfly implements novel algorithms and data structures on top of a multi-threaded, shared-nothing architecture. As a result, Dragonfly reaches x25 performance compared to Redis and supports millions of QPS on a single instance.
Dragonfly's core properties make it a cost-effective, high-performing, and easy-to-use Redis replacement.
Probably, the fastest in-memory store in the universe!
Dragonfly is a modern in-memory datastore, fully compatible with Redis and Memcached APIs. Dragonfly implements novel algorithms and data structures on top of a multi-threaded, shared-nothing architecture. As a result, Dragonfly reaches x25 performance compared to Redis and supports millions of QPS on a single instance.
Dragonfly's core properties make it a cost-effective, high-performing, and easy-to-use Redis replacement.
OpenSearch 2.0.0 is live. Download now!
https://opensearch.org/downloads.html
Вышел релиз Opensearch 2.0.0
Пользуясь случаем, делюсь еще одним контрибьтом в Open Source — приняли большую часть ansible тасок в основную репу.
https://opensearch.org/downloads.html
Вышел релиз Opensearch 2.0.0
Пользуясь случаем, делюсь еще одним контрибьтом в Open Source — приняли большую часть ansible тасок в основную репу.
OpenSearch
Download & Get Started
OpenSearch is a community-driven, Apache 2.0-licensed open source search and analytics suite that makes it easy to ingest, search, visualize, and analyze data.
awesome-azure-architecture
A curated list of AWESOME blogs, videos, tutorials, code, tools & noscripts, related to the design and implementation of solutions in Microsoft Azure.https://github.com/lukemurraynz/awesome-azure-architecture