🛠️ SRE (Site Reliability Engineering) и Go

❓ Что такое SRE?

SRE (Site Reliability Engineering) — это подход к управлению инфраструктурой и обеспечению надежности систем. В Go SRE-практики могут быть реализованы через мониторинг, автоматизацию и управление инцидентами.

💡 Как использовать Go в SRE?
- Мониторинг: Используйте Prometheus и Grafana для сбора и визуализации метрик.
- Автоматизация: Пишите скрипты на Go для автоматизации рутинных задач, таких как деплой и масштабирование.
- Управление инцидентами: Интегрируйте Go-приложения с системами оповещения, такими как PagerDuty.

⚠️ Когда использовать SRE-практики?
- В высоконагруженных системах, где важна надежность и доступность.
- Для автоматизации процессов и снижения операционных затрат.

❗Минусы SRE:
- Высокие требования к навыкам: Требуется опыт в разработке и эксплуатации.
- Сложность внедрения: Требуется время для внедрения и настройки процессов.

🎯 SRE и Go — это мощная комбинация для создания надежных и масштабируемых систем

🛠️ Redis Pub/Sub: что это и как использовать?

❓ Что такое Redis Pub/Sub?

Redis Pub/Sub (Publish/Subscribe) — это механизм для реализации шаблона обмена сообщениями, где издатели (publishers) отправляют сообщения в каналы, а подписчики (subscribers) получают эти сообщения.

💡 Как работает Redis Pub/Sub?
- Издатель: Отправляет сообщение в канал с помощью команды PUBLISH channel message.
- Подписчик: Подписывается на канал с помощью команды SUBSCRIBE channel и получает сообщения в реальном времени.
- Каналы: Сообщения отправляются только тем подписчикам, которые подписаны на соответствующий канал.

⚠️ Когда использовать Redis Pub/Sub?
- Для реализации чатов, уведомлений или событий в реальном времени.
- В системах, где требуется быстрый обмен сообщениями между компонентами.

❗Минусы Redis Pub/Sub:
- Нет гарантии доставки: Если подписчик отключен, он не получит пропущенные сообщения.
- Ограниченная масштабируемость: При большом количестве подписчиков Redis может испытывать нагрузку.

🎯 Redis Pub/Sub — это простой и эффективный способ реализации обмена сообщениями в реальном времени.

🛠️ Порядок выполнения SQL-операторов

❓ Как выполняются SQL-операторы?

SQL-операторы выполняются в определенном порядке, который влияет на результат запроса. Понимание этого порядка помогает писать эффективные и предсказуемые запросы.

💡 Порядок выполнения SQL-запроса:
1. FROM: Определяет таблицы, из которых выбираются данные.
2. WHERE: Фильтрует строки по условию.
3. GROUP BY: Группирует строки по указанным столбцам.
4. HAVING: Фильтрует группы по условию.
5. SELECT: Выбирает столбцы для вывода.
6. ORDER BY: Сортирует результат.
7. LIMIT/OFFSET: Ограничивает количество возвращаемых строк.

⚠️ Пример запроса:  SELECT name, COUNT(*) 
FROM users 
WHERE age > 18 
GROUP BY name 
HAVING COUNT(*) > 1 
ORDER BY name 
LIMIT 10;

❗ВАЖНО: Порядок написания операторов в SQL-запросе (например, SELECT перед `FROM`) не совпадает с порядком их выполнения.

🎯 Понимание порядка выполнения SQL-операторов помогает писать эффективные и предсказуемые запросы.

🛠️ CAP теорема: что это и как она работает?

❓ Что такое CAP теорема?

CAP теорема (Consistency, Availability, Partition Tolerance) — это принцип, который утверждает, что в распределенных системах можно гарантировать только два из трех свойств:
- Consistency (Согласованность): Все узлы видят одни и те же данные в одно и то же время.
- Availability (Доступность): Каждый запрос получает ответ, даже если некоторые узлы недоступны.
- Partition Tolerance (Устойчивость к разделению): Система продолжает работать, даже если связь между узлами нарушена.

💡 Как работает CAP теорема?
- В распределенных системах невозможно одновременно обеспечить все три свойства.
- Примеры:
- CP: Системы, которые жертвуют доступностью ради согласованности (например, базы данных с сильной согласованностью).
- AP: Системы, которые жертвуют согласованностью ради доступности (например, Cassandra).
- CA: Системы, которые жертвуют устойчивостью к разделению (например, традиционные SQL-базы данных).

⚠️ Когда учитывать CAP теорему?
- При проектировании распределенных систем.
- При выборе базы данных или архитектуры системы.

🎯 CAP теорема — это важный принцип для понимания компромиссов в распределенных системах.

🛠️ Стек, куча, два escape analysis в Go?

❓ Что такое стек и куча?

- Стек: Это область памяти, где хранятся локальные переменные функций. Память на стеке выделяется и освобождается автоматически.
- Куча: Это область памяти для динамического выделения данных. Память в куче управляется вручную (или через сборщик мусора).

💡 Почему бы все не хранить на стеке или в куче?
- Стек: Быстрый, но ограниченный по размеру. Локальные переменные на стеке живут только во время выполнения функции.
- Куча: Подходит для больших данных и данных, которые должны жить дольше, чем время выполнения функции. Но управление памятью в куче медленнее.

💡 Что такое escape analysis в Go?
Escape analysis — это процесс, который определяет, может ли переменная "сбежать" за пределы функции. Если переменная "сбегает", она размещается в куче, иначе — на стеке.

func createSlice() *[]int {
    s := make([]int, 100) // s "сбегает" из функции, поэтому размещается в куче
    return &s
}

❗Почему важно разделение?
- Стек: Быстрый доступ, но ограниченный размер.
- Куча: Подходит для больших данных, но требует управления памятью.

🎯 Escape analysis в Go помогает оптимизировать использование памяти, автоматически решая, где размещать данные.

🛠️ Что вернут len и cap для мапы в Go?

❓ Что такое len и cap?

- len: Возвращает количество элементов в коллекции (срезе, мапе, массиве, строке).
- cap: Возвращает емкость (вместимость) среза или массива.

💡 Что вернут len и cap для мапы?
- len(map): Вернет количество пар ключ-значение в мапе.
- cap(map): Для мапы функция cap не применима. Попытка использовать cap вызовет ошибку компиляции.

m := map[string]int{"a": 1, "b": 2}
fmt.Println(len(m)) // 2
fmt.Println(cap(m)) // Ошибка: invalid argument m (type map[string]int) for cap

❗Почему cap не работает для мапы?
Мапа в Go — это динамическая структура данных, которая автоматически расширяется при добавлении элементов. Емкость мапы не фиксирована, поэтому cap для нее не имеет смысла.

🎯 Для мапы в Go используйте len, чтобы узнать количество элементов, а cap не применим.

🛠️ Система типов в Go

❓ Что такое система типов в Go?

Система типов в Go — это набор правил и механизмов, которые определяют, как типы данных используются в языке. Go имеет статическую типизацию, что означает, что типы проверяются на этапе компиляции.

💡 Основные особенности системы типов в Go:
- Статическая типизация: Типы переменных известны на этапе компиляции.
- Простота: Go имеет небольшое количество встроенных типов (int, float64, string, bool и т.д.).
- Структуры и интерфейсы: Пользовательские типы создаются с помощью структур и интерфейсов.
- Типизация без наследования: В Go нет классического наследования, вместо этого используются интерфейсы и композиция.

💡 Примеры типов в Go:
- Базовые типы: int, float64, string, bool.
- Структуры:

   type Person struct {
      Name string
      Age  int
  }
    

- Интерфейсы:

   type Speaker interface {
      Speak() string
  }
    

⚠️ Когда использовать систему типов в Go?
- Для обеспечения безопасности типов на этапе компиляции.
- Для создания гибких и модульных программ с использованием интерфейсов.

🎯 Система типов в Go — это мощный инструмент для создания безопасных и эффективных программ.

🛠️ Кодогенерация в Go

❓ Что такое кодогенерация в Go?

Кодогенерация — это процесс автоматического создания кода на основе шаблонов или метаданных. В Go кодогенерация часто используется для создания boilerplate-кода, такого как сериализаторы, валидаторы или клиенты API.

💡 Как работает кодогенерация в Go?
- Инструменты: Используйте go generate для запуска кодогенерации.
- Генераторы: Популярные инструменты, такие как stringer, protoc (для gRPC), или go-swagger (для OpenAPI).
- Пример:

   //go:generate stringer -type=Status
  type Status int

  const (
      Pending Status = iota
      Completed
      Failed
  )   

После выполнения go generate будет создан файл с методами для типа Status.

⚠️ Когда использовать кодогенерацию?
- Для автоматизации рутинных задач, таких как создание сериализаторов или клиентов API.
- Когда требуется высокая производительность и минимизация ошибок.

🎯 Кодогенерация в Go — это мощный способ автоматизации и повышения производительности разработки.

🛠️ Рефлексия в Go

❓ Что такое рефлексия в Go?

Рефлексия — это механизм, позволяющий программе анализировать и изменять свою структуру и поведение во время выполнения. В Go рефлексия реализована через пакет reflect.

💡 Как использовать рефлексию в Go?
- Анализ типов: Используйте reflect.TypeOf для получения информации о типе переменной.
- Анализ значений: Используйте reflect.ValueOf для получения значения переменной и его изменения.

- Пример:

package main

import (
      "fmt"
      "reflect"
)

func main() {
      x := 42
      v := reflect.ValueOf(x)
      fmt.Println("Type:", v.Type()) // Type: int
      fmt.Println("Value:", v.Int()) // Value: 42
}

⚠️ Когда использовать рефлексию?
- Для создания универсальных функций, таких как сериализаторы или валидаторы.
- Когда требуется динамическое поведение, например, вызов методов по имени.

❗Минусы рефлексии:
- Производительность: Рефлексия медленнее по сравнению с обычным кодом.

🎯 Рефлексия в Go — это мощный инструмент для создания гибких и динамических программ, но ее следует использовать с осторожностью.

🛠️ Паттерн SAGA: что это и зачем он нужен?

❓ Что такое паттерн SAGA?

SAGA — это паттерн для управления длительными транзакциями в распределенных системах. Он разбивает одну большую транзакцию на несколько меньших шагов, каждый из которых может быть откатан в случае ошибки.

💡 Как работает паттерн SAGA?
1. Шаги транзакции: Каждый шаг выполняется как отдельная транзакция.
2. Компенсационные действия: Для каждого шага определяется компенсационное действие, которое откатывает изменения в случае ошибки.
3. Оркестрация: Управление шагами может быть централизованным (через оркестратор) или децентрализованным (через события).

⚠️ Когда использовать паттерн SAGA?
- В микросервисных архитектурах, где невозможно использовать распределенные транзакции (например, 2PC).
- Когда требуется управление длительными транзакциями с возможностью отката.

🎯 Паттерн SAGA — это мощный инструмент для управления сложными транзакциями в распределенных системах.

🛠️ Паттерн Outbox: что это и зачем он нужен?

❓ Что такое паттерн Outbox?

Паттерн Outbox — это подход к обеспечению надежной доставки сообщений в распределенных системах. Он используется для гарантии того, что сообщения, отправленные в рамках транзакции, будут доставлены даже в случае сбоев.

💡 Как работает паттерн Outbox?
1. Локальная транзакция: Сообщение сохраняется в локальной таблице (Outbox) в рамках той же транзакции, что и основная операция.
2. Фоновая отправка: Отдельный процесс (например, фоновый воркер) читает сообщения из Outbox и отправляет их в брокер сообщений (например, Kafka или RabbitMQ).
3. Гарантия доставки: Если система падает до отправки сообщения, оно остается в Outbox и будет отправлено после восстановления.

⚠️ Когда использовать паттерн Outbox?
- В микросервисных архитектурах, где важна надежная доставка сообщений.
- Когда требуется гарантия, что сообщения не будут потеряны даже при сбоях.

🎯 Паттерн Outbox — это надежный способ обеспечения доставки сообщений в распределенных системах.

🛡 Ory Hydra и Ory Kratos: аутентификация и управление пользователями

❓ Что это такое?
Ory Hydra и Ory Kratos — это инструменты для управления аутентификацией и авторизацией в современных веб-приложениях.

💡 Ory Hydra:
Принципы:
- OAuth 2.0 и OpenID Connect
- Поддержка масштабируемых распределённых систем
- Не управляет пользователями напрямую (делегирует аутентификацию)
- Подходит для микросервисов и API

💡 Ory Kratos:
Принципы:
- Управление пользователями и их сессиями
- Поддержка passwordless, 2FA и других механизмов входа
- Открытая и гибкая архитектура
- Подходит для веб-приложений с кастомной аутентификацией

⚠️ Подробности:
Ory Hydra работает как провайдер авторизации:
- Выдает токены OAuth 2.0 (access, refresh, ID-токены)
- Делегирует аутентификацию внешнему сервису
- Хороший выбор для API-first приложений

hydra token client --client-id my-client --client-secret secret

Ory Kratos управляет пользователями и их входом:
- Может работать с паролями, magic links, социальными логинами
- Хранит пользователей и управляет их состоянием
- Хорош для сайтов и сервисов с кастомной аутентификацией

{
  "identity": {
    "traits": {
      "email": "user@example.com"
    }
  }
}

🔍 Ключевое различие:
- Hydra управляет авторизацией через OAuth 2.0
- Kratos управляет пользователями и их входом

🔑 OAuth, SAML, Session-based Authentication, JWT: как аутентифицироваться?

❓ В чём разница?
Эти механизмы используются для проверки личности пользователя и управления доступом, но работают по-разному.

💡 OAuth:
- Делегированная авторизация
- Используется для входа через Google, Facebook и другие провайдеры
- Выдаёт токены доступа для API

💡 SAML:
- XML-основанный протокол аутентификации
- Чаще используется в корпоративных системах (SSO, Active Directory)
- Более сложный, но мощный

💡 Session-based Authentication:
- Хранит сессию пользователя на сервере
- Используется в традиционных веб-приложениях
- Требует stateful-сервера

💡 JWT (JSON Web Token):
- Структурированный токен с цифровой подписью
- Может использоваться в OAuth, OpenID Connect
- Не требует хранения сессии на сервере

⚠️ Подробности:
OAuth → Клиент перенаправляет пользователя на сторонний сервис (например, Google), получает токен и использует его для доступа к API.

{
  "access_token": "eyJhbGciOiJIUzI1NiIs...",
  "expires_in": 3600
}

SAML → Браузер получает SAML-токен от провайдера и передаёт его в сервис для входа.

Session-based → При входе сервер создаёт сессию и отправляет cookie с session_id.

JWT → Сервер генерирует токен с информацией о пользователе и подписью, который можно валидировать без запроса к базе данных.

🔍 Ключевое различие:
- OAuth и SAML подходят для SSO
- Session-based используется в классических веб-приложениях
- JWT удобен для API и микросервисов

🔍 Обратные индексы в ElasticSearch: как искать быстро?

❓ Как это работает?
Обратный индекс — это структура данных, которая позволяет быстро находить документы по словам.

💡 Принципы:
1. Разбивает текст на токены (слова)
2. Создаёт индекс, где каждому слову соответствуют документы
3. Позволяет искать по терминам, синонимам, морфологии

⚠️ Подробности:
Допустим, у нас есть три документа:
1️⃣ "Кот любит рыбу"
2️⃣ "Собака любит кости"
3️⃣ "Кот и собака дружат"

Обратный индекс будет выглядеть так:

{
  "кот": [1, 3],
  "любит": [1, 2],
  "рыбу": [1],
  "собака": [2, 3],
  "кости": [2],
  "дружат": [3]
}

При запросе "кот" мы сразу получим документы [1, 3], без перебора всех записей.

Пример запроса в Elasticsearch:

{
  "query": {
    "match": {
      "text": "кот"
    }
  }
}

🚑 DELETE CASCADE в SQL: убиваем всё?

❓ Что это такое?
DELETE CASCADE — это способ удаления связанных данных в SQL.

💡 Принципы:
- Позволяет автоматически удалять зависимые записи
- Работает через внешние ключи
- Упрощает очистку связанных таблиц

⚠️ Подробности:

CREATE TABLE users (
    id SERIAL PRIMARY KEY,
    name TEXT
);

CREATE TABLE orders (
    id SERIAL PRIMARY KEY,
    user_id INT REFERENCES users(id) ON DELETE CASCADE
);

Теперь, если мы удалим пользователя, все его заказы исчезнут автоматически:

DELETE FROM users WHERE id = 1;

📌 Common Table Expression (CTE) в SQL: временные таблицы на лету

❓ Что это такое?
CTE — это временные результаты запроса, которые можно переиспользовать в одном SQL-запросе.

💡 Принципы:
- Улучшает читаемость сложных запросов
- Можно использовать рекурсивно
- Не требует создания временных таблиц

⚠️ Пример запроса:

WITH top_users AS (
    SELECT user_id, COUNT(*) as orders_count
    FROM orders
    GROUP BY user_id
    HAVING COUNT(*) > 10
)
SELECT * FROM top_users;

🔑 etcd: распределённое хранилище ключ-значение

❓ Что это такое?
etcd — это распределённое, надёжное хранилище ключ-значение, используемое для хранения конфигурационных данных и обеспечения согласованности в кластерах Kubernetes.

💡 Основные принципы работы:
1. Консенсус через Raft — гарантирует согласованность данных между узлами.
2. Высокая доступность — автоматическое восстановление после сбоев.
3. Транзакции — поддержка атомарных операций над данными.
4. Подписки на изменения — клиенты могут получать обновления в реальном времени.

⚠️ Пример использования etcd:

etcdctl put /config/database "postgres://user:pass@db-host:5432"
netcdctl get /config/database

🌍 OpenSearch и Kubernetes: логирование и мониторинг

❓ Что это такое?
OpenSearch — это форк ElasticSearch, предназначенный для полнотекстового поиска и анализа данных. В Kubernetes его используют для централизованного сбора логов и мониторинга.

💡 Основные принципы работы:
1. Поиск и анализ логов — помогает анализировать логи приложений и инфраструктуры.
2. Масштабируемость — легко развертывается в Kubernetes.
3. Интеграция с Fluentd и Loki — агрегирует логи с разных сервисов.

⚠️ Пример развёртывания в Kubernetes:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: opensearch
spec:
  replicas: 3
  selector:
    matchLabels:
      app: opensearch
  template:
    metadata:
      labels:
        app: opensearch
    spec:
      containers:
      - name: opensearch
        image: opensearchproject/opensearch:latest

🖥 Lens и Kubernetes: удобный GUI для DevOps

❓ Что это такое?
Lens — это графический интерфейс для управления Kubernetes-кластерами, который облегчает мониторинг и управление ресурсами.

💡 Основные принципы работы:
1. Визуализация кластеров — отображает узлы, поды, сервисы и метрики.
2. Упрощённое управление — возможность редактировать манифесты прямо из интерфейса.
3. Мониторинг — встроенные графики и логи для анализа состояния кластера.

🛠 Sentry: мониторинг ошибок в приложениях

❓ Как работает?
Sentry — это платформа для отслеживания ошибок и аномалий в приложениях.

💡 Основные принципы работы:
1. Поддержка множества языков — Python, JavaScript, Go, Java и другие.
2. Сбор и анализ ошибок — предоставляет информацию о причинах и контексте ошибок.
3. Уведомления — интеграция со Slack, Telegram, email и другими сервисами.

🏗 delve в Go: отладка кода

❓ Что это такое?
delve (dlv) — это инструмент для отладки программ на Go.

💡 Основные принципы работы:
1. Пошаговая отладка — возможность пошагового выполнения кода.
2. Просмотр переменных — инспекция значений переменных во время выполнения.
3. Точки останова (breakpoints) — остановка кода в нужных местах.