Jenkins: деплой Docker Compose из Ansible и ECR авторизация

В продолжение поста AWS: создание Elastic Container Registry и деплой из Jenkins, в котором создали джобу для билда Docker-образов и их пуша в AWS ECR – теперь надо создать джобу в Jenkins для деплоя и запуска одного Docker-контейнера. Запускать будем через Docker Compose, в котором Ansible будет задавать требуемую версию из параметров Jenkins-джобы. Для того, что…

https://rtfm.co.ua/jenkins-deploj-docker-compose-iz-ansible-i-ecr-avtorizaciya/

AWS: очистить кеш CloudFront

Имеется картинка в AWS S3, которую перезалили, но CloudFront отдаёт её старый вариант. Что бы удалить её из кеша CloudFront – необходимо выполнить invalidation объекта. Создать его можно из веб-панели, либо с помощью AWS CLI. В веб-панели переходим в нужную дистрибьюцию, добавлем Invalidation: И чистим кеш для всех картинок: Либо – добавляем invalidation с помощью…

https://rtfm.co.ua/aws-ochistit-kesh-cloudfront/

Okta: настройка SSO для Gmail и Slack

Okta – сервис, предоставляющий среди прочих услугу Single Sign On. Есть желание перенести всех юзеров в Okta, потому что менеджить их доступы по одному – неудобно. Задача – добавить авторизацию в Gmail и Slack через Okta. Okta Gmail app Регистрируем аккаунт, переходим в Get started, в поле Use single sign on жмём Add app: Находим…

https://rtfm.co.ua/okta-nastrojka-sso-dlya-gmail-i-slack/

Okta: настройка своего домена

Для Okta можно настроить собственный домен, который будет в дальнейшем использоваться для настройки аутентификации. Единсвенный нюанс – это то, что сам плагин Okta не поддерживает работу с custom domain, см. документацию. Настройка custom domain Переходим в Settings > Customization: Пролистываем вниз, до Custom URL Domain: Кликаем Get Started, указываем домен, в данном случае okta.example.com: Okta…

https://rtfm.co.ua/okta-nastrojka-svoego-domena/

Debian: не срабатывает logrotate – unknown group ‘syslog’

Имеется AWS EC2 с Debian с logrotate. Закончилось место на корневом разделе, начали искать причину, обнаружилось, что накопились файлы вида /var/log/syslog.N.gz. При этом по-умолчанию logrotate создаёт файл настроек для syslog: root@monitoring-dev:~# cat /etc/logrotate.d/syslogAnsible managed/var/log/syslog {size 10Mrotate 1daily...} Т.е. должен оставаться syslog + syslog.1, а вместо этого имеем: root@monitoring-dev:~# ll /var/log/ | grep syslog-rw-r----- 1 root        adm      11925 Oct  9 09:26 syslog-rw-r----- 1 root        adm     361150 Oct  9 06:25 syslog.1-rw-r----- 1 root        adm       7712 Oct  8 06:25 syslog.2.gz-rw-r----- 1 root        adm       7562 Oct  7 06:25 syslog.3.gz-rw-r----- 1 root        adm       7832 Oct  6 06:25 syslog.4.gz-rw-r----- 1 root        adm       7720 Oct  5 06:25 syslog.5.gz-rw-r----- 1 root        adm       7641 Oct  4 06:25 syslog.6.gz-rw-r----- 1 root        adm       8072 Oct  3 06:25 syslog.7.gz Проверяем – запускаем logrotate с --debug: root@monitoring-dev:~# logrotate -d /etc/logrotate.confreading config file /etc/logrotate.conferror: /etc/logrotate.conf:5 unknown group 'syslog'removing last 0 log configs unknown group ‘syslog’ Собственно – вот и…

https://rtfm.co.ua/debian-ne-srabatyvaet-logrotate-unknown-group-syslog/

Vertica: установка и запуск на AWS EC2

Vertica – сервер баз данных для аналитиков, рассчитанный на большие объёмы данных. Задача на сейчас – запустить Proof of Concept инстанс Vertica на AWS EC2, что бы посмотреть как она вообще сетапится и дать потестить дата-аналитикам. Обладает достаточно неплохой документацией. AWS Проверяем список инстансов, на которых можно запустить Vertica тут>>>. Находим AMI: Используем минимальный инстанс…

https://rtfm.co.ua/vertica-ustanovka-i-zapusk-na-aws-ec2/

Jenkins: SAML Authentication через Okta и группы пользователей

SAML – Secure Assertion Markup Language. – используется для распределённой авторизации (federated authentication), когда сервис, к которому требуется получить доступ (Service Provider), обращается к другому сервису (Identity Provider) для того, что бы выполнить эту авторизацию. См. документацию тут>>>. Service Provider (SP): система, в которой требуется аутентифиция, в нашем случае это будет Jenkins Identity Provider (idP): система,…

https://rtfm.co.ua/jenkins-saml-authentication-cherez-okta-i-gruppy-polzovatelej/

OpenVPN: ошибки No route to host и ERR_ADDRESS_UNREACHABLE – причина и решение

Имеется OpenVPN сервер. Его установка и настройка описаны в постах OpenVPN: настройка OpenVPN Access Server и AWS VPC peering: OpenVPN сервер расположен в одной AWS VPC, Bitwarden – в другой. Между этими VPC поднят VPC Peering, и OpenVPN должен роутить трафик между клиентом и Bitwarden. Проблема в том, что при доступе к Bitwarden (см. Bitwarden:…

https://rtfm.co.ua/openvpn-oshibki-no-route-to-host-i-err_address_unreachable-prichina-i-reshenie/

Jenkins: SAML, Okta, группы пользователей и Role-Based Security

В продолжение поста Jenkins: SAML Authentication через Okta SSO и группы пользователей – настройка Role-Based Security авторизации в Jenkins, используя группы Okta. Настройка Role-Based Security плагина Устанавливаем плагин Role-based Authorization Strategy: Переходим в Configure Global Security, переключаем авторизацию на Role-Based Strategy: Переходим в Manage and Assign Roles: Создание ролей – Global roles Роли делятся на…

https://rtfm.co.ua/jenkins-saml-okta-gruppy-polzovatelej-i-role-based-security/

AWS: Redshift – быстрый запуск кластера и подключение из SQL-workbench

Наши дата-аналитики наконец-то решились потрогать AWS Redshift вместо MariaDB RDS. Соответственно задача – поднять Proof of Concept кластер Redshift в AWS. Сейчас сделаем быстро, без вникания и рассмотрения деталей, если решение таки пойдёт в Production – то поразбираемся с нюансами. На данный момент нас интересует только выбор типа нод для кластера – Dense Storage или…

https://rtfm.co.ua/aws-redshift-bystryj-zapusk-klastera-i-podklyuchenie-iz-sql-workbench/

Github: SAML Okta – настройка SSO в Github Enterprise Cloud – Organization

В продолжение темы SSO, Okta и SAML. Для Jenkins всё сделано (см. Jenkins: SAML, Okta, группы пользователей и Role-Based Security) – теперь пришёл черёд Github. Идея та же: в Okta держим список пользователей, при логине в Github (наш Service provider, SP) – он должен запросить авторизацию у нашего Identity Provider, IDP – Okta, используя SAML.…

https://rtfm.co.ua/github-saml-okta-nastrojka-sso-v-github-enterprise-cloud-organization/

Okta: интеграция с G-Suite – provisioning, импорт и экспорт пользователей

Продолжаем настраивать Okta для нашего проекта. Этот пост – участник конкурса Ukrainian DevOps Community – UkrOps. Крайне рекомендую присоединяться – очень уютный чатик, очень хорошие люди. Предыдущие посты серии: Okta: настройка SSO для Gmail и Slack Jenkins: SAML Authentication через Okta SSO и группы пользователей Jenkins: SAML, Okta, группы пользователей и Role-Based Security Github: SAML…

https://rtfm.co.ua/okta-integraciya-s-g-suite-provisioning-import-i-eksport-polzovatelej/

Книги

Решил начать собирать в одном месте наиболее интересные книги из моей библиотеки. По категориям, с небольшими комментариями, не все сразу, буду добавлять. Практически все есть в PDF/EPUB, при необходимости можно связаться через группу в Телеграм или форму контактов тут>>>, а в комментариях к этой странице – предлагать и обсуждать книги, которые я упустил. Linux Daniel…

https://rtfm.co.ua/knigi/

dnsmasq: ошибки в AWS – “Temporary failure in name resolution”, логи, дебаг и размер кеша

При использовании AWS VPC периодически сталкиваемся с ошибками вида “php_network_getaddresses: getaddrinfo failed: Temporary failure in name resolution“. Единственный совет от тех. поддержки AWS заключался в установке dnsmasq в роли кеширующего сервиса, но он уже давно установлен – а проблема раз в несколько месяцев проявляется снова. Хотя пост не о том, но из возможных причин пока…

https://rtfm.co.ua/dnsmasq-oshibki-v-aws-temporary-failure-in-name-resolution-logi-debag-i-razmer-kesha/

Arch Linux: package-query: error while loading shared libraries: libalpm.so.11

Пару недель не устанавливал обновления, накопилось чуть больше сотни. Устанавливаются с помощью алиаса в .bashrc: ... alias osupgrade="yaourt -Syua --noconfirm" ...   Ошибка Работает без проблем (yaourt всё-равно под капотом дёргает pacman для пакетов из официального репозитория) уже почти два года, но сегодня апгрейд остановился с ошибками: ...(20/21) Updating the desktop file MIME type cache...(21/21) Updating the MIME type database...package-query: error while loading shared libraries: libalpm.so.11: cannot open shared object file: No such file or directory==> ERROR: unable to updatepackage-query: error while loading shared libraries: libalpm.so.11: cannot open shared object file: No such file or directory==> ERROR: unable to updatepackage-query: error while loading shared libraries: libalpm.so.11: cannot open shared object file: No such file or directory==> ERROR: unable to updatepackage-query: error while loading shared libraries: libalpm.so.11: cannot open shared object file: No such file or directory==> ERROR: unable to updatepackage-query: error while loading shared libraries: libalpm.so.11: cannot open shared object file: No such file or directoryNo database errors have been found! Проверяем зависимости пакета package-query: ldd /usr/bin/package-query...libalpm.so.11 => not found... Но файлы…

https://rtfm.co.ua/arch-linux-package-query-error-while-loading-shared-libraries-libalpm-so-11/

What is: SAML – обзор, структура и трассировка запросов на примере Jenkins и Okta SAML SSO

В процессе настройки SAML SSO для Jenkins столкнулся с ошибкой, при которой не передаются часть атрибутов из Okta в Jenkins. Собственно, в этом посте попробуем разобраться с тем, что такое SAML вообще, рассмотрим его архитектуру и компонены, а затем выполним трассировку запросов между Okta и Jenkins, что бы посмотреть какие данные передаются. Т.к. информации очень…

https://rtfm.co.ua/what-is-saml-obzor-struktura-i-trassirovka-zaprosov-na-primere-jenkins-i-okta-saml-sso/

Складывать секстеты в гит в открытом виде достаточно плохо. А в публичный гитхаб — ещё хуже. https://shhgit.darkport.co.uk/ сайт на котором в режиме реального времени публикуют секреты из репозиториев почти сразу после пуша

Grafana: Loki – Prometheus-like счётчики и функции агрегации в LogQL и графики DNS запросов к dnsmasq

Последний раз Loki для сбора и наблюдения за логами настраивал аж в феврале этого (см. Grafana Labs: Loki — сбор и просмотр логов), когда Loki была ещё в beta-версии. Сейчас возникли проблемы с исходящим трафиком (объём за два месяца вырос в 4 раза), никак не можем найти виновника. Как один из вариантов поиска этого самого…

https://rtfm.co.ua/grafana-loki-prometheus-like-schyotchiki-i-funkcii-agregacii-v-logql-i-grafiki-dns-zaprosov-k-dnsmasq/

AWS: RDS обновление Certificate Authority SSL сертификата

Давно уже начали получать письма о том, что надо обновить CA сертификаты, всё было некогда. Пора сделать, выполним на Dev сервере, потом повторим на Staging и Production. Мы используем обычный RDS MariaDB, документация по обновлению тут>>>. Процесс очень простой, занимает несколько минут, особенно, если вы не используете SSL между клиентами и RDS. У нас, например,…

https://rtfm.co.ua/aws-rds-obnovlenie-certificate-authority-ssl-sertifikata/

HTTP: редиректы, POST и GET запросы, и “потерянные” данные

Имеется приложение, которое должно принимать данные через POST-запросы от клиентов. Перед этим приложением имеется некий прокси, неважно какой – AWS Application Load Balancer, NGINX или любой другой. Мы изначально столкнулись с проблемой на AWS ALB, потом я начал тестить на NGINX, что бы искючить влияение самого AWS-сервиса – воспроизводится везде, т.к. не зависит от проксирующей…

https://rtfm.co.ua/http-redirekty-post-i-get-zaprosy-i-poteryannye-dannye/

Nextcloud: запуск в Docker Compose на Debian с SSL от Let’s Encrypt

Недавно потестировал Nexcloud вообще, см. NextCloud: установка сервера на Debian с NGINX и PHP-FPM, и клиента на Arch Linux – в целом понравилось, работает – можно попробовать мигрировать с Dropbox на него. Сегодня запустим Nextcloud полностью в Docker, на сервере с Debian 10 в Digital Ocean. К серверу подключён отдельный диск, на котором будут все…

https://rtfm.co.ua/nextcloud-zapusk-v-docker-compose-na-debian-s-ssl-ot-lets-encrypt/