Распараллеливание задач с контролем количества потоков

Когда нужно запустить 1000 задач, но не обрушить сервер - важно уметь распараллеливать выполнение с ограничением на количество одновременных процессов. В bash это можно реализовать без внешних утилит вроде parallel.

🌟 Задача: скачать список URL-ов, но не больше N одновременно.

🛠 Пример скрипта:

#!/bin/bash

MAX_JOBS=5
URLS_FILE="urls.txt"

semaphore() {
  while (( $(jobs -rp | wc -l) >= MAX_JOBS )); do
    sleep 0.5
  done
}

process_url() {
  local url="$1"
  echo "[*] Загрузка $url"
  curl -s -o /dev/null "$url" && echo "[+] $url OK" || echo "[-] $url FAIL"
}

while read -r url; do
  semaphore
  process_url "$url" &
done < "$URLS_FILE"

wait
echo "Все задачи завершены"

▪️ Пояснения:

jobs -rp - выводит только PID активных фоновых задач.
semaphore() - блокирует запуск, если уже выполняется $MAX_JOBS процессов.
wait в конце - ждет завершения всех фоновых заданий.

▪️ Когда использовать:

📍Массовая обработка файлов (сжатие, конвертация).
📍Сканирование сети.
📍Пакетные вычисления или API-запросы.

BashTex 📱 #bash

Автоматическая отправка отчета об активности crontab-скриптов

Когда скрипты запускаются по cron, часто мы не знаем - сработали ли они, что вывели, были ли ошибки. В результате важная задача могла "молча" упасть, и никто не заметил.

Решение - генерация и отправка ежедневного отчета о выполнении всех cron-задач с логами.

⭐️ Принцип:

📍 Все cron-скрипты логируют вывод в файл.
📍 В конце дня другой скрипт собирает и отправляет логи (по почте, в телегу, в файл).
📍 Старая логика - архивируется или удаляется.

🛠 Пример скрипта: /usr/local/bin/cron-report.sh

#!/bin/bash

LOGDIR="/var/log/cron-jobs"
REPORT="/tmp/cron_report_$(date +%F).log"

echo "Отчет о задачах cron за $(date)" > "$REPORT"
echo "===============================" >> "$REPORT"

for logfile in "$LOGDIR"/*.log; do
  echo -e "\n[$(basename "$logfile")]" >> "$REPORT"
  tail -n 50 "$logfile" >> "$REPORT"
done

#Отправить отчет (почта или телега)
mail -s "Cron Report $(hostname)" admin@bashtex.com < "$REPORT"

#Удаление старых логов старше 7 дней
find "$LOGDIR" -name '*.log' -mtime +7 -delete

▪️ Пример cron-задания для скрипта:

0 23 * * * /usr/local/bin/cron-report.sh

▪️ Пример логирования в других скриптах. В каждом cron-скрипте указываем:

#!/bin/bash
# example_job.sh

LOG="/var/log/cron-jobs/example_job.log"

echo "==== $(date) ====" >> "$LOG"
your_command_here >> "$LOG" 2>&1

✅ Права доступа к логам ограничены: chmod 640, владелец - root или нужный юзер.
✅Логи очищаются через find или logrotate.

BashTex 📱 #bash

Использование readarray и mapfile для групповой обработки строк

Когда обрабатываем многострочный вывод - часто используем while read, но есть более быстрый способ: mapfile (синоним - readarray).

❓ Что делает mapfile? Читает строки из stdin или команды сразу в массив, построчно:

mapfile -t lines < input.txt
# теперь ${lines[0]}, ${lines[1]} и т.д. - отдельные строки

Аналог:

readarray -t lines < input.txt

Флаг -t удаляет \n на конце строк.

▪️ Обработка вывода команд:

mapfile -t users < <(cut -d: -f1 /etc/passwd)

for user in "${users[@]}"; do
  echo "Пользователь: $user"
done

▪️ Фильтрация и трансформация. Комбинируем с grep, awk, sort, uniq:

mapfile -t services < <(systemctl list-units --type=service | awk '/running/ {print $1}')

for svc in "${services[@]}"; do
  echo "Активный сервис: $svc"
done

▪️ Срезы и подмассивы. Работа с частями:

mapfile -t logs < <(tail -n 100 /var/log/syslog)

# последние 5 строк
printf '%s\n' "${logs[@]: -5}"

▪️ Использование с read-only входом:

some_func() {
  local lines=()
  mapfile -t lines
  echo "Прочитано строк: ${#lines[@]}"
}

cat /etc/passwd | some_func

BashTex 📱 #bash #utils

Упаковка структуры каталогов с фильтрацией

Когда нужно архивировать не весь каталог, а только часть - с фильтрацией и даже переименованием путей внутри архива - на помощь приходят find, tar и его флаг --transform.

▪️ Базовый пример: фильтруем по маске и архивируем

find project/ -type f -name "*.conf" > list.txt
tar -czf config_backup.tar.gz -T list.txt

Тут мы архивируем только .conf-файлы.

▪️ Добавим переименование путей внутри архива. Архивируем все из src/, но хотим, чтобы внутри архива это лежало как app/.

tar -czf app.tar.gz \
  --transform='s|^src|app|' \
  -C ./ src

--transform использует sed-подобные выражения. Тут s|^src|app| означает: заменить в начале пути src на app.

▪️ Упаковка через find + --transform + относительные пути. Предположим, хотим архивировать только .sh и .py-файлы, заменив noscripts/ на bin/ внутри архива:

find noscripts/ -type f \( -name "*.sh" -o -name "*.py" \) > filelist.txt

tar -czf bin_noscripts.tar.gz \
  --transform='s|^noscripts|bin|' \
  -T filelist.txt

▪️ Упрощенный однострочник:

find noscripts/ -type f -name "*.sh" \
| tar -czf archive.tar.gz --transform='s|^noscripts|bin|' -T -

▪️ Продвинутый пример: исключения + трансформация + директория

find ./src -type f ! -name "*.tmp" \
| tar -czf src_clean.tar.gz \
    --transform='s|^./src|clean_src|' \
    -T -

BashTex 📱 #bash #utils

Планировщик задач с временными окнами: только ночью, только по будням, только в выходные

Иногда cron не подходит:

📍 нужно запустить задачу в определенное время суток,
📍 но не строго по расписанию, а если есть что обрабатывать,
📍 и не запускать ее днем, когда сервер под нагрузкой.

Тут пригодится встроенная проверка временных окон в скрипте, а cron пусть просто каждые 10 минут запускает "умный планировщик".

🛠 Пример: выполнение задачи только с 02:00 до 05:00 по будням

#!/bin/bash

#настройки временного окна
start_hour=2
end_hour=5

# день недели (1..5 = пн-пт)
dow=$(date +%u)

#часы сейчас
hour=$(date +%H)

#проверка: будний день и нужное время
if (( dow >= 1 && dow <= 5 )) && (( hour >= start_hour && hour < end_hour )); then
  echo "[$(date)] Временное окно открыто. Выполняем задачу."
  
  #здесь реальная задача:
  /opt/backup/backup-db.sh

else
  echo "[$(date)] Вне временного окна. Пропуск."
fi

▪️ Расширение: исключение праздников (по файлу)

holiday_file="/etc/holidays.txt"
today=$(date +%Y-%m-%d)

if grep -q "$today" "$holiday_file"; then
  echo "Сегодня праздник. Задача не выполняется."
  exit 0
fi

▪️ Альтернатива: запуск только по выходным с 3 до 6 утра

(( dow == 6 || dow == 7 )) && (( hour >= 3 && hour < 6 )) && run_task

▪️ Запуск через cron

*/10 * * * * /usr/local/bin/task_scheduler.sh >> /var/log/task.log 2>&1

BashTex 📱 #bash #utils

Печать таблиц с автошириной и выравниванием

column, awk, printf - минимализм, читаемость и стиль без excel и pandas. Bash-скрипты часто выводят списки, но без форматирования:

echo "user1 1234 active"
echo "user10 99 disabled"

Вывод «прыгает» - неудобно читать. Решаем с помощью:

column - автоширина и выравнивание
awk - гибкая фильтрация и формат
printf - точный контроль длины столбцов

▪️ Быстрое решение: column -t

#!/bin/bash

echo -e "USER ID STATUS\nuser1 1234 active\nuser10 99 disabled" | column -t

Результат:

USER    ID   STATUS
user1   1234 active
user10  99   disabled

-t = "табличный режим", разбивает по пробелам, автоширина.

▪️ Альтернатива: awk с выравниванием

awk '{ printf "%-10s %-6s %-10s\n", $1, $2, $3 }' <<< "user1 1234 active
user10 99 disabled"

Результат:

user1     1234   active    
user10    99     disabled 

Плюсы:

Точное выравнивание;
Подходит для чисел, выравненных по правому краю (%6s, %6d).

▪️ Автоматизация с массивом и printf

header=("USER" "ID" "STATUS")
rows=(
  "user1 1234 active"
  "user10 99 disabled"
  "admin 5678 maintenance"
)

{
  printf "%-10s %-6s %-12s\n" "${header[@]}"
  for row in "${rows[@]}"; do
    printf "%-10s %-6s %-12s\n" $row
  done
} | column -t

▪️ Таблица из файла CSV

column -s, -t < users.csv

-s, - задает разделитель (запятая), -t - табличный вид.

BashTex 📱 #bash

😎

BashTex 📱 #юмор

Авторазрешение зависимостей скрипта через dynamic sourcing

В больших bash-проектах часто есть несколько вспомогательных файлов (.sh или .bash), которые содержат функции и настройки. Проблема в том, что:

📍Скрипт может запуститься в другом каталоге - пути сломаются
📍Некоторые модули могут отсутствовать или лежать в нестандартных местах
📍При изменении структуры проекта придётся вручную переписывать source

Решение: динамическое подключение модулей

1️⃣ Автоматический source по списку зависимостей

#!/bin/bash
set -e

# Список модулей, которые нужны для работы
modules=("logger.sh" "utils.sh" "net.sh")

# Каталоги для поиска
search_paths=(
  "$PWD/lib"
  "$PWD/modules"
  "/usr/local/share/mynoscript"
)

for mod in "${modules[@]}"; do
    found=0
    for path in "${search_paths[@]}"; do
        if [[ -f "$path/$mod" ]]; then
            source "$path/$mod"
            echo "[OK] Loaded $mod from $path"
            found=1
            break
        fi
    done
    if (( !found )); then
        echo "[ERROR] Module $mod not found" >&2
        exit 1
    fi
done

Такой подход позволяет легко добавлять новые пути в поиск - модуль подтянется сам.

2️⃣ Dynamic sourcing по зависимостям из конфигурации. Можно вынести список зависимостей в отдельный файл deps.txt:

logger.sh
utils.sh
net.sh

А в скрипте:

while IFS= read -r dep; do
    found=0
    for path in "${search_paths[@]}"; do
        if [[ -f "$path/$dep" ]]; then
            source "$path/$dep"
            found=1
            break
        fi
    done
    (( found )) || { echo "[MISSING] $dep" >&2; exit 1; }
done < deps.txt

3️⃣ Поиск относительно текущего скрипта. Чтобы скрипт работал из любого места:

SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
source "$SCRIPT_DIR/lib/logger.sh"

▪️ Плюсы подхода:

✅Нет жестких путей;
✅Можно запускать в разных окружениях;
✅Удобно для open-source проектов и shared-библиотек;
✅Легко расширять - просто добавь файл в deps.txt.

BashTex 📱 #bash

Автонастройка нового сервера по шаблону

Один скрипт - и свежий VPS готов к работе.

Скрипт будет:

📍Создать нового пользователя с sudo;
📍Настраивать SSH-ключи и запрещать парольный вход;
📍Отключать root-доступ;
📍Настраивать базовый firewall (ufw);
📍Обновлять пакеты

🛠 Сам скрипт:

#!/bin/bash
set -e

# --- Конфиг ---
NEW_USER="deploy"
SSH_KEY_URL="https://bashtex.com/id_rsa.pub"
ALLOW_PORTS=(22 80 443)
TIMEZONE="Europe/Moscow"

# --- 1. Обновление системы ---
apt update && apt upgrade -y

# --- 2. Создание пользователя ---
if ! id "$NEW_USER" &>/dev/null; then
    adduser --disabled-password --gecos "" "$NEW_USER"
    usermod -aG sudo "$NEW_USER"
fi

# --- 3. Установка SSH-ключа ---
mkdir -p /home/$NEW_USER/.ssh
curl -fsSL "$SSH_KEY_URL" -o /home/$NEW_USER/.ssh/authorized_keys
chmod 700 /home/$NEW_USER/.ssh
chmod 600 /home/$NEW_USER/.ssh/authorized_keys
chown -R $NEW_USER:$NEW_USER /home/$NEW_USER/.ssh

# --- 4. Настройка SSH ---
sed -i 's/^#\?PermitRootLogin .*/PermitRootLogin no/' /etc/ssh/sshd_config
sed -i 's/^#\?PasswordAuthentication .*/PasswordAuthentication no/' /etc/ssh/sshd_config
systemctl restart sshd

# --- 5. Настройка UFW ---
apt install -y ufw
ufw default deny incoming
ufw default allow outgoing
for port in "${ALLOW_PORTS[@]}"; do
    ufw allow "$port"
done
ufw --force enable

# --- 6. Часовой пояс ---
timedatectl set-timezone "$TIMEZONE"

echo "[OK] Сервер настроен!"

▪️ Как использовать. Скопировать скрипт на новый сервер:

scp setup_server.sh root@IP:/root/

Запустить:

ssh root@IP 'bash /root/setup_server.sh'

Готово. Теперь можно заходить по SSH ключом под $NEW_USER.

BashTex 📱 #bash

Когда я установлю Linux, я никому не скажу, но знаки будут

BashTex 📱 #юмор

Однострочники: меньше кода - быстрее результат

Bash прекрасен тем, что может решить массу задач буквально одной строкой. Подборка полезных шаблонов, которые легко адаптировать под себя.

1️⃣ Быстрый поиск файла по имени

find / -type f -name "*.log" 2>/dev/null

Ищет .log файлы в системе, игнорируя ошибки доступа.

2️⃣ Топ-10 самых больших файлов

du -ah /path | sort -rh | head -n 10

Показывает, что занимает место.

3️⃣ Проверка доступности сайта

curl -Is https://bashtex.com | head -n1

Отдаёт HTTP-статус (200 OK, 404 Not Found и т.д.).

4️⃣ Массовое переименование файлов

for f in *.txt; do mv "$f" "${f%.txt}.bak"; done

Меняет расширение .txt на .bak у всех файлов в папке.

5️⃣ Замер времени выполнения команды

time tar -czf backup.tar.gz /data

Показывает, сколько заняла команда.

6️⃣ Быстрый бэкап с датой

tar -czf backup-$(date +%F).tar.gz /path/to/dir

Файл будет называться backup-2025-09-11.tar.gz.

7️⃣ Мониторинг нагрузки в реальном времени

watch -n 1 "df -h / && free -m"

Каждую секунду показывает дисковое и RAM-состояние.

8️⃣ Удаление файлов старше N дней

find /tmp -type f -mtime +7 -delete

Чистит /tmp от старых файлов.

9️⃣ Загрузка и распаковка архива

curl -L https://site.ru/file.tar.gz | tar -xz

Скачивает и сразу распаковывает.

1️⃣0️⃣ Поиск текста в файлах

grep -R "ERROR" /var/log/

Находит все упоминания ERROR в логах.

BashTex 📱 #bash

Однострочники: меньше кода - быстрее результат. Часть 2

Продолжение верхнего поста, но с более харкорными фишками.

1️⃣ Параллельное выполнение задач

seq 1 10 | xargs -n1 -P4 bash -c 'echo "Job $0"; sleep 2'

Выполняет 4 задачи одновременно, распределяя их по входным данным.

2️⃣ Автосоздание многоуровневых JSON из списка

awk -F= '{gsub(/ /,"",$1); printf "\"%s\":\"%s\",\n",$1,$2}' vars.txt | sed '$ s/,$//; 1s/^/{/; $s/$/}/'

Превращает key=value в JSON-структуру без jq.

3️⃣ Замена текста в пачке файлов с сохранением даты

grep -rl "oldtext" . | xargs -I{} touch -r {} {}.ts && \
grep -rl "oldtext" . | xargs sed -i 's/oldtext/newtext/g' && \
for f in *.ts; do touch -r "$f" "${f%.ts}"; rm "$f"; done

Меняет текст, но оставляет оригинальные метки времени.

4️⃣ Потоковая упаковка только изменённых файлов

find /src -type f -newermt "2025-09-12" -print0 | tar --null -T - -czf patch.tar.gz

Создает архив только с файлами новее указанной даты.

5️⃣ «Ловля» пакетов через tcpdump с фильтром и автопарсингом

tcpdump -l -i eth0 "tcp port 80" | stdbuf -oL awk '/Host:/{print $2}'

В реальном времени выводит посещаемые хосты.

6️⃣ Горячее редактирование конфигов на удаленке

ssh user@server "sed -i '/^#MaxAuthTries/s/^#//' /etc/ssh/sshd_config && systemctl restart sshd"

Меняет параметр в конфиге и перезапускает сервис без SCP.

7️⃣ Наблюдение за PID и его автокилл

while pidof myproc >/dev/null; do sleep 1; done && echo "Process died"

Ждет завершения процесса и реагирует.

8️⃣ Объединение нескольких логов в один с отметкой источника

tail -F app1.log | sed 's/^/[APP1] /' & \
tail -F app2.log | sed 's/^/[APP2] /' & wait

В реальном времени сливает логи с пометками.

9️⃣ Лайв-диагностика сети с графиком

ping -i 0.2 8.8.8.8 | awk -F'=' '/time=/{print $NF}' | gnuplot -p -e "plot '<cat' with lines"

Пинг с живой отрисовкой графика без промежуточных файлов.

1️⃣0️⃣ «Самообновляющийся» скрипт

curl -s https://bashtex.com/mynoscript.sh -o "$0" && exec bash "$0" "$@"

Обновляет себя и перезапускается.

BashTex 📱 #bash

🔫🔫🔫 день, а это означает, что пора поздравлять вас с днём программиста!

Желаю вам, чтобы Ваша зп росла быстрее, чем количество тасок. И пусть в жизни, как в коде, всегда находится правильный алгоритм! 🔫

BashTex 📱

Бинарные флаги и побитовые операции

Bash - не только про строки. В нtм легко использовать побитовую арифметику (&, |, ^, ~, <<, >>) для управления флагами, что бывает полезно в админских скриптах.

▪️ Базовая логика. Каждый бит числа можно трактовать как флаг (0 - выключено, 1 - включено):

FLAG_READ=1      # 0001
FLAG_WRITE=2     # 0010
FLAG_EXEC=4      # 0100
FLAG_DELETE=8    # 1000

▪️ Установка флага (OR |)

rights=0
rights=$(( rights | FLAG_READ | FLAG_WRITE ))
echo $rights   # 3 (0001 + 0010 = 0011)

▪️ Проверка флага (AND &)

if (( rights & FLAG_WRITE )); then
    echo "Есть право записи"
fi

▪️ Сброс флага (AND + NOT &~)

rights=$(( rights & ~FLAG_READ ))
echo $rights   # теперь без read

▪️ Инверсия (XOR ^)

rights=$(( rights ^ FLAG_EXEC ))  # переключение: если был - уберется, если не был - включится

▪️ Практические кейсы
1️⃣ Система разрешений в скриптах. Можно задавать доступ к операциям через биты вместо кучи if:

if (( user_flags & FLAG_DELETE )); then
    rm "$file"
fi

2️⃣ Упаковка нескольких состояний в одно число. Например, код статуса сервиса:

STATUS_RUNNING=1
STATUS_RESTARTING=2
STATUS_FAILED=4

status=$(( STATUS_RUNNING | STATUS_RESTARTING ))

(( status & STATUS_FAILED )) && echo "Ошибка!"

3️⃣ Быстрые флаги для CLI-опций

OPT_VERBOSE=1
OPT_DRYRUN=2
OPT_FORCE=4

opts=0
[[ $1 == "-v" ]] && opts=$(( opts | OPT_VERBOSE ))
[[ $1 == "-f" ]] && opts=$(( opts | OPT_FORCE ))

(( opts & OPT_VERBOSE )) && echo "[VERBOSE MODE]"

4️⃣ Флаги как компактная замена массивов. Вместо массива enabled_features=(...) можно хранить все в одной переменной. Это особенно ценно при передаче значений между процессами.

BashTex 📱 #bash #utils

Создание оффлайн инсталлятора из .deb зависимостей

Иногда сервер или рабочая машина не имеет прямого доступа в интернет. Но поставить нужный софт все же нужно. Решение: собрать локальный оффлайн инсталлятор из уже установленных пакетов и их зависимостей.

▪️ Установка dpkg-repack. На машине с интернетом:

sudo apt install dpkg-repack

▪️ Репак пакета в .deb. Если пакет уже стоит в системе:

dpkg-repack htop
# создаст htop_3.0.5-1_amd64.deb

▪️ Репак с зависимостями. Чтобы вытащить пакет + его зависимости:

mkdir offline-installer && cd offline-installer

# пример для nginx
for pkg in $(apt-cache depends --recurse --no-recommends --no-suggests \
             --no-conflicts --no-breaks --no-replaces --no-enhances \
             nginx | grep "^\w"); do
    dpkg-repack "$pkg"
done

▪️ Итог - "папка-инсталлятор". В каталоге будут все нужные .deb:

ls *.deb
nginx_1.24.0-1_amd64.deb
libpcre3_2:8.39-13_amd64.deb
libssl1.1_1.1.1n-0+deb11u5_amd64.deb
...

▪️ Установка на оффлайн серваке. Переносим папку, потом:

sudo dpkg -i *.deb
sudo apt -f install   # подтянет зависимости из локальных .deb

Можно превратить папку в локальный APT-репозиторий:

dpkg-scanpackages . /dev/null | gzip -9c > Packages.gz

и подключить его через sources.list.

BashTex 📱 #bash #utils

🐧

BashTex 📱 #юмор

Одновременный запуск команд на нескольких хостах

Иногда нужно быстро выполнить одну и ту же команду на нескольких серверах. Удобные тулзы для этого есть (например, pssh, ansible), но что если хочется сделать это в чистом bash, без сторонних зависимостей? Попробуем реализовать, основная идея такова:

📍список хостов хранится в текстовом файле;
📍скрипт пробегает по ним циклом и запускает команду через ssh;
📍чтобы все шло параллельно - используем background (&) и ограничитель числа потоков.

🛠 Пример скрипта

#!/bin/bash
# parallel-ssh.sh
# Одновременное выполнение команд на хостах

HOSTFILE="hosts.txt"
CMD="$*"
MAX_PARALLEL=5   # ограничение параллельных подключений

if [[ -z "$CMD" ]]; then
    echo "Использование: $0 'команда для выполнения'"
    exit 1
fi

sem=0
while read -r host; do
    [[ -z "$host" || "$host" =~ ^# ]] && continue

    {
        echo ">>> [$host]"
        ssh -o BatchMode=yes -o ConnectTimeout=5 "$host" "$CMD" 2>&1 | sed "s/^/[$host] /"
    } &

    ((sem++))
    if (( sem >= MAX_PARALLEL )); then
        wait -n
        ((sem--))
    fi
done < "$HOSTFILE"

wait

▪️ Пример hosts.txt

server1
192.168.1.12
192.168.1.15

▪️ Запуск

./parallel-ssh.sh "uptime"

Вывод будет помечен [host], чтобы не путались строки.

BashTex 📱 #bash

Автоматическое формирование changelog из git-истории

Любой проект со временем обрастает десятками коммитов. Но превращать историю git log в читаемый changelog руками - занятие неблагодарное. Bash и git позволяют автоматизировать это в пару строк.

🛠 Базовый скрипт

#!/bin/bash
# gen-changelog.sh

OUTFILE="CHANGELOG.md"

{
  echo "# Changelog"
  echo

  # Перебираем теги в обратном порядке
  for tag in $(git tag --sort=-creatordate); do
    prev=$(git describe --tags --abbrev=0 "$tag"^ 2>/dev/null || echo "")
    echo "## $tag"
    echo

    if [[ -n "$prev" ]]; then
      range="$prev..$tag"
    else
      range="$tag"
    fi

    git log --pretty=format:"- %s (%an)" "$range"
    echo -e "\n"
  done
} > "$OUTFILE"

echo "Changelog обновлен: $OUTFILE"

▪️ Пример вывода

# Changelog

## v2.2.0
- Добавлены новые баги (Ivan)
- Исправлен баг с путями (Anna)

## v2.1.0
- Рефакторинг логики загрузки (Ivan)
- Улучшена работа с сетью (Petr)

▪️ Можно также добавить:

📍добавить дату релиза: --date=short --pretty=format:"- %s (%an, %ad)";
📍разделить по типам коммитов (feat, fix, docs) с помощью grep;
📍генерировать changelog только для новых коммитов с последнего релиза.

BashTex 📱 #bash

Скрипт для массового обновления SSH-ключей пользователей на кластере

Когда у вас десятки серверов и несколько пользователей, ручное обновление ~/.ssh/authorized_keys превращается в кошмар. Чтобы централизованно обновить ключи (например, при ротации), скрипт может взять все под контроль.

Наш скрипт будет:

📍Хранить эталонные ключи пользователей в центральном репозитории (например, /srv/ssh-keys/ или в Git).
📍Проходить по списку хостов и обновлять authorized_keys.
📍Логировать успехи и ошибки.

🛠 Пример скрипта

#!/bin/bash

HOSTS="hosts.txt"        # список серверов: один hostname/ip на строку
USERS="users.txt"        # список пользователей: один user на строку
KEYDIR="/srv/ssh-keys"   # где лежат эталонные ключи (user.pub)
LOGFILE="ssh_update.log"

while read -r host; do
  echo "[*] Обновляем ключи на $host"
  for user in $(cat "$USERS"); do
    keyfile="$KEYDIR/$user.pub"
    if [[ -f "$keyfile" ]]; then
      ssh "$host" "mkdir -p /home/$user/.ssh && \
                   chmod 700 /home/$user/.ssh && \
                   cat > /home/$user/.ssh/authorized_keys && \
                   chmod 600 /home/$user/.ssh/authorized_keys && \
                   chown -R $user:$user /home/$user/.ssh" \
      < "$keyfile"

      if [[ $? -eq 0 ]]; then
        echo "$(date '+%F %T') OK $user@$host" >> "$LOGFILE"
      else
        echo "$(date '+%F %T') FAIL $user@$host" >> "$LOGFILE"
      fi
    else
      echo "Нет ключа для $user"
    fi
  done
done < "$HOSTS"

▪️ Что делает скрипт

📍перебирает все хосты из hosts.txt;
📍для каждого пользователя заливает новый authorized_keys;
📍выставляет правильные права (700 для .ssh, 600 для ключа);
📍пишет лог успешных и неудачных обновлений.

BashTex 📱 #bash

Использование coproc для работы с асинхронными потоками

Многие знают про & и wait, но есть куда более элегантный инструмент для асинхронной работы - coproc. Это встроенная команда, которая запускает процесс в фоне и автоматически подключает к нему двусторонний канал (pipe).

❓ Как это работает

coproc создает процесс, у которого:

stdin доступен через дескриптор ${COPROC[1]} (запись в процесс);
stdout доступен через ${COPROC[0]} (чтение из процесса);
имя coproc можно задавать, чтобы управлять несколькими одновременно.

▪️ Простейший пример

#!/bin/bash

# Запускаем фоновый bc как "асинхронный калькулятор"
coproc CALC { bc -l; }

# Отправляем в stdin команды
echo "2+3" >&"${CALC[1]}"
echo "s(1)" >&"${CALC[1]}"

# Читаем ответы из stdout
read -u "${CALC[0]}" result1
read -u "${CALC[0]}" result2

echo "Результат 1: $result1"
echo "Результат 2: $result2"

Процесс bc живет, пока вы его не закроете. То есть можно посылать команды и читать ответы несколько раз.

▪️ Практические кейсы
📍 Асинхронные задачи с обратной связью. Можно запускать ping, tcpdump или tail -f в coproc, а потом считывать поток строк построчно:

coproc PINGER { ping -O 8.8.8.8; }
while read -ru "${PINGER[0]}" line; do
    echo "PING: $line"
done

📍 Фоновый обработчик. Например, пишем строки в процессинг-скрипт:

coproc HANDLER { while read line; do echo ">> $line"; done; }
echo "Hello" >&"${HANDLER[1]}"
echo "World" >&"${HANDLER[1]}"

📍 Несколько процессов. Coproc можно называть:

coproc P1 { ping -c2 8.8.8.8; }
coproc P2 { ping -c2 1.1.1.1; }

▪️ Подводные камни

Каналы буферизуются, иногда нужно sleep или stdbuf -oL для построчной работы.
Закрывайте дескрипторы exec {fd}>&-, иначе процесс может висеть.
coproc работает только в bash ≥ 4.

BashTex 📱 #bash #utils

Встраивание мини-HTTP-сервера на netcat + bash (для локальных API)

Иногда хочется быстро поднять легковесный API без Nginx/Apache, чтобы протестировать интеграцию или выдавать системные данные в JSON. Для этого достаточно bash + netcat.

Общая идея такова:

📍netcat слушает порт (например, 8080);
📍bash скрипт парсит запрос и отвечает заголовками + данными;
📍результат можно использовать для локальных API-запросов (например, мониторинг).

🛠 Минимальный пример

#!/bin/bash
PORT=8080

while true; do
  # Принимаем одно соединение
  { 
    # Читаем первую строку HTTP-запроса
    read request
    echo ">>> $request"

    # Отправляем HTTP-ответ
    echo -e "HTTP/1.1 200 OK\r"
    echo -e "Content-Type: application/json\r"
    echo -e "\r"
    echo -e '{"status": "ok", "time": "'$(date +%T)'"}'
  } | nc -l -p $PORT -q 1
done

▪️ Запуск

chmod +x mini-http.sh
./mini-http.sh

Теперь можно открыть в браузере: http://localhost:8080

▪️ Возможности

📍отдавать системные метрики:

echo -e '{"load": "'$(uptime | awk "{print \$10}")'"}'

📍простой healthcheck для Docker: curl localhost:8080/health
📍мини-API для локальных скриптов (например, статус бэкапа).

Такой подход позволяет собрать сверхлегкий REST-like API прямо из bash - без сторонних веб-фреймворков.

BashTex 📱 #bash #utils