Logical Volume Manager (LVM)

Система управления томами с данными. Она позволяет создавать поверх физических разделов (или даже неразбитых винчестеров) логические тома, которые в самой системе будут видны как обычные блочные устройства с данными (т.е. как обычные разделы). 

Преимущества:
- одну группу логических томов можно создавать поверх любого количества физических разделов
- размер логических томов можно легко менять прямо во время работы.
- поддерживает механизм снапшотов, копирование разделов «на лету» и зеркалирование, подобное RAID-1

Активно используется, когда необходим механизм снапшотов. Этот механизм крайне важен при бекапе постоянно меняющихся файлов.

AlmaLinux

Дистрибутив, продолжающий развивается по принципам классического CentOS, и формируется путем пересборки пакетной базы Red Hat Enterprise Linux, сохраняя полную бинарную совместимость с RHEL. 

Дистрибутив доступен для всех бесплатно, а все его наработки публикуются под свободными лицензиями. 

Компания CloudLinux, имеющая десятилетний опыт разработки дистрибутивов, основанных на исходных пакетах RHEL, предоставила ресурсы для разработки AlmaLinux. После этого проект был передан под управление некоммерческой организации AlmaLinux OS Foundation для разработки в сотрудничестве с сообществом.

AlmaLinux имеет хорошую совместимость с Red Hat Enterprise Linux и другими дистрибутивами, а также обладает другими преимуществами, такими как оперативный выпуск обновлений и долгий срок поддержки.

Dandified YUM

DNF – модифицированная версия пакетного менеджера YUM на языке на Python. 

Разработка утилиты начата в 2011 году. В 2015 году DNF стал основным менеджером пакетов для системы Fedora 22. 

В DNF были исправлены такие недостатки YUM, как некорректная установка зависимостей, низкая скорость работы, большое потребление оперативной памяти.

Для менеджеров пакетов YUM и DNF существует лёгкая графическая оболочка Yum Extender

Yum Extender устанавливается следующей командой:
yum install yumex

Интерфейсы Portage

 ⁃ Emerge
Консольный интерфейс Emerge предназначен для сборки и обновления программ и их зависимостей.

Инструмент доступен «из коробки» и используется для работы с системой Portage по умолчанию.
Для компиляции программ используются ebuild-скрипты. Они содержатся в локальных репозиториях Gentoo, а сам исходный код программ скачивается с GitHub. 

Настроить список репозиториев можно самостоятельно, в файле «/etc/portage/repos.conf».

 ⁃ Kuroo
Графический интерфейс Kuroo по принципу работы почти не отличается от Emerge. Утилита написана на языке C++ с использованием фреймворка Qt. 

Kuroo установлен по умолчанию в систему с рабочим окружением KDE.

Управление устройствами QMI

Для контроля QMI (Qualcomm MSM Interface) используется утилита qmicli.

QMI - это общий термин для всего связанного обмена сообщениями между процессорами и их программными стеками на процессорах сотовой связи Qualcomm. В случае карт данных/модемов данных QMI часто подключается к хост-компьютеру через USB.

Синтаксис:
qmicli [Опциия]

У этой команды очень много опций, которые относятся к разным типам: DMS, NAS, WDS, PBM, PDC, UIM, SAR и тд.

Создание логического тома

Логический том - логический раздел; виртуальное блочное устройство. 

1. С помощью gfs_mkfs создайте файловую систему GFS2 на логическом томе.

2. С помощью mkdir создайте точку подключения. В кластерной системе точку подключения надо создать на каждом узле.

3. Подключите файловую систему. Для каждого узла в кластере можно добавить отдельную строчку в файле fstab.

Перечисленные действия также можно выполнить в окне графического интерфейса LVM.

Запрет выделения пространства физического тома

Команда pvchange позволяет запретить выделение свободных физических экстентов, что может потребоваться в случае ошибок диска или при удалении физического тома.

Экстент - непрерывная область носителя информации.

Следующая команда запрещает выделение экстентов на /dev/sdk1:
pvchange -x n /dev/sdk1

Аргументы -xy разрешат выделение экстентов там, где раньше это было запрещено.

Резервное копирование логического тома

Резервные копии и архивы метаданных создаются автоматически при изменении настроек логического тома и группы.

Копия метаданных по умолчанию сохраняется в /etc/lvm/backup, а архивы — в /etc/lvm/archive.

Параметры в lvm.conf определяют продолжительность хранения архивов в /etc/lvm/archive и число хранимых файлов. 

Ежедневная резервная копия должна включать содержимое каталога /etc/lvm.

Создать архив метаданных в /etc/lvm/backup можно с помощью команды vgcfgbackup. Восстановить метаданные можно с помощью vgcfgrestore.

Недостатки и преимущества LVM

Преимущества:
- гибкое распределение дискового пространства
- динамическое добавление дисков (без остановки сервера)

Недостатки:
- сложность администрирования (требует знания большого количества команд и утилит)
- заменить диски в массиве RAID очень сложно
- массивы, созданные с помощью LVM, будут работать медленнее
- не рекомендуется использовать их на SSD-накопителях
- необходимо знать, какие файловые системы можно использовать, а какие нежелательно
- многие операционные системы не поддерживают LVM

Недостатки и преимущества mdadm

Преимущества:
- максимально быстрые RAID-массивы
- динамическое добавление дисков в массив RAID (с использованием дисков горячего резерва)
- быстрая и простая замена вышедших из строя дисков
простое администрирование (благодаря графической оболочке Webmin)

Недостаток:
- пользователь не может гибко распределять дисковое пространство (фактически ограниченное объемом дисков и типом используемого RAID)

Изменение размера физического тома

pvresize изменяет размер физического тома, если изменился размер блочного устройства в его основе.

Развернуть PV на /dev/sda1 после увеличения раздела с помощью fdisk:

pvresize /dev/sda1

Уменьшить PV на /dev/sda1 до сжатия раздела с помощью fdisk:
pvresize --setphysicalvolumesize 40G /dev/sda1

Создание файловой системы GFS

gfs_mkfs используется для создания Global File System (или глобальная файловая система)

GFS — это распределенная файловая система, к которой можно получить доступ из нескольких мест и которая обеспечивает одновременный доступ к глобальному пространству имен из всех мест.

Чтобы файловая система считалась глобальной, она должна позволять создавать, изменять и удалять файлы из любого места.

Пример:
Создать глобальную файловую систему на блочном устройстве «/dev/vg0/mygfs». Он будет принадлежать «mycluster» и зарегистрируется как требующий блокировки для «mygfs». Он будет использовать DLM для блокировки и вести два журнала.

gfs_mkfs -t mycluster:mygfs -p lock_dlm -j 2 /dev/vg0/mygfs

В чем разница между LVM и mdadm?

Lvm и mdadm — две похожие и в то же время совершенно разные утилиты, предназначенные для обработки информации о дисках.

mdadm — очень функциональная утилита, добавляющая в Linux поддержку RAID на уровне ядра. RAID-массивы, созданные с помощью утилиты mdadm, обладают наибольшей производительностью, так как не имеют никаких «посредников» в виде дополнительных драйверов и утилит для отправки команд накопителям.

А вот если говорить об LVM, то он довольно сложен в обслуживании и требует от пользователя глубоких знаний операционной системы.
Стоит отметить, что операционная система Windows и Mac OS не поддерживает работу с LVM.

По этим причинам рекомендуется использовать mdadm для создания программного RAID, так как это будет быстрее и надежнее.

ZFS

Pанее Zettabyte File System — это файловая система с возможностями управления томами.

Управление хранимыми данными включает два аспекта: управление физическими томами одного или нескольких блочных устройств, а также управление данными, хранящимися на этих блочных устройствах.

ZFS необычна тем, что, в отличие от большинства других систем хранения, объединяет обе эти роли и действует как диспетчер томов и файловая система.

ZFS предназначена для обеспечения того, чтобы данные, хранящиеся на дисках, не могли быть потеряны из-за физических ошибок или неправильной обработки аппаратным обеспечением или ОС.

Преимущества ZFS

Cпособ обработки данных
Пользовательский метод обработки ZFS означает, что вероятность обнаружения поврежденных файлов и секторов выше. Это основной аргумент в пользу ZFS, поскольку многие другие менеджеры томов не имеют такой возможности из-за ограничений скорости чтения/записи.

RAID-Z
обеспечивает поддержку и функции для трех различных версий RAID (включая последнюю версию RAID-5). Предоставляет все дополнительные преимущества RAID.

L2ARC
Гарантирует, что ваш персонализированный кеш никогда не будет потерян, а также уменьшит задержку, что является важной функцией при управлении томами на виртуальном частном сервере.

Смотрим общую информацию о жёстком диске?

Для регулировки и просмотра параметров жёстких дисков с интерфейсом ATA существует утилита hdparm.

Утилита может установить такие параметры как объём кеш-памяти накопителя, спящий режим, управление питанием, управление акустикой и настройки DMA.

hdparm имеет очень серьёзный недостаток: утилита может привести к сбою компьютера и сделать данные на жёстком диске недоступными, после применения сочетания некоторых параметров.

Для просмотра общей информации о жёстком диске используется команда:

hdparm -i /dev/sd<буква>

Kоманда whereis

Служебная программа командной строки, которая позволяет найти расположение двоичных файлов, файлов исходного кода и файлов справочной страницы для данной команды.

По умолчанию whereis ищет файлы команды в жестко заданных путях и каталогах, перечисленных в переменных среды.

Чтобы найти каталоги, в которых ищет команда whereis:

whereis -l

Например, чтобы получить информацию о команде bash:

whereis bash

Чтобы найти расположение команды ping:

whereis -p ping

Параметр -m позволяет искать только файлы man:
whereis -m command

Преобразовать код Python2 к версии 3

Если вы любитель Python2, но вам нужно написать код с использованием 3ей версии, то команда 2to3 будет вам очень полезна, так она позволяет автоматически преобразовывать код Python 2 к версии 3.

Примеры:
Вывести изменения, которые могут быть применены без их исполнения:

2to3 /path/to/file.py

Преобразовать код указанного файла Python 2 к коду Python 3:

2to3 --write /path/to/file.py

Совершить преобразование указанных возможностей языка Python 2 к Python 3:
2to3 --write /path/to/file.py --fix={raw_input} --fix={print}

Что такое менеджер томов Linux?

Помогает вам управлять томами ваших дисков. Факт!

Некоторые из этих менеджеров работают только с физическими дисками, в то время как другие также работают с дисками, размещенными на сервере и с серверами облачного хранилища.

Один из основных случаев, в которых используются эти менеджеры томов, — это когда нам нужно создать новую группу томов, которую можно настроить и изменить размер по мере необходимости.

Их также можно использовать для анализа больших дисковых фреймов для доступа и фильтрации данных.

Некоторые из этих диспетчеров томов предоставляют службы безопасности, такие как шифрование данных на томе жесткого диска.

Еще одно основное применение диспетчеров томов — резервное копирование и перемещение данных из поврежденных секторов в здоровые.

Команда sha1sum

Позволяет вычислять значения контрольных сумм файлов по алгоритму SHA-1 и проверять их.

Синтаксис: sha1sum [ключи] [файл]

Ключи:
-t — читать данные файлов в текстовом режиме (по умолчанию)
-b — читать данные файлов в двоичном режиме.
-c — сверять вычисленные значения SHA-1 со значениями из файла.
--help — вывести только справку по ключам.
--version — вывести только информацию о версии.

Вывести контрольные суммы:
sha1sum some_file_name

Использование физического раздела VS менеджер томов

Физические разделы являются надежным инструментом для самых простых схем разделов, но они в значительной степени терпят неудачу по всем направлениям, когда речь идет о чем-либо, что может понадобиться разработчику при разделении их томов.

Ключевые преимущества использования менеджера томов включают обширную настройку, изменение размера, неограниченное количество томов и безопасное резервное копирование. Поэтому, если вам не нужен просто базовый раздел, лучше всего использовать диспетчер томов, такой как ZFS или LVM.