Недостатки и преимущества mdadm

Преимущества:
- максимально быстрые RAID-массивы
- динамическое добавление дисков в массив RAID (с использованием дисков горячего резерва)
- быстрая и простая замена вышедших из строя дисков
простое администрирование (благодаря графической оболочке Webmin)

Недостаток:
- пользователь не может гибко распределять дисковое пространство (фактически ограниченное объемом дисков и типом используемого RAID)

Изменение размера физического тома

pvresize изменяет размер физического тома, если изменился размер блочного устройства в его основе.

Развернуть PV на /dev/sda1 после увеличения раздела с помощью fdisk:

pvresize /dev/sda1

Уменьшить PV на /dev/sda1 до сжатия раздела с помощью fdisk:
pvresize --setphysicalvolumesize 40G /dev/sda1

Создание файловой системы GFS

gfs_mkfs используется для создания Global File System (или глобальная файловая система)

GFS — это распределенная файловая система, к которой можно получить доступ из нескольких мест и которая обеспечивает одновременный доступ к глобальному пространству имен из всех мест.

Чтобы файловая система считалась глобальной, она должна позволять создавать, изменять и удалять файлы из любого места.

Пример:
Создать глобальную файловую систему на блочном устройстве «/dev/vg0/mygfs». Он будет принадлежать «mycluster» и зарегистрируется как требующий блокировки для «mygfs». Он будет использовать DLM для блокировки и вести два журнала.

gfs_mkfs -t mycluster:mygfs -p lock_dlm -j 2 /dev/vg0/mygfs

В чем разница между LVM и mdadm?

Lvm и mdadm — две похожие и в то же время совершенно разные утилиты, предназначенные для обработки информации о дисках.

mdadm — очень функциональная утилита, добавляющая в Linux поддержку RAID на уровне ядра. RAID-массивы, созданные с помощью утилиты mdadm, обладают наибольшей производительностью, так как не имеют никаких «посредников» в виде дополнительных драйверов и утилит для отправки команд накопителям.

А вот если говорить об LVM, то он довольно сложен в обслуживании и требует от пользователя глубоких знаний операционной системы.
Стоит отметить, что операционная система Windows и Mac OS не поддерживает работу с LVM.

По этим причинам рекомендуется использовать mdadm для создания программного RAID, так как это будет быстрее и надежнее.

ZFS

Pанее Zettabyte File System — это файловая система с возможностями управления томами.

Управление хранимыми данными включает два аспекта: управление физическими томами одного или нескольких блочных устройств, а также управление данными, хранящимися на этих блочных устройствах.

ZFS необычна тем, что, в отличие от большинства других систем хранения, объединяет обе эти роли и действует как диспетчер томов и файловая система.

ZFS предназначена для обеспечения того, чтобы данные, хранящиеся на дисках, не могли быть потеряны из-за физических ошибок или неправильной обработки аппаратным обеспечением или ОС.

Преимущества ZFS

Cпособ обработки данных
Пользовательский метод обработки ZFS означает, что вероятность обнаружения поврежденных файлов и секторов выше. Это основной аргумент в пользу ZFS, поскольку многие другие менеджеры томов не имеют такой возможности из-за ограничений скорости чтения/записи.

RAID-Z
обеспечивает поддержку и функции для трех различных версий RAID (включая последнюю версию RAID-5). Предоставляет все дополнительные преимущества RAID.

L2ARC
Гарантирует, что ваш персонализированный кеш никогда не будет потерян, а также уменьшит задержку, что является важной функцией при управлении томами на виртуальном частном сервере.

Смотрим общую информацию о жёстком диске?

Для регулировки и просмотра параметров жёстких дисков с интерфейсом ATA существует утилита hdparm.

Утилита может установить такие параметры как объём кеш-памяти накопителя, спящий режим, управление питанием, управление акустикой и настройки DMA.

hdparm имеет очень серьёзный недостаток: утилита может привести к сбою компьютера и сделать данные на жёстком диске недоступными, после применения сочетания некоторых параметров.

Для просмотра общей информации о жёстком диске используется команда:

hdparm -i /dev/sd<буква>

Kоманда whereis

Служебная программа командной строки, которая позволяет найти расположение двоичных файлов, файлов исходного кода и файлов справочной страницы для данной команды.

По умолчанию whereis ищет файлы команды в жестко заданных путях и каталогах, перечисленных в переменных среды.

Чтобы найти каталоги, в которых ищет команда whereis:

whereis -l

Например, чтобы получить информацию о команде bash:

whereis bash

Чтобы найти расположение команды ping:

whereis -p ping

Параметр -m позволяет искать только файлы man:
whereis -m command

Преобразовать код Python2 к версии 3

Если вы любитель Python2, но вам нужно написать код с использованием 3ей версии, то команда 2to3 будет вам очень полезна, так она позволяет автоматически преобразовывать код Python 2 к версии 3.

Примеры:
Вывести изменения, которые могут быть применены без их исполнения:

2to3 /path/to/file.py

Преобразовать код указанного файла Python 2 к коду Python 3:

2to3 --write /path/to/file.py

Совершить преобразование указанных возможностей языка Python 2 к Python 3:
2to3 --write /path/to/file.py --fix={raw_input} --fix={print}

Что такое менеджер томов Linux?

Помогает вам управлять томами ваших дисков. Факт!

Некоторые из этих менеджеров работают только с физическими дисками, в то время как другие также работают с дисками, размещенными на сервере и с серверами облачного хранилища.

Один из основных случаев, в которых используются эти менеджеры томов, — это когда нам нужно создать новую группу томов, которую можно настроить и изменить размер по мере необходимости.

Их также можно использовать для анализа больших дисковых фреймов для доступа и фильтрации данных.

Некоторые из этих диспетчеров томов предоставляют службы безопасности, такие как шифрование данных на томе жесткого диска.

Еще одно основное применение диспетчеров томов — резервное копирование и перемещение данных из поврежденных секторов в здоровые.

Команда sha1sum

Позволяет вычислять значения контрольных сумм файлов по алгоритму SHA-1 и проверять их.

Синтаксис: sha1sum [ключи] [файл]

Ключи:
-t — читать данные файлов в текстовом режиме (по умолчанию)
-b — читать данные файлов в двоичном режиме.
-c — сверять вычисленные значения SHA-1 со значениями из файла.
--help — вывести только справку по ключам.
--version — вывести только информацию о версии.

Вывести контрольные суммы:
sha1sum some_file_name

Использование физического раздела VS менеджер томов

Физические разделы являются надежным инструментом для самых простых схем разделов, но они в значительной степени терпят неудачу по всем направлениям, когда речь идет о чем-либо, что может понадобиться разработчику при разделении их томов.

Ключевые преимущества использования менеджера томов включают обширную настройку, изменение размера, неограниченное количество томов и безопасное резервное копирование. Поэтому, если вам не нужен просто базовый раздел, лучше всего использовать диспетчер томов, такой как ZFS или LVM.

GStreamer

Мультимедийный фреймворк, написанный на языке программирования C и использующий систему типов GObject.

GStreamer является «ядром» мультимедийных приложений, таких, как видеоредакторы, потоковые серверы и медиапроигрыватели. В изначальный дизайн заложена кроссплатформенность.

GStreamer предоставляет привязки для других языков программирования, таких, как Python, C++, Perl, GNU Guile и Ruby.

Установить GStremer на Ubuntu:

sudo apt update

sudo apt install libgstreamer1.0-0 gstreamer1.0-plugins-base gstreamer1.0-plugins-good gstreamer1.0-plugins-bad gstreamer1.0-plugins-ugly gstreamer1.0-libav gstreamer1.0-tools gstreamer1.0-x gstreamer1.0-alsa gstreamer1.0-gl gstreamer1.0-gtk3 gstreamer1.0-qt5 gstreamer1.0-pulseaudio

Менеджеры для создания и управления разделов

1. Fdisk
Инструмент командной строки, предоставляющий удобный, основанный на тексте и управляемый при помощи меню интерфейс. Он поддерживает несколько форматов таблиц разделов, включая MS-DOS и GPT.

2. Parted
инструмент командной строки для управления разделами жесткого диска. Он поддерживает несколько форматов таблиц разделов, включая MS-DOS, GPT, BSD и многие другие.

3.Gparted
бесплатный кроссплатформенный и расширенный графический менеджер разделов диска

4. GNOME Disks
системная утилита, используемая для управления разделами диска и мониторинга S.M.A.R.T. Она поставляется с рабочей средой GNOME.

Создание MBR разделов с помощью fdisk

fdisk - стандартная утилита для управления разделами MBR в Linux.

Для начала введите команду:

fdisk /dev/sda

(/dev/sda - устройство, соответствующее физическому диску)

Далее у вас откроется интерактивное меню, где и будет создаваться раздел.

Чтобы посмотреть, есть ли на диски раздел, можно воспользоваться командой - p.

Если есть, то его можно удалить с помощью команды - d.
(в случае удаления расширенного раздела, все логические разделы внутри него также будут удалены)

Для создания раздела воспользуйтесь командой - n и чтобы записать изменения - команда w.

Установить fdisk на Ubuntu:
sudo apt install fdisk

Команда fuser

Предназначена для вывода списка процессов, работающих с заданным файлом, сетевым портом или файловой системой и, в случае необходимости, позволяет автоматически завершать их работу.

Примеры:

- чтобы найти все процессы, использующие заданный файл, достаточно использовать команду fuser без каких-либо аргументов:

fuser <file name>

- параметр -v позволяет получить дополнительную информацию

- чтобы завершить работу всех процессов, использующих заданный файл - параметр -k.

- чтобы вывести список процессов, использующих локальный сетевой порт, достаточно указать номер интересующего порта и тип сетевого протокола:
fuser -v 12345/tcp

Команда Modprobe

modprobe утилита для загрузки и выгрузки модулей.

Модули ядра хранятся в каталоге /lib/modules/<kernel_version>. Версию работающего ядра можно найти используя команду uname -r.

Примеры:
Чтобы загрузить модуль, вызовите команду modprobe, сопровождаемую именем модуля:

modprobe module_name

Чтобы загрузить модуль с дополнительными параметрами, используйте синтаксис parameter=value:

modprobe module_name parameter=value

Чтобы удалить модуль:
modprobe -r module_name

Команда lsmod

Используется для получения информации о загруженных модулях ядра Linux.

Утилита lsmod форматирует содержимое /proc/modules и не выполняет каких-либо сложных манипуляций. Тем не менее, она полезна для диагностики проблем с оборудованием.

выводит информацию в формате таблицы с тремя столбцами: Module, Size и Used by.

Использование:
Для вывода информации обо всех загруженных модулях ядра:

lsmod

Для вывода информации об определенных модулях ядра:
lsmod | grep <molule name>

Команда insmod

Используется для загрузки модуля в ядро линукс.

Повторяет функционал modprobe.

Утилита загружает конкретный файл с расширением «ko», при этом, если модуль зависит от других модулей, еще не загруженных в ядро, команда выдаст ошибку, и не загрузит модуль.

Поэтому все зависимости придется подгружать вручную. Эта команда постепенно вытесняется командой «modprobe».

insmod some_file_name

Загрузка модулей ядра

Загрузить модуль в ядро можно при помощи двух команд: «insmod» и «modprobe».

Область применения этих команд:

- при помощи «insmod» подгружается файл модуля из произвольного места файловой системы (например, пользователь скомпилировал модули и перед переносом в дерево ядра решил проверить его работоспособность);

- при помощи «modprobe» подгружаются уже готовые модули, включенные в дерево модулей текущей версии ядра.

S.M.A.R.T.

Технология, предоставляющая пользователю различные данные о текущем состоянии жесткого диска или твердотельного накопителя.

Анализируя данные S.M.A.R.T., пользователь может оценить состояние своих накопителей и решить, требуют ли они замены или ещё смогут работать долго и без сбоев.

Установка для дистрибутивов на основе Debian:

sudo apt-get install smartmontools

Теперь можно вывести все данные S.M.A.R.T. командой smartctl с опцией -a и указанием анализируемого диска:

sudo smartctl -a /dev/sda

Сначала будет выведена информация о модели вашего HDD и SSD, а немного ниже можно найти саму таблицу с данными S.M.A.R.T.