Управление устройствами QMI

Для контроля QMI (Qualcomm MSM Interface) используется утилита qmicli.

QMI - это общий термин для всего связанного обмена сообщениями между процессорами и их программными стеками на процессорах сотовой связи Qualcomm. В случае карт данных/модемов данных QMI часто подключается к хост-компьютеру через USB.

Синтаксис:
qmicli [Опциия]

У этой команды очень много опций, которые относятся к разным типам: DMS, NAS, WDS, PBM, PDC, UIM, SAR и тд.

Создание логического тома

Логический том - логический раздел; виртуальное блочное устройство. 

1. С помощью gfs_mkfs создайте файловую систему GFS2 на логическом томе.

2. С помощью mkdir создайте точку подключения. В кластерной системе точку подключения надо создать на каждом узле.

3. Подключите файловую систему. Для каждого узла в кластере можно добавить отдельную строчку в файле fstab.

Перечисленные действия также можно выполнить в окне графического интерфейса LVM.

Запрет выделения пространства физического тома

Команда pvchange позволяет запретить выделение свободных физических экстентов, что может потребоваться в случае ошибок диска или при удалении физического тома.

Экстент - непрерывная область носителя информации.

Следующая команда запрещает выделение экстентов на /dev/sdk1:
pvchange -x n /dev/sdk1

Аргументы -xy разрешат выделение экстентов там, где раньше это было запрещено.

Резервное копирование логического тома

Резервные копии и архивы метаданных создаются автоматически при изменении настроек логического тома и группы.

Копия метаданных по умолчанию сохраняется в /etc/lvm/backup, а архивы — в /etc/lvm/archive.

Параметры в lvm.conf определяют продолжительность хранения архивов в /etc/lvm/archive и число хранимых файлов. 

Ежедневная резервная копия должна включать содержимое каталога /etc/lvm.

Создать архив метаданных в /etc/lvm/backup можно с помощью команды vgcfgbackup. Восстановить метаданные можно с помощью vgcfgrestore.

Недостатки и преимущества LVM

Преимущества:
- гибкое распределение дискового пространства
- динамическое добавление дисков (без остановки сервера)

Недостатки:
- сложность администрирования (требует знания большого количества команд и утилит)
- заменить диски в массиве RAID очень сложно
- массивы, созданные с помощью LVM, будут работать медленнее
- не рекомендуется использовать их на SSD-накопителях
- необходимо знать, какие файловые системы можно использовать, а какие нежелательно
- многие операционные системы не поддерживают LVM

Недостатки и преимущества mdadm

Преимущества:
- максимально быстрые RAID-массивы
- динамическое добавление дисков в массив RAID (с использованием дисков горячего резерва)
- быстрая и простая замена вышедших из строя дисков
простое администрирование (благодаря графической оболочке Webmin)

Недостаток:
- пользователь не может гибко распределять дисковое пространство (фактически ограниченное объемом дисков и типом используемого RAID)

Изменение размера физического тома

pvresize изменяет размер физического тома, если изменился размер блочного устройства в его основе.

Развернуть PV на /dev/sda1 после увеличения раздела с помощью fdisk:

pvresize /dev/sda1

Уменьшить PV на /dev/sda1 до сжатия раздела с помощью fdisk:
pvresize --setphysicalvolumesize 40G /dev/sda1

Создание файловой системы GFS

gfs_mkfs используется для создания Global File System (или глобальная файловая система)

GFS — это распределенная файловая система, к которой можно получить доступ из нескольких мест и которая обеспечивает одновременный доступ к глобальному пространству имен из всех мест.

Чтобы файловая система считалась глобальной, она должна позволять создавать, изменять и удалять файлы из любого места.

Пример:
Создать глобальную файловую систему на блочном устройстве «/dev/vg0/mygfs». Он будет принадлежать «mycluster» и зарегистрируется как требующий блокировки для «mygfs». Он будет использовать DLM для блокировки и вести два журнала.

gfs_mkfs -t mycluster:mygfs -p lock_dlm -j 2 /dev/vg0/mygfs

В чем разница между LVM и mdadm?

Lvm и mdadm — две похожие и в то же время совершенно разные утилиты, предназначенные для обработки информации о дисках.

mdadm — очень функциональная утилита, добавляющая в Linux поддержку RAID на уровне ядра. RAID-массивы, созданные с помощью утилиты mdadm, обладают наибольшей производительностью, так как не имеют никаких «посредников» в виде дополнительных драйверов и утилит для отправки команд накопителям.

А вот если говорить об LVM, то он довольно сложен в обслуживании и требует от пользователя глубоких знаний операционной системы.
Стоит отметить, что операционная система Windows и Mac OS не поддерживает работу с LVM.

По этим причинам рекомендуется использовать mdadm для создания программного RAID, так как это будет быстрее и надежнее.

ZFS

Pанее Zettabyte File System — это файловая система с возможностями управления томами.

Управление хранимыми данными включает два аспекта: управление физическими томами одного или нескольких блочных устройств, а также управление данными, хранящимися на этих блочных устройствах.

ZFS необычна тем, что, в отличие от большинства других систем хранения, объединяет обе эти роли и действует как диспетчер томов и файловая система.

ZFS предназначена для обеспечения того, чтобы данные, хранящиеся на дисках, не могли быть потеряны из-за физических ошибок или неправильной обработки аппаратным обеспечением или ОС.

Преимущества ZFS

Cпособ обработки данных
Пользовательский метод обработки ZFS означает, что вероятность обнаружения поврежденных файлов и секторов выше. Это основной аргумент в пользу ZFS, поскольку многие другие менеджеры томов не имеют такой возможности из-за ограничений скорости чтения/записи.

RAID-Z
обеспечивает поддержку и функции для трех различных версий RAID (включая последнюю версию RAID-5). Предоставляет все дополнительные преимущества RAID.

L2ARC
Гарантирует, что ваш персонализированный кеш никогда не будет потерян, а также уменьшит задержку, что является важной функцией при управлении томами на виртуальном частном сервере.

Смотрим общую информацию о жёстком диске?

Для регулировки и просмотра параметров жёстких дисков с интерфейсом ATA существует утилита hdparm.

Утилита может установить такие параметры как объём кеш-памяти накопителя, спящий режим, управление питанием, управление акустикой и настройки DMA.

hdparm имеет очень серьёзный недостаток: утилита может привести к сбою компьютера и сделать данные на жёстком диске недоступными, после применения сочетания некоторых параметров.

Для просмотра общей информации о жёстком диске используется команда:

hdparm -i /dev/sd<буква>

Kоманда whereis

Служебная программа командной строки, которая позволяет найти расположение двоичных файлов, файлов исходного кода и файлов справочной страницы для данной команды.

По умолчанию whereis ищет файлы команды в жестко заданных путях и каталогах, перечисленных в переменных среды.

Чтобы найти каталоги, в которых ищет команда whereis:

whereis -l

Например, чтобы получить информацию о команде bash:

whereis bash

Чтобы найти расположение команды ping:

whereis -p ping

Параметр -m позволяет искать только файлы man:
whereis -m command

Преобразовать код Python2 к версии 3

Если вы любитель Python2, но вам нужно написать код с использованием 3ей версии, то команда 2to3 будет вам очень полезна, так она позволяет автоматически преобразовывать код Python 2 к версии 3.

Примеры:
Вывести изменения, которые могут быть применены без их исполнения:

2to3 /path/to/file.py

Преобразовать код указанного файла Python 2 к коду Python 3:

2to3 --write /path/to/file.py

Совершить преобразование указанных возможностей языка Python 2 к Python 3:
2to3 --write /path/to/file.py --fix={raw_input} --fix={print}

Что такое менеджер томов Linux?

Помогает вам управлять томами ваших дисков. Факт!

Некоторые из этих менеджеров работают только с физическими дисками, в то время как другие также работают с дисками, размещенными на сервере и с серверами облачного хранилища.

Один из основных случаев, в которых используются эти менеджеры томов, — это когда нам нужно создать новую группу томов, которую можно настроить и изменить размер по мере необходимости.

Их также можно использовать для анализа больших дисковых фреймов для доступа и фильтрации данных.

Некоторые из этих диспетчеров томов предоставляют службы безопасности, такие как шифрование данных на томе жесткого диска.

Еще одно основное применение диспетчеров томов — резервное копирование и перемещение данных из поврежденных секторов в здоровые.

Команда sha1sum

Позволяет вычислять значения контрольных сумм файлов по алгоритму SHA-1 и проверять их.

Синтаксис: sha1sum [ключи] [файл]

Ключи:
-t — читать данные файлов в текстовом режиме (по умолчанию)
-b — читать данные файлов в двоичном режиме.
-c — сверять вычисленные значения SHA-1 со значениями из файла.
--help — вывести только справку по ключам.
--version — вывести только информацию о версии.

Вывести контрольные суммы:
sha1sum some_file_name

Использование физического раздела VS менеджер томов

Физические разделы являются надежным инструментом для самых простых схем разделов, но они в значительной степени терпят неудачу по всем направлениям, когда речь идет о чем-либо, что может понадобиться разработчику при разделении их томов.

Ключевые преимущества использования менеджера томов включают обширную настройку, изменение размера, неограниченное количество томов и безопасное резервное копирование. Поэтому, если вам не нужен просто базовый раздел, лучше всего использовать диспетчер томов, такой как ZFS или LVM.

GStreamer

Мультимедийный фреймворк, написанный на языке программирования C и использующий систему типов GObject.

GStreamer является «ядром» мультимедийных приложений, таких, как видеоредакторы, потоковые серверы и медиапроигрыватели. В изначальный дизайн заложена кроссплатформенность.

GStreamer предоставляет привязки для других языков программирования, таких, как Python, C++, Perl, GNU Guile и Ruby.

Установить GStremer на Ubuntu:

sudo apt update

sudo apt install libgstreamer1.0-0 gstreamer1.0-plugins-base gstreamer1.0-plugins-good gstreamer1.0-plugins-bad gstreamer1.0-plugins-ugly gstreamer1.0-libav gstreamer1.0-tools gstreamer1.0-x gstreamer1.0-alsa gstreamer1.0-gl gstreamer1.0-gtk3 gstreamer1.0-qt5 gstreamer1.0-pulseaudio

Менеджеры для создания и управления разделов

1. Fdisk
Инструмент командной строки, предоставляющий удобный, основанный на тексте и управляемый при помощи меню интерфейс. Он поддерживает несколько форматов таблиц разделов, включая MS-DOS и GPT.

2. Parted
инструмент командной строки для управления разделами жесткого диска. Он поддерживает несколько форматов таблиц разделов, включая MS-DOS, GPT, BSD и многие другие.

3.Gparted
бесплатный кроссплатформенный и расширенный графический менеджер разделов диска

4. GNOME Disks
системная утилита, используемая для управления разделами диска и мониторинга S.M.A.R.T. Она поставляется с рабочей средой GNOME.

Создание MBR разделов с помощью fdisk

fdisk - стандартная утилита для управления разделами MBR в Linux.

Для начала введите команду:

fdisk /dev/sda

(/dev/sda - устройство, соответствующее физическому диску)

Далее у вас откроется интерактивное меню, где и будет создаваться раздел.

Чтобы посмотреть, есть ли на диски раздел, можно воспользоваться командой - p.

Если есть, то его можно удалить с помощью команды - d.
(в случае удаления расширенного раздела, все логические разделы внутри него также будут удалены)

Для создания раздела воспользуйтесь командой - n и чтобы записать изменения - команда w.

Установить fdisk на Ubuntu:
sudo apt install fdisk

Команда fuser

Предназначена для вывода списка процессов, работающих с заданным файлом, сетевым портом или файловой системой и, в случае необходимости, позволяет автоматически завершать их работу.

Примеры:

- чтобы найти все процессы, использующие заданный файл, достаточно использовать команду fuser без каких-либо аргументов:

fuser <file name>

- параметр -v позволяет получить дополнительную информацию

- чтобы завершить работу всех процессов, использующих заданный файл - параметр -k.

- чтобы вывести список процессов, использующих локальный сетевой порт, достаточно указать номер интересующего порта и тип сетевого протокола:
fuser -v 12345/tcp