Ускоряем PostgreSQL с помощью Tuned

Администраторам баз данных всегда хочется, чтобы их СУБД работали быстрее. Всегда кажется, что можно прооптимизировать определенные настройки, и запросы начнут отрабатывать быстрее.

Есть множество различных параметров и настроек, которые позволяют оптимизировать работу БД PostgreSQL. В этой статье мы не будем пытаться охватить их все и поговорим об оптимизации параметров операционной и файловой систем, а также памяти на самом сервере СУБД.

https://habr.com/ru/companies/otus/articles/859270/

#db #PostgreSQL

👉 @database_info

Подборка Telegram каналов для программистов

Системное администрирование 📌
https://news.1rj.ru/str/sysadmin_girl Девочка Сисадмин
https://news.1rj.ru/str/srv_admin_linux Админские угодья
https://news.1rj.ru/str/linux_srv Типичный Сисадмин

https://news.1rj.ru/str/devops_star DevOps Star (Звезда Девопса)
https://news.1rj.ru/str/i_linux Системный администратор
https://news.1rj.ru/str/linuxchmod Linux
https://news.1rj.ru/str/sys_adminos Системный Администратор
https://news.1rj.ru/str/tipsysdmin Типичный Сисадмин (фото железа, было/стало)
https://news.1rj.ru/str/sysadminof Книги для админов, полезные материалы
https://news.1rj.ru/str/i_odmin Все для системного администратора
https://news.1rj.ru/str/i_odmin_book Библиотека Системного Администратора
https://news.1rj.ru/str/i_odmin_chat Чат системных администраторов
https://news.1rj.ru/str/i_DevOps DevOps: Пишем о Docker, Kubernetes и др.
https://news.1rj.ru/str/sysadminoff Новости Линукс Linux

1C разработка 📌
https://news.1rj.ru/str/odin1C_rus Cтатьи, курсы, советы, шаблоны кода 1С

Программирование C++📌
https://news.1rj.ru/str/cpp_lib Библиотека C/C++ разработчика
https://news.1rj.ru/str/cpp_knigi Книги для программистов C/C++
https://news.1rj.ru/str/cpp_geek Учим C/C++ на примерах

Программирование Python 📌
https://news.1rj.ru/str/pythonofff Python академия. Учи Python быстро и легко🐍
https://news.1rj.ru/str/BookPython Библиотека Python разработчика
https://news.1rj.ru/str/python_real Python подборки на русском и английском
https://news.1rj.ru/str/python_360 Книги по Python Rus

Java разработка 📌
https://news.1rj.ru/str/BookJava Библиотека Java разработчика
https://news.1rj.ru/str/java_360 Книги по Java Rus
https://news.1rj.ru/str/java_geek Учим Java на примерах

GitHub Сообщество 📌
https://news.1rj.ru/str/Githublib Интересное из GitHub

Базы данных (Data Base) 📌
https://news.1rj.ru/str/database_info Все про базы данных

Мобильная разработка: iOS, Android 📌
https://news.1rj.ru/str/developer_mobila Мобильная разработка
https://news.1rj.ru/str/kotlin_lib Подборки полезного материала по Kotlin

Фронтенд разработка 📌
https://news.1rj.ru/str/frontend_1 Подборки для frontend разработчиков
https://news.1rj.ru/str/frontend_sovet Frontend советы, примеры и практика!
https://news.1rj.ru/str/React_lib Подборки по React js и все что с ним связано

Разработка игр 📌
https://news.1rj.ru/str/game_devv Все о разработке игр

Библиотеки 📌
https://news.1rj.ru/str/book_for_dev Книги для программистов Rus
https://news.1rj.ru/str/programmist_of Книги по программированию
https://news.1rj.ru/str/proglb Библиотека программиста
https://news.1rj.ru/str/bfbook Книги для программистов
https://news.1rj.ru/str/books_reserv Книги для программистов

БигДата, машинное обучение 📌
https://news.1rj.ru/str/bigdata_1 Data Science, Big Data, Machine Learning, Deep Learning

Программирование 📌
https://news.1rj.ru/str/bookflow Лекции, видеоуроки, доклады с IT конференций
https://news.1rj.ru/str/coddy_academy Полезные советы по программированию
https://news.1rj.ru/str/rust_lib Полезный контент по программированию на Rust
https://news.1rj.ru/str/golang_lib Библиотека Go (Golang) разработчика
https://news.1rj.ru/str/itmozg Программисты, дизайнеры, новости из мира IT
https://news.1rj.ru/str/php_lib Библиотека PHP программиста 👨🏼‍💻👩‍💻
https://news.1rj.ru/str/nodejs_lib Подборки по Node js и все что с ним связано
https://news.1rj.ru/str/ruby_lib Библиотека Ruby программиста

QA, тестирование 📌
https://news.1rj.ru/str/testlab_qa Библиотека тестировщика

Шутки программистов 📌
https://news.1rj.ru/str/itumor Шутки программистов

Защита, взлом, безопасность 📌
https://news.1rj.ru/str/thehaking Канал о кибербезопасности
https://news.1rj.ru/str/xakep_1 Статьи из "Хакера"

Книги, статьи для дизайнеров 📌
https://news.1rj.ru/str/ux_web Статьи, книги для дизайнеров

Английский 📌
https://news.1rj.ru/str/UchuEnglish Английский с нуля

Математика 📌
https://news.1rj.ru/str/Pomatematike Канал по математике
https://news.1rj.ru/str/phis_mat Обучающие видео, книги по Физике и Математике

Excel лайфхак📌
https://news.1rj.ru/str/Excel_lifehack

https://news.1rj.ru/str/tikon_1 Новости высоких технологий, науки и техники💡
https://news.1rj.ru/str/mir_teh Мир технологий (Technology World)

Вакансии 📌
https://news.1rj.ru/str/sysadmin_rabota Системный Администратор
https://news.1rj.ru/str/progjob Вакансии в IT

Skytable

Это современная масштабируемая NoSQL-база данных с BlueQL, разработанная для повышения производительности, масштабируемости и гибкости. Skytable предоставляет пространства, модели, типы данных, сложные коллекции и многое другое для создания мощных решений.

https://github.com/skytable/skytable


#db

👉 @database_info

SQL-джоины могут показаться сложными на первых порах, но для анализа данных часто необходимо объединять таблицы, чтобы получить полезные инсайты.

Я нашёл простую диаграмму, которая объясняет основные типы джоинов: INNER, FULL, LEFT и RIGHT.

- INNER JOIN выбирает только совпадающие записи, работая с пересечениями.
- FULL JOIN включает все данные, даже если совпадений нет.
- LEFT JOIN и RIGHT JOIN приоритетно сохраняют все строки из одной таблицы, добавляя данные из другой при совпадении.

Каждый тип джоина имеет своё назначение, помогая извлекать данные из нескольких таблиц на основе общих ключей. Знание, какой тип использовать, экономит время и повышает точность анализа.

SQL может пугать новичков, но визуализации помогают понять назначение и влияние каждого типа джоина.

#db

👉 @database_info

Базы данных для разработчиков: Foundations

Бесплатный курс по SQL

Изучите SQL в этом БЕСПЛАТНОМ учебном курсе, состоящем из 12 частей. Он поможет вам начать работу с Oracle Database и SQL. Курс представляет собой серию видеороликов, в которых рассказывается о концепциях баз данных, интерактивные учебники по SQL и тесты для закрепления полученных знаний.
По завершению курса вы получите бесплатный сертификат.

https://devgym.oracle.com/pls/apex/dg/class/databases-for-developers-foundations.html

#db

👉 @database_info

📌Подборка книг по PostgreSQL: от баз данных с «нуля» для самоучек до руководства про БД в облаках. Часть 1

🟢 «Оптимизация запросов PostgreSQL» — Г. Домбровская, Б. Новиков, А. Бейликова
Уровень: продолжающие

Что в ней классного: Книга научит администраторов баз данных, у которых нет достаточного опыта работы с PostgreSQL, решать распространенные проблемы с помощью этой СУБД. Например, в издании подробно описывается, что делать, когда не открывается страница приложения или система вылетает прямо перед совершением ключевых действий. Все представленные в книге сценарии протестированы авторами, которые долгое время работали с промышленными приложениями.

На примере работы с обширной базой данных виртуальной авиакомпании вы научитесь:

🔹выполнять целевую оптимизацию в системах OLTP и OLAP,
🔹лучше понимать планы выполнения в системе PostgreSQL,
🔹выбирать индексы, улучшающие производительность запросов,
🔹оптимизировать процесс полного сканирования таблиц,
🔹выбирать наилучшую технику оптимизации для определенных запросов,
🔹безболезненно решать проблемы при работе с ORM-фреймворками.


🟢 «Изучаем PostgreSQL 10» — С. Джуба, А. Волков
Уровень: начинающие

Что в ней классного: Авторы — практики с большим опытом работы не только с PostgreSQL. Так, Джуба Салахалдин — сертифицированный разработчик ПО, спец по СУБД PostgreSQL, Greenplum и SQL Server, ETL-процессам обработки данных, разработке приложений OLAP и OLTP. Как отмечают авторы, информации, содержащейся в руководстве, будет достаточно, чтобы ответить на все вопросы начинающего разработчика или администратора баз данных.


Среди освещаемых в книге тем:

🔹реляционные и объектно-реляционные БД с необходимыми алгебраическими операциями и 🔹моделированием данных,
🔹достоинства, архитектурные особенности и возможности PostgreSQL,
🔹основные блоки и функции PostgreSQL, включая кодирование, иерархию объектов и 🔹компоненты баз данных (в качестве примера рассмотрена БД автомобильного сайта),
🔹дополнительные блоки и продвинутые функции Postgres: представления, выборки, извлечения, 🔹возвращение множеств, подзапросы, возможности группировки и агрегирования
🔹транзакции, блокировки, основы безопасности, типы и структуры данных, каталоги,
🔹оптимизация производительности и тестирование,
🔹совместимость с серверными приложениями, написанными на Python, проблемы масштабируемости.



🟢 «Основы технологий баз данных: учебное пособие» — Б. Новиков, Е. Горшкова, Н. Графеева
Уровень: смешанный

Что в ней классного: Учебник разделен на две части. Первая предназначена для новичков в науке о базах данных. В ней начинающие специалисты узнают об основах проектирования приложений, причем в качестве базовой СУБД для изучения используется PostgreSQL.

Вторая часть будет интересна тем, у кого уже есть опыт работы с СУБД. Разработчики и администраторы баз данных на Postgres познакомятся с возможностями языка SQL, выходящими за рамки базовых курсов, узнают о том, как создавать параллельные и распределенные системы БД на основе PostgreSQL. После каждой главы даются упражнения для закрепления материала.

Это пособие было написано для студентов технических вузов. Но оно будет также полезно каждому практикующему разработчику и администратору баз данных PostgreSQL, желающему повысить свой профессиональный уровень или решить конкретную задачу.

Темы, будут интересны профессиональным разработчикам, включают:

🔹адаптивные методы оптимизации запросов: параметрическая, семантическая и 🔹многокритериальная оптимизация запросов,
🔹вопросы обеспечения надежности БД, механизмы восстановления, описание разрушения 🔹носителя, дополнительные возможности, функции и процедуры PL/pgSQL и динамического SQL,
🔹механизмы расширения PostgreSQL, включая специальные модули, обертки и сторонние 🔹процедурные языки, модели, средства и обеспечение поддержки полнотекстового и нечеткого поиска,
🔹обеспечение безопасности данных, права и разграничение доступа, привилегии, 🔹администрирование, репликация БД, архитектура параллельных и распределенных БД, вопросы согласованности и выполнения запросов.

#db

👉 @database_info

Шпаргалка по MySQL

Коннект к mysql по TCP
mysql --user root --host localhost --port 3306 --protocol tcp

Создать БД
CREATE DATABASE $DB_NAME character set utf8;

Добавить пользователя
CREATE USER $DB_USER@localhost IDENTIFIED BY '$DB_PASSWORD';

Дать права пользователю на БД
GRANT ALL ON $DB_NAME.* TO $DB_USER@localhost;

на удаленный доступ:
GRANT ALL PRIVILEGES ON $DB_NAME.* TO $DB_USER@'%' IDENTIFIED BY '$DB_PASSWORD';

на удаленный доступ на все таблицы:
grant all privileges on *.* to DB_USER@'%';

сменить пароль пользователю
SET PASSWORD FOR логин@localhost = PASSWORD('пароль'); SET PASSWORD FOR логин@"%" = PASSWORD('пароль');

что бы права вступили в силу:
flush privileges;

Посмотреть права пользователя
SHOW GRANTS for $DB_USER@localhost;

Если нужно залить большой дамп, то в /etc/my.cnf в секцию [mysqld] добавить:
max_allowed_packet = 16M

Работа с кластером мастер-слейв

посмотреть состояние мастера:
show master status;

посмотреть состояние слейва:
SHOW SLAVE STATUS\G

Посмотреть структуры таблицы в БД
describe <table_name>;

или
SHOW CREATE TABLE <table_name>;

Посмотреть состояние таблиц в БД
SHOW TABLE STATUS;

Сброс пароля mysql
1). В /etc/mycnf в секцию [mysqld] вставляем строку skip-grant-tables
2). Перезапустить mysqld.

После этого пароль будут сброшен и можно ввести любой другой.

#db

👉 @database_info