REST (Representational State Transfer) — популярный архитектурный стиль для создания веб-сервисов. Он основан на протоколе HTTP, который используется для отправки и получения запросов через Интернет. В этом сообщении блога мы рассмотрим основы запросов REST и их назначение.

Запрос REST состоит из нескольких компонентов:

Конечная точка (endpoint): конечная точка — это URL-адрес веб-службы, на которую вы отправляете запрос. Например, если вы хотите получить информацию о конкретном пользователе, конечной точкой может быть что-то вроде https://api.example.com/users/1.

Метод. Существует несколько различных методов, которые можно использовать в запросе REST, включая GET, POST, PUT и DELETE. Используемый метод зависит от того, что вы хотите делать с данными. Например, если вы хотите получить информацию, вы должны использовать запрос GET, но если вы хотите обновить информацию, вы должны использовать запрос PUT.

Заголовки. Заголовки содержат дополнительную информацию о запросе, такую как тип содержимого, данные аутентификации и т. д.

Тело. В тело вы можете включить данные, которые хотите отправить на сервер, например полезные данные JSON или XML. Это используется только с запросами POST и PUT.

Вот несколько распространенных вариантов использования каждого из методов REST:

GET: используется для получения информации с сервера.
POST: используется для отправки новых данных на сервер, например, для создания нового пользователя.
PUT: используется для обновления информации на сервере, например, для обновления имени пользователя.
УДАЛИТЬ: Используется для удаления информации с сервера, например, для удаления пользователя.
Таким образом, запросы REST являются важным инструментом для создания веб-сервисов и обмена данными через Интернет. Они позволяют отправлять данные на сервер и получать информацию взамен, используя стандартные методы HTTP и четко определенную структуру. Являетесь ли вы новичком или опытным разработчиком, понимание основ запросов REST — отличное место для начала обучения созданию веб-сервисов.

#rest #api

B-Tree индекс в PostgreSQL

https://www.youtube.com/watch?v=VNZ4Kzn4bkM

#postgres #database #db #psql

Архитектура PostgreSQL

https://www.youtube.com/watch?v=Q56kljmIN14

#postgres #database #db #psql

Новые возможности регулярных выражений

#regex #регулярки

https://habr.com/ru/post/713256/

Стэнфордский открытый практический курс по Linux. C лабораторными работами.

#linux

https://practicalunix.org/stanford-course-logistics

Introducing To Algorithms
MIT Open Course
Massachusetts Institute of Technology
Prof. Erik Demaine

#algo

И другие курсы профессора Demaine

https://ocw.mit.edu/courses/6-006-introduction-to-algorithms-spring-2020/

Бесплатный курс по базовому Python от сообщества ODS (простым и понятным язком, идеально для быстрого старта)

#python #ods

https://open-data-science.github.io/pycourse/base/

Один из лучших тренажëров по SQL

#sql #labs #practice

https://www.sql-ex.ru

Визуальное отображение плана запроса, просто копируем план запроса и получаем, например, такой, как на изображении, результат. 🧙

https://explain.dalibo.com/

#sql #postgres #postgreSQL

Высоконагруженные приложения.
Глава 5.
Репликация.

#кабанчик #мартин_клепман #репликация

https://youtu.be/XScWsWprMI0

Практическое руководство о том, как начать использовать Rust для задач инженерии данных. Практические примеры того, как Rust можно использовать для большинства задач, ожидаемых от дата-инженера.

Json or not Json. Плюсы и минусы использования Json в PostgreSQL / Олег Бартунов, Никита Глухов

скачать доклад
смотреть видео


#postgres #database #db #psql #json

В PostgreSQL индексы не содержат ссылку на кластерный индекс или первичный ключ, как в MySQL или MS SQL Server. Вместо этого, каждый индекс в PostgreSQL содержит указатель на строку таблицы на диске, называемый TID (tuple ID). TID состоит из двух компонент: номера блока и номера строки в блоке. Номер блока указывает на физическое расположение блока на диске, а номер строки - на конкретную строку в этом блоке.

Когда выполняется запрос, использующий индекс, PostgreSQL использует TID, чтобы найти соответствующую строку в таблице на диске. Это позволяет получить быстрый доступ к данным, поскольку индекс позволяет быстро найти нужную строку без необходимости сканировать всю таблицу.

Важно отметить, что если строка таблицы переносится на другой блок из-за обновления или вставки новых строк, то TID также будет изменяться, что может повлиять на производительность запросов, использующих индекс. Однако PostgreSQL обеспечивает автоматическую обновление индексов после изменения данных в таблицах, чтобы гарантировать целостность индексов и устранить такие проблемы.


#postgres #database #db #psql

pandas 2.0 and the Arrow revolution (part I)

Революция Arrow особенно важна для пользователей библиотеки pandas. Ранее DataFrame в pandas сохранялся в оперативной памяти, и рекомендуемое соотношение объема оперативной памяти к размеру набора данных было примерно 5-10 раз в 2017 году. Однако с улучшением pandas это соотношение стало около 2 раз.

Это означает, что пользователи могут обрабатывать наборы данных, занимающие до 8 ГБ оперативной памяти на 16-гигабайтной машине. Однако, объем 8 ГБ оперативной памяти в pandas значительно отличается от ожидаемого. Ранее строковые столбцы в pandas сохранялись как объекты, что было чрезвычайно неэффективно. Новый тип столбца строковых данных [pyarrow] более эффективен примерно в 3,5 раза, как показывают исследования.

Допустим, пользователь pandas может обрабатывать набор строковых данных размером 2 ГБ на диске (8 ГБ в памяти) на своей 16-гигабайтной машине для определенного анализа. Если его набор данных вырастет до 3 ГБ, то произойдет ошибка из-за нехватки оперативной памяти.

Однако с использованием более эффективного типа столбца строковых данных пользователь может обрабатывать наборы данных размером до 7 ГБ (в 3,5 раза больше), что является большой новостью для многих пользователей pandas.

#pandas #arrow #python #de