Проверяем скорость интернета

Speedtest — пакет от создателей того самого сайта для проверки скорости интернета прямо на Python.

У объекта класса Speedtest методы download() и upload() выдают соответственно скорость скачивания и загрузки данных.

Методы отдают результат в байтах, поэтому для наглядности в примере данные переводятся в мегабайты при выводе. Документация, как всегда, по ссылке.

== The Unreasonable Effectiveness of JPEG: A Signal Processing Approach
https://youtu.be/0me3guauqOU

== Брокер сообщений Kafka в условиях повышенной нагрузки
https://youtu.be/BtmYjTO1EpI
!!! переизбрание лидера может происходить даже когда все хорошо

== PostgreSQL: практические примеры оптимизации SQL-запросов
https://youtu.be/dm_oid1HVfQ
- Explain Analyze
- чем меньше данных тем быстрей
- индексы не бесплатные
- жадничайте при проектировании. не давайте колонкам большие типы по умолчанию
- на строку индекса всего 14байт
- btree индексы можно перестраивать во время выполнения
- не вырубать автовакуум !!! его агрессивность можно настроить вплоть до таблицы
- pgbench !!!
- Материализованные вьюхи надо делать руками!
- pg-stats

== Надежные и быстрые бэкапы PostgreSQL
https://youtu.be/DcIq7H622dQ

pg_dump просто копирует

а надо востановление на конкретную точку во времени

pg_basebackup

wal-g
wal-verify

delta backups
lsn-based delta

== Выбираем систему репликации для PostgreSQL
https://youtu.be/YQ63niptCTc
- репликация не заменяет бэкапы
- усложняет поддержку

задачи:
- резервирование
- балансировка
- обновление
- движение
- расппределение

неприятные моменты:
- реплицируется весь кластер!
- реплицируются и физические ошибки
- изменения применяются однопоточно!
- только в рамках одной мажорной версии

балансировка
- читающая нагрузка
- пишущая нагрузка

читающая нагрузка
- физическая
- тригерная
- логическая

Триггерная
-доп демоны на каждом узле
- только DML

Slony
- скриптовой язык управления
- дополнительно нагружает мастер
- доставка изменений файлами
- сериализация, каскадная репликация

Bucardo
- perl
- LISTEN/NOTIFY
- Требуется отдельная база
- МАСТЕР-МАСТЕР

Londiste
- Python
- разработана в Skype
- использует PgQ

Логическая репликация
- тоже основана на WAL
- только DML
- Нельзя менять обекты (схему, название)

— встроенная
- pg10+
- не умеет DDL, TRUNCATE
— pglogial
- pg9+
- не умеет DDLб но можно передать DDL подписчикам
- фильтрация записей
- выборочные колонки

Кластеры
- уже не совсем репликация
- разные типы узлов
— citus
- расширение PG
- Community / Enterprice
- собирает и отсылает стату!
- узлы: координатор, рабочие
- колоночное хранение
— Postgres-XL
- отдельный продукт
- узлы GTM, координатор, рабочий
- управляется pgxc_ctl утилитой

Балансировка записи
- мастер-мастер репликация
- кластерная репликация

Мастер-мастер
- любой узел = полная копия
- восокая вероятность конфликтов
- сложность администрирование
- сложное и долгое востановление после сбоев
— Bucardo
— BDR

ИТОГО
- Резервирование = физическая
- Балансировка чтения = (1) физическая, (2) логическая, (3) триггерная
- Балансировка записи (1) кластерная репликация
- Обновление: (1) логическая, (2) триггерная
- движение (1) триггерная (2) логическая
- Распределение (1) Кластерная

PG_POOL - НЕ РЕКОМЕНДУЕТСЯ
это миддлварь, который перегружен функционалом.

Хранимые процедуры ХОРОНЯТ автоматический выбор пишущий это или читающий запросы

Интересный юридический прецедент был рассмотрен в немецком суде, который постановил, что веб-сайты со встроенными шрифтами Google нарушают Общий регламент ЕС по защите данных (GDPR).

Суд в Мюнхене обязал владельца веб-сайта выплатить 100 евро в качестве возмещения ущерба за передачу личных данных пользователя, а именно IP-адреса в Google через библиотеку шрифтов Google Fonts без согласия человека.

Google Fonts — это сервисная библиотека для встраивания шрифтов от Google, позволяющая разработчикам добавлять шрифты в свои приложения и веб-сайты для Android, просто ссылаясь на таблицу стилей. По состоянию на январь 2022 года Google Fonts представляет собой хранилище для 1358 семейств шрифтов.

По мнению суда несанкционированное раскрытие IP-адреса истца веб-сайтом, представляет собой нарушение прав пользователя на неприкосновенность частной жизни и что администратор ресурса теоретически может объединить собранную информацию с другими сторонними данными для идентификации лица, стоящего за этим IP. Как говорится в постановлении - истец утратил контроль над личными данными в пользу Google.

В соответствии с GDPR элементы данных, такие как IP-адреса, рекламные идентификаторы и файлы cookie, считаются личной идентифицирующей информацией, что обязывает компании, запрашивать явное разрешение пользователей, на обработку таких сведений. Подобная практика не новая и вы наверняка не раз видели всплывающие уведомления на ресурсах и в рунете, но с процессуальной точки зрения прецедент уникален и может вызвать неподдельный интерес со стороны правоохранителей, активистов и правозащитных организаций.

Кроме того, суд постановил владельцу веб-сайта прекратить раскрытие IP-адресов из-за библиотеки шрифтов, а также предоставить потерпевшей стороне информацию о том, какие персональные данные он хранит и обрабатывает.

Не так давно подобной инцидент с Google уже имел место быть, когда Австрийский орган по защите данных постановил, что использование Google Analytics веб-сайтом NetDoktor, нарушает регламент GDPR, поскольку данные посетителей экспортируются на серверы Google в США, тем самым открывая двери для потенциальных клиентов и слежки со стороны ее спецслужб.

А так, казалось бы всего лишь шрифт.

корреляционные плеяды

такие схемы часто попадались, но особо не вдавался в подробности. но вот дошли руки)

== Мат Стат. построение корреляционных плеяд
https://youtu.be/tHZBU-q_Jxs
там впроцем на канале все 7 частей.

неплохая статья про РО и numpy

== Вычисление коэффициента корреляции Пирсона в Python с помощью Numpy
https://pythobyte.com/calculating-pearson-correlation-coefficient-in-python-with-numpy-c7357af3/

== Корреляционная матрица в Python – практическая реализация
https://pythobyte.com/correlation-matrix-in-python-34345/

== Корреляционный регрессионный анализ в Python
https://pythobyte.com/correlation-regression-analysis-in-python-edad6547/

годнота
ПРОСТО ВАУ. насколько же высокого уровня статья. прям оч шикарно

== GPS
https://ciechanow.ski/gps/

== Эксперимент Базермана: как мы ежедневно теряем деньги
https://habr.com/ru/post/596543/

Apache Avro для питона

https://avro.apache.org/docs/current/gettingstartedpython.html

и для пайдентик офкос
https://pypi.org/project/pydantic-avro/

== Решите уравнение ★ e^x=x^e
https://youtu.be/a1rdzQWGo-k

== Число e на пальцах
https://youtu.be/ha94GHrct24

второй способ даж и не знал. оч полезно
== Условная вероятность и формула Байеса. Задача про два кубика
https://youtu.be/0THgI47uqaA