== Что такое ZFS?
https://docs.oracle.com/cd/E19253-01/820-0836/zfsover-2/index.html

- Это 128-разрядная файловая система с возможностью хранения данных в объеме 256 септильонов зеттабайт


- Не имеет журнала. транзакционна = легко САМОвосстанавливается
- Данные если хранятся то не противоречивы за счет измений по алгоритму CoW
- важные данные можно писать СИНХРОННО. всегда гарантированно сохраняются перед возвратом и поэтому не могут быть утрачены = без буфера = надежно
- поддерживает пулы устройств хранения данных с различными уровнями избыточности данных
- снимки есть из коробки

== ZFS: архитектура, особенности и отличия от других файловых систем
https://habr.com/ru/company/vk/blog/529516/

+ Целостность и консистентность
+ Сжатие на лету
+ Атомарность
+ «Бесплатные» снапшоты

== Data Replication in distributed systems (Part-1)
https://medium.com/@sandeep4.verma/data-replication-in-distributed-systems-part-1-13f52410faa3

== Data Replication in distributed systems (Part-2)
https://medium.com/@sandeep4.verma/data-replication-in-distributed-systems-part-2-32eba557d78e

== Путеводитель по репликации баз данных
https://habr.com/ru/post/514500/

Небольшое дополнение по одной из обсуждённых тем, «layer communication protocols»:

Важно обратить внимание, что использование layer communication protocols ведет к деградации производительности, но при этом дает и существенные выгоды:

- Модульная структура открывает возможности для самых различных комбинаций, например возможность добавлять и убирать слои в зависимости от требований. You only pay for what you use.
- При аккуратной декомпозиции вышестоящие протоколы могут быть реализованы и протестированы значительно быстрее, чем крупный, монолитный протокол
- Протоколы могут быть взаимозаменяемыми (например, выбор протокола под профиль нагрузки)
- Верифицировать корректность работы небольшого протокола проще

Среди минусов:

- Вычислительный оверхед
- Оверхед в передаваемых данных, в основном в заголовках между уровнями
- Зависимость слоев друг от друга

Из-за того, что в типовой системе сообщению требуется пройти 10 и более слоев, оверхед от пересечения границ протоколов может оказаться даже выше, чем затраты на выполнение полезной нагрузки.

Работы по оптимизации не прекращаются, среди направлений:

- Оптимизация вычислительной нагрузки
- Сжатие заголовков
- Отложенная обработка (например отложенная буферизация сообщения)

По мотивам: https://www.cs.cornell.edu/projects/spinglass/public_pdfs/Optimizing%20Layered.pdf

Да
Действительно
Он хорош
https://youtu.be/_faWtzp9weQ

​Dragonfly – cервис/in-memory база данных, которая будет очень крутой заменой для Redis

По факту это многопоточная, быстрая замена редис

⤷ Ссылка на проект

GitHub | #Interesting #C #Useful

Все. Победил эйрфлоу. От начала до конца деплоится и воркает и таски наконец утилизируют мой сервак как я и хотел :) осталось только ансиблом хдфс накатить и все, спарк будет работать уже на полную мощь

== unlocking your CPU cores in Python
https://youtu.be/X7vBbelRXn0

Дизайн интервью
https://youtu.be/Cth-B4r_pf4

Наверное крутейший ролик про сети в докере. Наконец нашел время посмотреть. Совсем не пожалел. Очень подробно и с примерами для людей

== docker networking
https://youtu.be/bKFMS5C4CG0
- bridge
- user defined bridge
- macvlan (bridge)
- macvlan (802.lq)
- ipvlan (L2)
- ipvlan (L3)
- ocerlay

== IB в GO
https://youtu.be/UfeZ-bPFs10

в DigitalOcean шикарный контейнер регистр из коробки для домашних целей просто шикарен. за 5уе в мес 5гб, больше и не надо) а за 20уе уже 100гб. с учетом того что он нереально быстрый и работает с коробки. то вообще огонь. слава богу прошли те времена когда вариантов кроме поднятия собственного регистра вариантов небыло

Потом вы посмотрите на динамику количества землятресений за последние полгода и конец света отложится

чтиво про гео индексы

- Redis GEOHASH. https://redis.io/commands/GEOHASH.
- POSTGIS. https://postgis.net/.
- Cartesian tiers. http://www.nsshutdown.com/projects/lucene/whitepaper/locallucene_v2.html.
- R-tree. https://en.wikipedia.org/wiki/R-tree.
- Global map in a Geographic Coordinate Reference System. https://bit.ly/3DsjAwg.
- Geohash grid aggregation. https://bit.ly/3kKl4e6.
- Geohash. https://www.movable-type.co.uk/noscripts/geohash.html.
- Quadtree. https://en.wikipedia.org/wiki/Quadtree.
- How many leaves has a quadtree. https://stackoverflow.com/questions/35976444/how-many-leaves-has-a-quadtree.
- Improved Location Caching with Quadtrees. https://engblog.yext.com/post/geolocation-caching.
- S2. https://s2geometry.io/.
- Hilbert curve. https://en.wikipedia.org/wiki/Hilbert_curve.
- Hilbert mapping. http://bit-player.org/extras/hilbert/hilbert-mapping.html.
- Geo-fence. https://en.wikipedia.org/wiki/Geo-fence.
- Region cover. https://s2.sidewalklabs.com/regioncoverer/.
- Bing map. https://bit.ly/30ytSfG.
- MongoDB. https://docs.mongodb.com/manual/tutorial/build-a-2d-index/.
- Geospatial Indexing: The 10 Million QPS Redis Architecture Powering Lyft. https://www.youtube.com/watch?v=cSFWlF96Sds&t=2155s.
- Geo Shape Type. https://www.elastic.co/guide/en/elasticsearch/reference/1.6/mapping-geo-shape-type.html.
- Geosharded Recommendations Part 1: Sharding Approach. https://medium.com/tinder-engineering/geosharded-recommendations-part-1-sharding-approach-d5d54e0ec77a

😱😱😱😱😱
Over 200,000 Servers in One Place! Visiting Hetzner in Falkenstein (Germany)
https://youtu.be/5eo8nz_niiM

== Шпаргалка по разновидностям нейронных сетей. Часть первая. Элементарные конфигурации
https://tproger.ru/translations/neural-network-zoo-1/