== MemTable
https://github.com/facebook/rocksdb/wiki/MemTable

In-memory data structure that holds data before it’s flushed into an SStable, the implementation may use a RB Tree, a skiplist, a HashLinkList

== SSTable and Log Structured Storage: LevelDB
https://www.igvita.com/2012/02/06/sstable-and-log-structured-storage-leveldb/

SSTable
An immutable data structure that stores a large number of key:value pairs sorted by key
Advantages over simple hash indexes
- Merging SSTables is similar to doing a merge sort
- To find if a key exists we don’t need an index of all the keys in memory, instead we can keep an index for every few kilobytes and then perform a scan (sparse index)
- range queries can be compressed before writing to disk, the sparse index would only need to find the starting position of the compressed segment

== LSM дерево
https://ru.wikipedia.org/wiki/LSM-%D0%B4%D0%B5%D1%80%D0%B5%D0%B2%D0%BE

== Casanrda. How is data maintained?
https://docs.datastax.com/en/cassandra-oss/3.x/cassandra/dml/dmlHowDataMaintain.html
- SizeTieredCompactionStrategy (STCS) = for writing-intensive
- LeveledCompactionStrategy (LCS) = for reading-intensive
- TimeWindowCompactionStrategy (TWCS)
- DateTieredCompactionStrategy (DTCS)

== Scylla. Choose a Compaction Strategy
https://docs.scylladb.com/stable/architecture/compaction/compaction-strategies.html

== Что такое ZFS?
https://docs.oracle.com/cd/E19253-01/820-0836/zfsover-2/index.html

- Это 128-разрядная файловая система с возможностью хранения данных в объеме 256 септильонов зеттабайт


- Не имеет журнала. транзакционна = легко САМОвосстанавливается
- Данные если хранятся то не противоречивы за счет измений по алгоритму CoW
- важные данные можно писать СИНХРОННО. всегда гарантированно сохраняются перед возвратом и поэтому не могут быть утрачены = без буфера = надежно
- поддерживает пулы устройств хранения данных с различными уровнями избыточности данных
- снимки есть из коробки

== ZFS: архитектура, особенности и отличия от других файловых систем
https://habr.com/ru/company/vk/blog/529516/

+ Целостность и консистентность
+ Сжатие на лету
+ Атомарность
+ «Бесплатные» снапшоты

== Data Replication in distributed systems (Part-1)
https://medium.com/@sandeep4.verma/data-replication-in-distributed-systems-part-1-13f52410faa3

== Data Replication in distributed systems (Part-2)
https://medium.com/@sandeep4.verma/data-replication-in-distributed-systems-part-2-32eba557d78e

== Путеводитель по репликации баз данных
https://habr.com/ru/post/514500/

Небольшое дополнение по одной из обсуждённых тем, «layer communication protocols»:

Важно обратить внимание, что использование layer communication protocols ведет к деградации производительности, но при этом дает и существенные выгоды:

- Модульная структура открывает возможности для самых различных комбинаций, например возможность добавлять и убирать слои в зависимости от требований. You only pay for what you use.
- При аккуратной декомпозиции вышестоящие протоколы могут быть реализованы и протестированы значительно быстрее, чем крупный, монолитный протокол
- Протоколы могут быть взаимозаменяемыми (например, выбор протокола под профиль нагрузки)
- Верифицировать корректность работы небольшого протокола проще

Среди минусов:

- Вычислительный оверхед
- Оверхед в передаваемых данных, в основном в заголовках между уровнями
- Зависимость слоев друг от друга

Из-за того, что в типовой системе сообщению требуется пройти 10 и более слоев, оверхед от пересечения границ протоколов может оказаться даже выше, чем затраты на выполнение полезной нагрузки.

Работы по оптимизации не прекращаются, среди направлений:

- Оптимизация вычислительной нагрузки
- Сжатие заголовков
- Отложенная обработка (например отложенная буферизация сообщения)

По мотивам: https://www.cs.cornell.edu/projects/spinglass/public_pdfs/Optimizing%20Layered.pdf

Да
Действительно
Он хорош
https://youtu.be/_faWtzp9weQ

​Dragonfly – cервис/in-memory база данных, которая будет очень крутой заменой для Redis

По факту это многопоточная, быстрая замена редис

⤷ Ссылка на проект

GitHub | #Interesting #C #Useful

Все. Победил эйрфлоу. От начала до конца деплоится и воркает и таски наконец утилизируют мой сервак как я и хотел :) осталось только ансиблом хдфс накатить и все, спарк будет работать уже на полную мощь

== unlocking your CPU cores in Python
https://youtu.be/X7vBbelRXn0

Дизайн интервью
https://youtu.be/Cth-B4r_pf4

Наверное крутейший ролик про сети в докере. Наконец нашел время посмотреть. Совсем не пожалел. Очень подробно и с примерами для людей

== docker networking
https://youtu.be/bKFMS5C4CG0
- bridge
- user defined bridge
- macvlan (bridge)
- macvlan (802.lq)
- ipvlan (L2)
- ipvlan (L3)
- ocerlay

== IB в GO
https://youtu.be/UfeZ-bPFs10

в DigitalOcean шикарный контейнер регистр из коробки для домашних целей просто шикарен. за 5уе в мес 5гб, больше и не надо) а за 20уе уже 100гб. с учетом того что он нереально быстрый и работает с коробки. то вообще огонь. слава богу прошли те времена когда вариантов кроме поднятия собственного регистра вариантов небыло

Потом вы посмотрите на динамику количества землятресений за последние полгода и конец света отложится