прикольный канал. на фоне хорошо шуршит
https://www.youtube.com/@geekific/playlists

Хорошее понятное объяснение

== System Design Interview Basics: CAP vs. PACELC
https://designgurus.org/blog/system-design-interview-basics-cap-vs-pacelc

забавное гибридное хранилище
и прикольно как они генетическим алгоритмом выбирают схему данных оптимизируя вес базы. и автоматом делают миграцию (жаль не рассказал он про это)

== Евгений Ермаков: Meta DWH о DWH для DWH
https://youtu.be/EHmf0tTxd6A

в последнее время джава не пративна, даже интересна. капец окошко овертона повернулось

== The Volatile and Synchronized Keywords in Java
https://youtu.be/71dgtPrbToE

на случай сложных переговоров
https://youtu.be/0Ji4kJ3-0E4

шикарно !
== КРИПТОГРАФИЯ С НУЛЯ. НАЧАЛО
https://youtu.be/7mn4uq4DBJo

== Датасеты в открытом доступе
https://uproger.com/datasety-v-otkrytom-dostupe/

== Как подготовиться и пройти System Design Interview
https://youtu.be/jUbOm0B-eKQ

== MemTable
https://github.com/facebook/rocksdb/wiki/MemTable

In-memory data structure that holds data before it’s flushed into an SStable, the implementation may use a RB Tree, a skiplist, a HashLinkList

== SSTable and Log Structured Storage: LevelDB
https://www.igvita.com/2012/02/06/sstable-and-log-structured-storage-leveldb/

SSTable
An immutable data structure that stores a large number of key:value pairs sorted by key
Advantages over simple hash indexes
- Merging SSTables is similar to doing a merge sort
- To find if a key exists we don’t need an index of all the keys in memory, instead we can keep an index for every few kilobytes and then perform a scan (sparse index)
- range queries can be compressed before writing to disk, the sparse index would only need to find the starting position of the compressed segment

== LSM дерево
https://ru.wikipedia.org/wiki/LSM-%D0%B4%D0%B5%D1%80%D0%B5%D0%B2%D0%BE

== Casanrda. How is data maintained?
https://docs.datastax.com/en/cassandra-oss/3.x/cassandra/dml/dmlHowDataMaintain.html
- SizeTieredCompactionStrategy (STCS) = for writing-intensive
- LeveledCompactionStrategy (LCS) = for reading-intensive
- TimeWindowCompactionStrategy (TWCS)
- DateTieredCompactionStrategy (DTCS)

== Scylla. Choose a Compaction Strategy
https://docs.scylladb.com/stable/architecture/compaction/compaction-strategies.html

== Что такое ZFS?
https://docs.oracle.com/cd/E19253-01/820-0836/zfsover-2/index.html

- Это 128-разрядная файловая система с возможностью хранения данных в объеме 256 септильонов зеттабайт


- Не имеет журнала. транзакционна = легко САМОвосстанавливается
- Данные если хранятся то не противоречивы за счет измений по алгоритму CoW
- важные данные можно писать СИНХРОННО. всегда гарантированно сохраняются перед возвратом и поэтому не могут быть утрачены = без буфера = надежно
- поддерживает пулы устройств хранения данных с различными уровнями избыточности данных
- снимки есть из коробки

== ZFS: архитектура, особенности и отличия от других файловых систем
https://habr.com/ru/company/vk/blog/529516/

+ Целостность и консистентность
+ Сжатие на лету
+ Атомарность
+ «Бесплатные» снапшоты

== Data Replication in distributed systems (Part-1)
https://medium.com/@sandeep4.verma/data-replication-in-distributed-systems-part-1-13f52410faa3

== Data Replication in distributed systems (Part-2)
https://medium.com/@sandeep4.verma/data-replication-in-distributed-systems-part-2-32eba557d78e

== Путеводитель по репликации баз данных
https://habr.com/ru/post/514500/

Небольшое дополнение по одной из обсуждённых тем, «layer communication protocols»:

Важно обратить внимание, что использование layer communication protocols ведет к деградации производительности, но при этом дает и существенные выгоды:

- Модульная структура открывает возможности для самых различных комбинаций, например возможность добавлять и убирать слои в зависимости от требований. You only pay for what you use.
- При аккуратной декомпозиции вышестоящие протоколы могут быть реализованы и протестированы значительно быстрее, чем крупный, монолитный протокол
- Протоколы могут быть взаимозаменяемыми (например, выбор протокола под профиль нагрузки)
- Верифицировать корректность работы небольшого протокола проще

Среди минусов:

- Вычислительный оверхед
- Оверхед в передаваемых данных, в основном в заголовках между уровнями
- Зависимость слоев друг от друга

Из-за того, что в типовой системе сообщению требуется пройти 10 и более слоев, оверхед от пересечения границ протоколов может оказаться даже выше, чем затраты на выполнение полезной нагрузки.

Работы по оптимизации не прекращаются, среди направлений:

- Оптимизация вычислительной нагрузки
- Сжатие заголовков
- Отложенная обработка (например отложенная буферизация сообщения)

По мотивам: https://www.cs.cornell.edu/projects/spinglass/public_pdfs/Optimizing%20Layered.pdf