про проблемы в сетях и перегрузки
== Тюнинг параметров TCP-соединений в высокоскоростных сетях
https://youtu.be/F0Zif5Enbgc
планировать сеть очень сложно. никто об этом не задумывается
есть всегда опасность каскадной деградации сервиса
сейчас все сети перегруженные. современный мир =(
MICROBUURST
- взрывной характер трафика на уровне милисекунд. и пакеты не влазят в пропускную способность
механизм медленного старта
аппаратный буфер сетевого оборудования
- сохранить тело пакета
- скгладить поток пакетов до скорости выходного интерфейса
- контролировать нагрзуку
у каждого интерфейса есть очередь отправки. память конечна
- что бы сохранить все пакеты на скорости 1ггб в сек нужен 25мб. для 10ггб = 250 мб. НЕ ВСЕ ТАК УМЕЮТ
- фильтруем трафик. QoS
Причины перерегрузок
- трафик переходит в мене скоростной интерфейс
- трафик с нескольких входрящих портов должен попасть в один исходящий Downlink-Backpressuer
- прочие типы burst-трафика
- Incast
перегрузка это норма
Incast
- очень часто появляется в распределенных системах (ceph, hadoop, hdfs...)
- все данные что не влезли в коммутатор - будут дропнуты
- ЭТО ПАДЕНИЕ пропускной способности TCP по мере того как коммутаторы не успевают буферизировать все и TCP начинает троттлить и появляются задержки в 200мс
Решение Incast
- большие буфера коммутатора
- управление потоком
- уменьшение номинального RTO TCP
RTO это значение ожидания при котором мы считаем что пакет потерялся в TCP. много плохо и мало плохо
сликом малый RTO - это много повторов
слишком много RTO - это медленные реакции на потери
== Тюнинг параметров TCP-соединений в высокоскоростных сетях
https://youtu.be/F0Zif5Enbgc
планировать сеть очень сложно. никто об этом не задумывается
есть всегда опасность каскадной деградации сервиса
сейчас все сети перегруженные. современный мир =(
MICROBUURST
- взрывной характер трафика на уровне милисекунд. и пакеты не влазят в пропускную способность
механизм медленного старта
аппаратный буфер сетевого оборудования
- сохранить тело пакета
- скгладить поток пакетов до скорости выходного интерфейса
- контролировать нагрзуку
у каждого интерфейса есть очередь отправки. память конечна
- что бы сохранить все пакеты на скорости 1ггб в сек нужен 25мб. для 10ггб = 250 мб. НЕ ВСЕ ТАК УМЕЮТ
- фильтруем трафик. QoS
Причины перерегрузок
- трафик переходит в мене скоростной интерфейс
- трафик с нескольких входрящих портов должен попасть в один исходящий Downlink-Backpressuer
- прочие типы burst-трафика
- Incast
перегрузка это норма
Incast
- очень часто появляется в распределенных системах (ceph, hadoop, hdfs...)
- все данные что не влезли в коммутатор - будут дропнуты
- ЭТО ПАДЕНИЕ пропускной способности TCP по мере того как коммутаторы не успевают буферизировать все и TCP начинает троттлить и появляются задержки в 200мс
Решение Incast
- большие буфера коммутатора
- управление потоком
- уменьшение номинального RTO TCP
RTO это значение ожидания при котором мы считаем что пакет потерялся в TCP. много плохо и мало плохо
сликом малый RTO - это много повторов
слишком много RTO - это медленные реакции на потери
YouTube
Тюнинг параметров TCP-соединений в высокоскоростных сетях / Валерий Красников (Сбербанк )
Приглашаем на конференцию HighLoad++ 2025, которая пройдет 6 и 7 ноября в Москве!
Программа, подробности и билеты по ссылке: https://highload.ru/moscow/2025
________
HighLoad++ Весна 2021
Крупнейшая профессиональная конференция для разработчиков высоконагруженных…
Программа, подробности и билеты по ссылке: https://highload.ru/moscow/2025
________
HighLoad++ Весна 2021
Крупнейшая профессиональная конференция для разработчиков высоконагруженных…
== Методы сжатия и передачи медиаданных – лекция 5
https://youtu.be/_zkwDbElV4U
https://youtu.be/_zkwDbElV4U
== Как решить проблемы оркестрации сотен задач по обработке данных с помощью Apache Airflow?
https://youtu.be/B2edNXaChyU
https://youtu.be/B2edNXaChyU
YouTube
Как решить проблемы оркестрации сотен задач по обработке данных с помощью Apache Airflow? / В. Баев
Приглашаем на конференцию Saint HighLoad++ 2025, которая пройдет 23 и 24 июня в Санкт-Петербурге!
Программа, подробности и билеты по ссылке: https://highload.ru/spb/2025
________
HighLoad++ Весна 2021
Крупнейшая профессиональная конференция для разработчиков…
Программа, подробности и билеты по ссылке: https://highload.ru/spb/2025
________
HighLoad++ Весна 2021
Крупнейшая профессиональная конференция для разработчиков…
== Кодирование, модуляция и манипуляция сигналов
https://youtu.be/A6QMcImpFXs
https://youtu.be/A6QMcImpFXs
YouTube
Лекция 8. Кодирование, модуляция и манипуляция сигналов.
В рамках данной лекции рассматриваются методы кодирования цифровых сигналов (NRZ, Manchester, Bipolar AMI), манипуляции (ASK, PSK, FSK, QAM) и модуляции (AM, FM, PM) аналоговых сигналов
== Аналогово-цифровое преобразование сигналов.PCM. АЦП.Дельта-модуляция. Теорема Котельникова
https://youtu.be/g1uwIt6WDTM
https://youtu.be/g1uwIt6WDTM
YouTube
Лекция 9. Аналогово-цифровое преобразование сигналов.PCM. АЦП.Дельта-модуляция. Теорема Котельникова
телега конечно огонь) сменишь номер - проси всех что бы добавили тебя в контакты
== How to use iCloud on Linux
https://www.addictivetips.com/ubuntu-linux-tips/use-icloud-on-linux/#:~:text=With%20the%20app%20installed%2C%20open,transported%20to%20your%20iCloud%20Notes.
забавно но оказывается можно
https://www.addictivetips.com/ubuntu-linux-tips/use-icloud-on-linux/#:~:text=With%20the%20app%20installed%2C%20open,transported%20to%20your%20iCloud%20Notes.
забавно но оказывается можно
AddictiveTips
How to use iCloud on Linux
How to use iCloud on Linux
чтото с этой обстановкой совсем учиться не хочется... ни один канал и ни один ресурс как то в голову не хочется впихуивать. прям совсем не идет учеба... зато компульсивное пожирание новстей это прям на... легко
https://twitter.com/sharat_chander/status/1504821187095916545?s=28
Хм
В моем случае это 750к лет. Норм. Че
Хм
В моем случае это 750к лет. Норм. Че
Twitter
Шарат Чандер 💙💛🇺🇦 #IStandWithUkraine
Passwords are important.
Forwarded from Кавычка (Bo0oM)
Управляющий символ 7F (или в url браузера - %7f) предназначен для забивания ошибочно пробитых символов на семидорожечных перфолентах (поскольку обозначается пробитием дырочек во всех дорожках).
А стандартная ширина терминала составляет 80 символов, потому что именно столько влезало на перфокарту.
А CR LF (\r \n) сейчас бы сделали одним символом, но при печати листингов на терминале необходимо подать бумагу на 1 строку вперед и передвинуть каретку в левый край.
Символ \a - пикнуть спикером (BELL).
И это не шутка!
А стандартная ширина терминала составляет 80 символов, потому что именно столько влезало на перфокарту.
А CR LF (\r \n) сейчас бы сделали одним символом, но при печати листингов на терминале необходимо подать бумагу на 1 строку вперед и передвинуть каретку в левый край.
Символ \a - пикнуть спикером (BELL).
И это не шутка!
== Рэй Далио: Меняющийся мировой порядок | Русский язык (дубляж)
https://youtu.be/FqAWRuVUtA0
очень достойный ролик, как впрочем и все те что я уже смотрел от Рея Далио
https://youtu.be/FqAWRuVUtA0
очень достойный ролик, как впрочем и все те что я уже смотрел от Рея Далио
YouTube
Рэй Далио: Меняющийся мировой порядок | Русский язык (дубляж)
Новый анимационный фильм Рэя Далио на русском языке (2022).
"Я считаю, что мир меняется большими способами, которых не было раньше в нашей жизни, но много раз в истории, поэтому я знал, что мне нужно изучить прошлые изменения, чтобы понять, что происходит…
"Я считаю, что мир меняется большими способами, которых не было раньше в нашей жизни, но много раз в истории, поэтому я знал, что мне нужно изучить прошлые изменения, чтобы понять, что происходит…
== Comparing gRPC performance across different technologies
https://www.nexthink.com/blog/comparing-grpc-performance/
https://www.nexthink.com/blog/comparing-grpc-performance/
== Миллион одновременных соединений
https://habr.com/ru/post/661169/
- Фреймворку Phoenix удалось достичь 2 000 000 подключений.
- WhatsApp удалось достичь 2 000 000 подключений.
- Теоретический предел примерно равен 1 квадриллиону (1 000 000 000 000 000).
- У вас закончатся исходные порты (всего 216).
- Это можно исправить, добавив клиентские IP-адреса замыкания на себя.
- У вас закончатся дескрипторы файлов.
- Это можно исправить, изменив ограничения на дескрипторы файлов операционной системы.
- Java тоже ограничит количество дескрипторов файлов.
- Это можно исправить, добавив аргумент JVM -XX:MaxFDLimit.
- На моём Mac с 16 ГБ практический предел составил 80 000 подключений.
- На моём Linux-десктопе с 8 ГБ практический предел составил 840 000 подключений.
https://habr.com/ru/post/661169/
- Фреймворку Phoenix удалось достичь 2 000 000 подключений.
- WhatsApp удалось достичь 2 000 000 подключений.
- Теоретический предел примерно равен 1 квадриллиону (1 000 000 000 000 000).
- У вас закончатся исходные порты (всего 216).
- Это можно исправить, добавив клиентские IP-адреса замыкания на себя.
- У вас закончатся дескрипторы файлов.
- Это можно исправить, изменив ограничения на дескрипторы файлов операционной системы.
- Java тоже ограничит количество дескрипторов файлов.
- Это можно исправить, добавив аргумент JVM -XX:MaxFDLimit.
- На моём Mac с 16 ГБ практический предел составил 80 000 подключений.
- На моём Linux-десктопе с 8 ГБ практический предел составил 840 000 подключений.
Хабр
Миллион одновременных соединений
Я слышал ошибочные утверждения о том, что сервер может принять только 65 тысяч соединений или что сервер всегда использует по одному порту на каждое принятое подключение. Вот как они примерно...
== Модель Колба: почему одни программисты учатся быстрее других
https://youtu.be/bJakF93Tpjs
Цикл:
- получение конкретного практического опыта
- мыслительное наблюдение
- абстрактная концептуализация
- активное экспериментирование
https://youtu.be/bJakF93Tpjs
Цикл:
- получение конкретного практического опыта
- мыслительное наблюдение
- абстрактная концептуализация
- активное экспериментирование
YouTube
Модель Колба: почему одни программисты учатся быстрее других
0:00 Начало
0:34 Какие ситуации вас мотивируют на изучение нового?
1:08 Как мы учимся, на примере нового гаджета
1:55 Шаги процесса обучения
2:08 Девид Аллен Колб
2:23 Теория обучения Колба
2:52 Цикл Колба
4:53 Пример из практики
6:02 Цикл Колба при поиске…
0:34 Какие ситуации вас мотивируют на изучение нового?
1:08 Как мы учимся, на примере нового гаджета
1:55 Шаги процесса обучения
2:08 Девид Аллен Колб
2:23 Теория обучения Колба
2:52 Цикл Колба
4:53 Пример из практики
6:02 Цикл Колба при поиске…
Гдето уже записывал, но оч помогает когда 2х скорости в ютюбе не хватает
https://ourtechroom.com/tech/increase-youtube-playback-speed-more-than-2x/
$('video').playbackRate = 3;
== How to increase Youtube playback speed more than 2x?https://ourtechroom.com/tech/increase-youtube-playback-speed-more-than-2x/
Ourtechroom
How to increase Youtube playback speed more than 2x?
How to increase Youtube playback speed more than 2x? Using Browser Development Console and some browser extension like Video Speed Controller you can increase youtube speed greater than 2x and less than equal to 16x