== Кэширование данных в web приложениях. Использование memcached / Юрий Краснощек (Delphi LLC, Dell)
https://youtu.be/bQFwdg69gQE
термины
- origin - сорс данных
- freshness/stale data - свежесть
- cache hit/cache miss - попадание и промах в кэше
- validation/invalidation - процесс проверки наличия в кэше
- eviction - вычисление слабого (старого) кэша и удаление
кандидаты на кэширование
- статика, картинки и медиа, скрипты, цсс, хтмл
Хэдеры в вебе
- Expires
- Cache Control = no-cache/no-store, max-age
- Etag
- Content-length
- Vary
Кэш на строне бэка
- надо либа (сервис лэйер)
- надо отдельный кэширущий сервер/сервис
memcached
- типичный noSQL
- легко хранить плохо структурированные данные
- упрощается код хранилища (меньше риск порчи данных)
- кей-вэлью
- фиксированный обьем памяти
- 16битные флаги
- работает в режиме LRU или в режиме консистентного кэша
- команды
- - get
- - set / add / delete / replace
- - prepend / append
- - touch (продляет жизнь)
- - incr / decr
- - gets / cas
- - ключ -C выключает CAS = экономия места
- юзать Много долгих сессий = должны быть долгоиграющими, редко рваться
- batch запросы ускоряют
- надо настраивать потоки
- юзать можно по UDP
- Удобно можно хранить стату бэка
- стата есть в самом memcached втсроенная
- evictions rate
- надо подбирать размер батча
- надо использовать ключ -R для прерывания батча, говоря сколько команд можно за раз сделать
Envictions
- есть slabs, делится на страницы,
- мемкэш не может создать значние больше чем страница (1мб)
- в пределах слабов есть список и новые данные попадают в ХЭД, если заиспользовали опять значение - повышает в индексе... поэтому старые данные находятся в ТЭЙЛ уровне и мемкэш удаляет с конца те которые попали в конец
Кластер мемкэшд
- клиент выбирает инстанс (libketama)
- используется брокер (mcrouter) = упрощает структуру бэка, но появляется еще одно звено = возрастают задержки
- бэком можно выбор ноды для чтения и записи = но сложно ревалидировать и добавлять ноды
- есть подход к консистентному кольцу хэшей = можно быстро подставлять новые тачки в рантайме, удобно, миссов меньше
= ПЛОХО ПОДХОДИТ ДЛЯ РЕШЕНИЯ ПРОБЛЕМ С КОНСИСТЕНТНОСТЬЮ
= ХОРОШО ДЛЯ КЭША 🙈
https://youtu.be/bQFwdg69gQE
термины
- origin - сорс данных
- freshness/stale data - свежесть
- cache hit/cache miss - попадание и промах в кэше
- validation/invalidation - процесс проверки наличия в кэше
- eviction - вычисление слабого (старого) кэша и удаление
кандидаты на кэширование
- статика, картинки и медиа, скрипты, цсс, хтмл
Хэдеры в вебе
- Expires
- Cache Control = no-cache/no-store, max-age
- Etag
- Content-length
- Vary
Кэш на строне бэка
- надо либа (сервис лэйер)
- надо отдельный кэширущий сервер/сервис
memcached
- типичный noSQL
- легко хранить плохо структурированные данные
- упрощается код хранилища (меньше риск порчи данных)
- кей-вэлью
- фиксированный обьем памяти
- 16битные флаги
- работает в режиме LRU или в режиме консистентного кэша
- команды
- - get
- - set / add / delete / replace
- - prepend / append
- - touch (продляет жизнь)
- - incr / decr
- - gets / cas
- - ключ -C выключает CAS = экономия места
- юзать Много долгих сессий = должны быть долгоиграющими, редко рваться
- batch запросы ускоряют
- надо настраивать потоки
- юзать можно по UDP
- Удобно можно хранить стату бэка
- стата есть в самом memcached втсроенная
- evictions rate
- надо подбирать размер батча
- надо использовать ключ -R для прерывания батча, говоря сколько команд можно за раз сделать
Envictions
- есть slabs, делится на страницы,
- мемкэш не может создать значние больше чем страница (1мб)
- в пределах слабов есть список и новые данные попадают в ХЭД, если заиспользовали опять значение - повышает в индексе... поэтому старые данные находятся в ТЭЙЛ уровне и мемкэш удаляет с конца те которые попали в конец
Кластер мемкэшд
- клиент выбирает инстанс (libketama)
- используется брокер (mcrouter) = упрощает структуру бэка, но появляется еще одно звено = возрастают задержки
- бэком можно выбор ноды для чтения и записи = но сложно ревалидировать и добавлять ноды
- есть подход к консистентному кольцу хэшей = можно быстро подставлять новые тачки в рантайме, удобно, миссов меньше
= ПЛОХО ПОДХОДИТ ДЛЯ РЕШЕНИЯ ПРОБЛЕМ С КОНСИСТЕНТНОСТЬЮ
= ХОРОШО ДЛЯ КЭША 🙈
YouTube
Кэширование данных в web приложениях. Использование memcached / Юрий Краснощек (Delphi LLC, Dell)
РИТ++ 2015, HighLoad++ Junior
Презентация и тезисы:
http://junior.highload.ru/2015/
Каждый разработчик web приложений рано или поздно сталкивается с довольно типичной проблемой: перед ним стоит задача построить фабрику по производству омнониевых торсиометров.…
Презентация и тезисы:
http://junior.highload.ru/2015/
Каждый разработчик web приложений рано или поздно сталкивается с довольно типичной проблемой: перед ним стоит задача построить фабрику по производству омнониевых торсиометров.…
что внутри и как работает эксепшн в пайтн
== Алексей Кузьмин. Обработка ошибок в Python
https://youtu.be/AhlEAXjhUZ4
== Алексей Кузьмин. Обработка ошибок в Python
https://youtu.be/AhlEAXjhUZ4
YouTube
Алексей Кузьмин. Обработка ошибок в Python
Алексей Кузьмин, ДомКлик, Москва
Обработка ошибок в Python
В нашем IT-мире есть только один достоверный источник информации — исходный код. Документация может быть не актуальной, книжка может устареть, статья может осветить только один аспект. А исходный…
Обработка ошибок в Python
В нашем IT-мире есть только один достоверный источник информации — исходный код. Документация может быть не актуальной, книжка может устареть, статья может осветить только один аспект. А исходный…
== Денис Аникин. FastAPI как основной framework для python бекендов
https://youtu.be/4zjj1aHJoko
https://youtu.be/4zjj1aHJoko
YouTube
Денис Аникин. FastAPI как основной framework для python бекендов
FastAPI уже не первый год с нами.
Последние пару лет фреймворк явно на подъеме: количество звезд на гитхабе уже больше чем 50% от мастодонтов рынка — django, flask. В ds среде и в каждом туториале flask, в каждой второй вакансии суперсовременные горизонтально…
Последние пару лет фреймворк явно на подъеме: количество звезд на гитхабе уже больше чем 50% от мастодонтов рынка — django, flask. В ds среде и в каждом туториале flask, в каждой второй вакансии суперсовременные горизонтально…
программистов хлебом не корми, а дай сделать глобальный мессадж бас
== Шина сообщений NSQ в Python — что это, зачем и как
https://youtu.be/SX9XGa-ptsE
CBOR = бинарный формат сериализации, достаточно быстрый
== Шина сообщений NSQ в Python — что это, зачем и как
https://youtu.be/SX9XGa-ptsE
CBOR = бинарный формат сериализации, достаточно быстрый
YouTube
Олег Ивашов, Сергей Матвеенко. Шина сообщений NSQ в Python — что это, зачем и как
Часто при выборе шины сообщений для Python проекта выбор сводится к Kafka или RabbitMQ. Однако, есть ещё одна менее известная в Python-сообществе альтернатива — NSQ.
Сергей расскажет как прийти к выбору NSQ для вашего проекта, про положительные и отрицательные…
Сергей расскажет как прийти к выбору NSQ для вашего проекта, про положительные и отрицательные…
доклад проходной. НО
тут есть пару тулов интересных, которых тупо не знал до этого
== Разработка на Python. А можно еще быстрее?
https://youtu.be/nD4Y-yM_HRs
парсер всех типов моделей в пайтн и SQL
https://github.com/xnuinside/omymodels
генератор клиентских СДК по спеке Open-Api
https://github.com/openapi-generators/openapi-python-client
Pynguin—PYthoN General UnIt test geNerator
https://pynguin.readthedocs.io/en/latest/
тут есть пару тулов интересных, которых тупо не знал до этого
== Разработка на Python. А можно еще быстрее?
https://youtu.be/nD4Y-yM_HRs
парсер всех типов моделей в пайтн и SQL
https://github.com/xnuinside/omymodels
генератор клиентских СДК по спеке Open-Api
https://github.com/openapi-generators/openapi-python-client
Pynguin—PYthoN General UnIt test geNerator
https://pynguin.readthedocs.io/en/latest/
YouTube
Юлия Волкова. Разработка на Python. А можно еще быстрее?
Расскажу о том, как экономить время на старте проектов. Посмотрим как тут выручает генерация кода и что есть из готовых решений.
Как можно, просто введя 2 команды из DDL схемы базы данных, получить готовый CRUD REST сервис с моделями и endpoint-ами.
Зачем…
Как можно, просто введя 2 команды из DDL схемы базы данных, получить готовый CRUD REST сервис с моделями и endpoint-ами.
Зачем…
== JetBrains «7 советов по редактированию кода в PyCharm»
https://youtu.be/FW3_OPBxk2s
https://youtu.be/FW3_OPBxk2s
YouTube
Андрей Власовских, JetBrains «7 советов по редактированию кода в PyCharm»
Выступление на PYCON RUSSIA 2018
http://pycon.ru/2018/
http://pycon.ru/2018/
== Оптимизации уровня CPU
https://youtu.be/z6irMP_X630
- проверить последовательность по которой идем по массиву = кэшмиссы
- убрать ветвления
- юзать SIMD
- распаралелить ПРАВИЛЬНО
https://youtu.be/z6irMP_X630
- проверить последовательность по которой идем по массиву = кэшмиссы
- убрать ветвления
- юзать SIMD
- распаралелить ПРАВИЛЬНО
YouTube
Оптимизации уровня CPU / Андрей Акиньшин (JetBrains)
Приглашаем на конференцию Saint HighLoad++ 2025, которая пройдет 23 и 24 июня в Санкт-Петербурге!
Программа, подробности и билеты по ссылке: https://highload.ru/spb/2025
________
РИТ++ 2016, Backend Conf
Презентация и тезисы:
http://backendconf.ru/20…
Программа, подробности и билеты по ссылке: https://highload.ru/spb/2025
________
РИТ++ 2016, Backend Conf
Презентация и тезисы:
http://backendconf.ru/20…
Кажись мне это очень надо
== srcache-nginx-module
ngx_srcache - Transparent subrequest-based caching layout for arbitrary nginx locations
https://github.com/openresty/srcache-nginx-module
== srcache-nginx-module
ngx_srcache - Transparent subrequest-based caching layout for arbitrary nginx locations
https://github.com/openresty/srcache-nginx-module
GitHub
GitHub - openresty/srcache-nginx-module: Transparent subrequest-based caching layout for arbitrary nginx locations.
Transparent subrequest-based caching layout for arbitrary nginx locations. - openresty/srcache-nginx-module
нжнкс модуль что бы сгенерировать себе лицо-картинку в сервисе
== Nginx module to generate gmail-like avatars based on user initials.
https://github.com/dizballanze/ngx_http_avatars_gen_module
== Nginx module to generate gmail-like avatars based on user initials.
https://github.com/dizballanze/ngx_http_avatars_gen_module
== Угнать за 5 миллисекунд
https://youtu.be/Rl4jGw-9_Wg
https://youtu.be/Rl4jGw-9_Wg
YouTube
Угнать за 5 миллисекунд / Николай Карлов, Олег Уткин (Mail.Ru Group)
Приглашаем на конференцию HighLoad++ 2023, которая пройдет 27 и 28 ноября 2023 в Москве!
Программа, подробности и билеты по ссылке: https://clck.ru/354BuE
--------
HighLoad++ Весна 2021
Крупнейшая профессиональная конференция для разработчиков высоконагруженных…
Программа, подробности и билеты по ссылке: https://clck.ru/354BuE
--------
HighLoad++ Весна 2021
Крупнейшая профессиональная конференция для разработчиков высоконагруженных…
Forwarded from Machine learning Interview
Что такое квантильная регрессия?
Квантильная регрессия — это регрессия (т.е. прогноз), которая намеренно вводит смещение в результат. Вместо поиска среднего значения прогнозируемой переменной, квантильная регрессия направлена на поиск медианы и любых других квантилей (которые иногда называют процентилями). Квантили особенно полезны для оптимизации товарных запасов в качестве прямого метода для вычисления точки возобновления.
Здесь регрессия выступает синонимом прогноза. "Регрессия" делает акцент на математическом подходе, тогда как "прогноз" - на практическом использовании результата.
На графике показаны 3 обособленных прогноза:
- красным цветом отмечен 75-процентный квантильный прогноз.
- черным цветом отмечен прогноз на основе средних значений.
- зеленым цветом отмечен 25-процентный квантильный прогноз.
Визуально поведение квантилей схоже с поведением доверительных интервалов. Однако, на практике квантиль нужен лишь для процентного выражения отдельно взятых точек.
@machinelearning_interview
Квантильная регрессия — это регрессия (т.е. прогноз), которая намеренно вводит смещение в результат. Вместо поиска среднего значения прогнозируемой переменной, квантильная регрессия направлена на поиск медианы и любых других квантилей (которые иногда называют процентилями). Квантили особенно полезны для оптимизации товарных запасов в качестве прямого метода для вычисления точки возобновления.
Здесь регрессия выступает синонимом прогноза. "Регрессия" делает акцент на математическом подходе, тогда как "прогноз" - на практическом использовании результата.
На графике показаны 3 обособленных прогноза:
- красным цветом отмечен 75-процентный квантильный прогноз.
- черным цветом отмечен прогноз на основе средних значений.
- зеленым цветом отмечен 25-процентный квантильный прогноз.
Визуально поведение квантилей схоже с поведением доверительных интервалов. Однако, на практике квантиль нужен лишь для процентного выражения отдельно взятых точек.
@machinelearning_interview
в файрфоксе можно посмотреть все внутренние страницы about:about
то что мне зашло:
тут поотключать лишних сервисворкеров
about:serviceworkers
тут можно глянуть все активные? подключения
about:networking#http
страница с сесурити ликами возможными
about:protections
то что мне зашло:
тут поотключать лишних сервисворкеров
about:serviceworkers
тут можно глянуть все активные? подключения
about:networking#http
страница с сесурити ликами возможными
about:protections
👍1
мдаааа. забыл я уже что такое Дебиан... попрощался я с ним когда ему было 7. а уже 11. пол часа гоняю и хочется выплюнуть. все супер древнее))))
дальше на федору прыгать чтоли?
дальше на федору прыгать чтоли?
DALL-E https://labs.openai.com/ нагенерировал мне кучу милоты. закончились там кредиты. блин ( буду ждать еще месяц что бы попробовать еще 15штук, затягивает и подсаживает, однако
никогда не думал как монетизировать модели ИИ генерирующие картинки =) вот тебе на
никогда не думал как монетизировать модели ИИ генерирующие картинки =) вот тебе на
🔥3