== Валидация моделей машинного обучения и анализа данных
https://telegra.ph/Validaciya-modelej-mashinnogo-obucheniya-i-analiza-dannyh-09-05
https://telegra.ph/Validaciya-modelej-mashinnogo-obucheniya-i-analiza-dannyh-09-05
чот както 2-3 раза больше чем в 2013 это хреново, не?
== Эксперты оценили потребление ресурсов ПК после начальной установки дистрибутивов Ubuntu 22.04 с разными рабочими столами
https://habr.com/ru/news/t/683746/
== Эксперты оценили потребление ресурсов ПК после начальной установки дистрибутивов Ubuntu 22.04 с разными рабочими столами
https://habr.com/ru/news/t/683746/
проклятый пандас, гемор ацкий. но зато можно в 300 раз (не шутка) ускорить код
чтото все больше и больше хочу попробовать ZFS
== Бинарные (файловые) хранилища: страшная сказка с мрачным концом
https://youtu.be/bOqSexPzSIE
== Бинарные (файловые) хранилища: страшная сказка с мрачным концом
https://youtu.be/bOqSexPzSIE
YouTube
Бинарные (файловые) хранилища: страшная сказка с мрачным концом / Даниил Подольский (GitInSky)
РИТ++ 2015, HighLoad++ Junior
Презентация и тезисы:
http://junior.highload.ru/2015/
1. Вводная часть: базовые понятия и определения
1.1. Что такое “файл”
1.2. Роль файлов в современном мире, миф о ненужности файлов
1.3. Файловое хранилище АКА файловая система…
Презентация и тезисы:
http://junior.highload.ru/2015/
1. Вводная часть: базовые понятия и определения
1.1. Что такое “файл”
1.2. Роль файлов в современном мире, миф о ненужности файлов
1.3. Файловое хранилище АКА файловая система…
Forwarded from FrontEndDev
Разработка радар системы для самолетов на JavaScript — работа с Web USB.
https://charliegerard.dev/blog/aircraft-radar-system-rtl-sdr-web-usb/
https://charliegerard.dev/blog/aircraft-radar-system-rtl-sdr-web-usb/
== Кэширование данных в web приложениях. Использование memcached / Юрий Краснощек (Delphi LLC, Dell)
https://youtu.be/bQFwdg69gQE
термины
- origin - сорс данных
- freshness/stale data - свежесть
- cache hit/cache miss - попадание и промах в кэше
- validation/invalidation - процесс проверки наличия в кэше
- eviction - вычисление слабого (старого) кэша и удаление
кандидаты на кэширование
- статика, картинки и медиа, скрипты, цсс, хтмл
Хэдеры в вебе
- Expires
- Cache Control = no-cache/no-store, max-age
- Etag
- Content-length
- Vary
Кэш на строне бэка
- надо либа (сервис лэйер)
- надо отдельный кэширущий сервер/сервис
memcached
- типичный noSQL
- легко хранить плохо структурированные данные
- упрощается код хранилища (меньше риск порчи данных)
- кей-вэлью
- фиксированный обьем памяти
- 16битные флаги
- работает в режиме LRU или в режиме консистентного кэша
- команды
- - get
- - set / add / delete / replace
- - prepend / append
- - touch (продляет жизнь)
- - incr / decr
- - gets / cas
- - ключ -C выключает CAS = экономия места
- юзать Много долгих сессий = должны быть долгоиграющими, редко рваться
- batch запросы ускоряют
- надо настраивать потоки
- юзать можно по UDP
- Удобно можно хранить стату бэка
- стата есть в самом memcached втсроенная
- evictions rate
- надо подбирать размер батча
- надо использовать ключ -R для прерывания батча, говоря сколько команд можно за раз сделать
Envictions
- есть slabs, делится на страницы,
- мемкэш не может создать значние больше чем страница (1мб)
- в пределах слабов есть список и новые данные попадают в ХЭД, если заиспользовали опять значение - повышает в индексе... поэтому старые данные находятся в ТЭЙЛ уровне и мемкэш удаляет с конца те которые попали в конец
Кластер мемкэшд
- клиент выбирает инстанс (libketama)
- используется брокер (mcrouter) = упрощает структуру бэка, но появляется еще одно звено = возрастают задержки
- бэком можно выбор ноды для чтения и записи = но сложно ревалидировать и добавлять ноды
- есть подход к консистентному кольцу хэшей = можно быстро подставлять новые тачки в рантайме, удобно, миссов меньше
= ПЛОХО ПОДХОДИТ ДЛЯ РЕШЕНИЯ ПРОБЛЕМ С КОНСИСТЕНТНОСТЬЮ
= ХОРОШО ДЛЯ КЭША 🙈
https://youtu.be/bQFwdg69gQE
термины
- origin - сорс данных
- freshness/stale data - свежесть
- cache hit/cache miss - попадание и промах в кэше
- validation/invalidation - процесс проверки наличия в кэше
- eviction - вычисление слабого (старого) кэша и удаление
кандидаты на кэширование
- статика, картинки и медиа, скрипты, цсс, хтмл
Хэдеры в вебе
- Expires
- Cache Control = no-cache/no-store, max-age
- Etag
- Content-length
- Vary
Кэш на строне бэка
- надо либа (сервис лэйер)
- надо отдельный кэширущий сервер/сервис
memcached
- типичный noSQL
- легко хранить плохо структурированные данные
- упрощается код хранилища (меньше риск порчи данных)
- кей-вэлью
- фиксированный обьем памяти
- 16битные флаги
- работает в режиме LRU или в режиме консистентного кэша
- команды
- - get
- - set / add / delete / replace
- - prepend / append
- - touch (продляет жизнь)
- - incr / decr
- - gets / cas
- - ключ -C выключает CAS = экономия места
- юзать Много долгих сессий = должны быть долгоиграющими, редко рваться
- batch запросы ускоряют
- надо настраивать потоки
- юзать можно по UDP
- Удобно можно хранить стату бэка
- стата есть в самом memcached втсроенная
- evictions rate
- надо подбирать размер батча
- надо использовать ключ -R для прерывания батча, говоря сколько команд можно за раз сделать
Envictions
- есть slabs, делится на страницы,
- мемкэш не может создать значние больше чем страница (1мб)
- в пределах слабов есть список и новые данные попадают в ХЭД, если заиспользовали опять значение - повышает в индексе... поэтому старые данные находятся в ТЭЙЛ уровне и мемкэш удаляет с конца те которые попали в конец
Кластер мемкэшд
- клиент выбирает инстанс (libketama)
- используется брокер (mcrouter) = упрощает структуру бэка, но появляется еще одно звено = возрастают задержки
- бэком можно выбор ноды для чтения и записи = но сложно ревалидировать и добавлять ноды
- есть подход к консистентному кольцу хэшей = можно быстро подставлять новые тачки в рантайме, удобно, миссов меньше
= ПЛОХО ПОДХОДИТ ДЛЯ РЕШЕНИЯ ПРОБЛЕМ С КОНСИСТЕНТНОСТЬЮ
= ХОРОШО ДЛЯ КЭША 🙈
YouTube
Кэширование данных в web приложениях. Использование memcached / Юрий Краснощек (Delphi LLC, Dell)
РИТ++ 2015, HighLoad++ Junior
Презентация и тезисы:
http://junior.highload.ru/2015/
Каждый разработчик web приложений рано или поздно сталкивается с довольно типичной проблемой: перед ним стоит задача построить фабрику по производству омнониевых торсиометров.…
Презентация и тезисы:
http://junior.highload.ru/2015/
Каждый разработчик web приложений рано или поздно сталкивается с довольно типичной проблемой: перед ним стоит задача построить фабрику по производству омнониевых торсиометров.…
что внутри и как работает эксепшн в пайтн
== Алексей Кузьмин. Обработка ошибок в Python
https://youtu.be/AhlEAXjhUZ4
== Алексей Кузьмин. Обработка ошибок в Python
https://youtu.be/AhlEAXjhUZ4
YouTube
Алексей Кузьмин. Обработка ошибок в Python
Алексей Кузьмин, ДомКлик, Москва
Обработка ошибок в Python
В нашем IT-мире есть только один достоверный источник информации — исходный код. Документация может быть не актуальной, книжка может устареть, статья может осветить только один аспект. А исходный…
Обработка ошибок в Python
В нашем IT-мире есть только один достоверный источник информации — исходный код. Документация может быть не актуальной, книжка может устареть, статья может осветить только один аспект. А исходный…
== Денис Аникин. FastAPI как основной framework для python бекендов
https://youtu.be/4zjj1aHJoko
https://youtu.be/4zjj1aHJoko
YouTube
Денис Аникин. FastAPI как основной framework для python бекендов
FastAPI уже не первый год с нами.
Последние пару лет фреймворк явно на подъеме: количество звезд на гитхабе уже больше чем 50% от мастодонтов рынка — django, flask. В ds среде и в каждом туториале flask, в каждой второй вакансии суперсовременные горизонтально…
Последние пару лет фреймворк явно на подъеме: количество звезд на гитхабе уже больше чем 50% от мастодонтов рынка — django, flask. В ds среде и в каждом туториале flask, в каждой второй вакансии суперсовременные горизонтально…
программистов хлебом не корми, а дай сделать глобальный мессадж бас
== Шина сообщений NSQ в Python — что это, зачем и как
https://youtu.be/SX9XGa-ptsE
CBOR = бинарный формат сериализации, достаточно быстрый
== Шина сообщений NSQ в Python — что это, зачем и как
https://youtu.be/SX9XGa-ptsE
CBOR = бинарный формат сериализации, достаточно быстрый
YouTube
Олег Ивашов, Сергей Матвеенко. Шина сообщений NSQ в Python — что это, зачем и как
Часто при выборе шины сообщений для Python проекта выбор сводится к Kafka или RabbitMQ. Однако, есть ещё одна менее известная в Python-сообществе альтернатива — NSQ.
Сергей расскажет как прийти к выбору NSQ для вашего проекта, про положительные и отрицательные…
Сергей расскажет как прийти к выбору NSQ для вашего проекта, про положительные и отрицательные…
доклад проходной. НО
тут есть пару тулов интересных, которых тупо не знал до этого
== Разработка на Python. А можно еще быстрее?
https://youtu.be/nD4Y-yM_HRs
парсер всех типов моделей в пайтн и SQL
https://github.com/xnuinside/omymodels
генератор клиентских СДК по спеке Open-Api
https://github.com/openapi-generators/openapi-python-client
Pynguin—PYthoN General UnIt test geNerator
https://pynguin.readthedocs.io/en/latest/
тут есть пару тулов интересных, которых тупо не знал до этого
== Разработка на Python. А можно еще быстрее?
https://youtu.be/nD4Y-yM_HRs
парсер всех типов моделей в пайтн и SQL
https://github.com/xnuinside/omymodels
генератор клиентских СДК по спеке Open-Api
https://github.com/openapi-generators/openapi-python-client
Pynguin—PYthoN General UnIt test geNerator
https://pynguin.readthedocs.io/en/latest/
YouTube
Юлия Волкова. Разработка на Python. А можно еще быстрее?
Расскажу о том, как экономить время на старте проектов. Посмотрим как тут выручает генерация кода и что есть из готовых решений.
Как можно, просто введя 2 команды из DDL схемы базы данных, получить готовый CRUD REST сервис с моделями и endpoint-ами.
Зачем…
Как можно, просто введя 2 команды из DDL схемы базы данных, получить готовый CRUD REST сервис с моделями и endpoint-ами.
Зачем…
== JetBrains «7 советов по редактированию кода в PyCharm»
https://youtu.be/FW3_OPBxk2s
https://youtu.be/FW3_OPBxk2s
YouTube
Андрей Власовских, JetBrains «7 советов по редактированию кода в PyCharm»
Выступление на PYCON RUSSIA 2018
http://pycon.ru/2018/
http://pycon.ru/2018/
== Оптимизации уровня CPU
https://youtu.be/z6irMP_X630
- проверить последовательность по которой идем по массиву = кэшмиссы
- убрать ветвления
- юзать SIMD
- распаралелить ПРАВИЛЬНО
https://youtu.be/z6irMP_X630
- проверить последовательность по которой идем по массиву = кэшмиссы
- убрать ветвления
- юзать SIMD
- распаралелить ПРАВИЛЬНО
YouTube
Оптимизации уровня CPU / Андрей Акиньшин (JetBrains)
Приглашаем на конференцию Saint HighLoad++ 2025, которая пройдет 23 и 24 июня в Санкт-Петербурге!
Программа, подробности и билеты по ссылке: https://highload.ru/spb/2025
________
РИТ++ 2016, Backend Conf
Презентация и тезисы:
http://backendconf.ru/20…
Программа, подробности и билеты по ссылке: https://highload.ru/spb/2025
________
РИТ++ 2016, Backend Conf
Презентация и тезисы:
http://backendconf.ru/20…
Кажись мне это очень надо
== srcache-nginx-module
ngx_srcache - Transparent subrequest-based caching layout for arbitrary nginx locations
https://github.com/openresty/srcache-nginx-module
== srcache-nginx-module
ngx_srcache - Transparent subrequest-based caching layout for arbitrary nginx locations
https://github.com/openresty/srcache-nginx-module
GitHub
GitHub - openresty/srcache-nginx-module: Transparent subrequest-based caching layout for arbitrary nginx locations.
Transparent subrequest-based caching layout for arbitrary nginx locations. - openresty/srcache-nginx-module
нжнкс модуль что бы сгенерировать себе лицо-картинку в сервисе
== Nginx module to generate gmail-like avatars based on user initials.
https://github.com/dizballanze/ngx_http_avatars_gen_module
== Nginx module to generate gmail-like avatars based on user initials.
https://github.com/dizballanze/ngx_http_avatars_gen_module