простенькая статья о поиске аномалий
== Как из данных узнавать о том, что в продукте что-то пошло не по плану
https://habr.com/ru/post/704988/
== Как из данных узнавать о том, что в продукте что-то пошло не по плану
https://habr.com/ru/post/704988/
Хабр
Как из данных узнавать о том, что в продукте что-то пошло не по плану
Привет! Меня зовут Дима Дынников, я руководитель команды продуктовой аналитики в Профи. Расскажу, как мы ищем поведенческие аномалии в продукте и зачем это вообще нужно делать. Что такое аномалии...
Forwarded from Библиотека питониста | Python, Django, Flask
Оператор объединения словарей
В Python есть много разных способов объединить несколько словарей. На картинке работает оператор
В Python есть много разных способов объединить несколько словарей. На картинке работает оператор
|, с помощью которого можно это делать проще всего.Forwarded from Блог*
#prog #rust #article
How much does Rust's bounds checking actually cost?
What is the actual cost of all this extra bounds checking, though? There’s a little bit of prior art here <...> On the other hand, I wasn’t able to find an extensive analysis of the cost of pervasive bounds checking on a real, large, production Rust codebase with high performance sensitivity. I happen to work on one of those, so I figured it might be interesting to take a look at the cost of bounds checks in the hot path.
TL;DR: выкидывание всех этих проверок — даже с использованием запатченного rustc, который не генерирует инструкции с проверками индексации (что вообще-то unsound) — не делает программу быстрее и даже может сделать несколько медленнее.
How much does Rust's bounds checking actually cost?
What is the actual cost of all this extra bounds checking, though? There’s a little bit of prior art here <...> On the other hand, I wasn’t able to find an extensive analysis of the cost of pervasive bounds checking on a real, large, production Rust codebase with high performance sensitivity. I happen to work on one of those, so I figured it might be interesting to take a look at the cost of bounds checks in the hot path.
TL;DR: выкидывание всех этих проверок — даже с использованием запатченного rustc, который не генерирует инструкции с проверками индексации (что вообще-то unsound) — не делает программу быстрее и даже может сделать несколько медленнее.
Readyset Blog
How much Rust's bounds actually cost | Readyset
Rust prevents out-of-bounds memory accesses and buffer overruns via runtime bounds checks - what’s the cost of those bounds checks for a real-world, production application?
Forwarded from Just code IT
Как компьютерная графика подняла сетевой протокол
Один из наших авторов однажды участвовал в проекте, в котором надо было передавать по Wi-Fi видеопоток в DVD-качестве (5-7 мегабит) с устройства, которое не являлось точкой доступа, сразу на несколько принимающих PC.
А надо сказать, в стандартном Wi-Fi все ходит через точку доступа. То есть любой пакет от станции к станции занимает эфир два раза. Вдобавок Wi-Fi был старомодный, 54 мегабита, что с учетом всех зазоров между пакетами давало где-то 22 реальных мегабита по TCP между станцией и точкой доступа, или половину этого между двумя станциями (автор, конечно, использовал UDP, но цифры по TCP уместны для оценки).
В общем, пришлось изобретать метод, как передавать данные между станциями напрямую, минуя точку доступа ни ничего при этом не ломая. Как следствие, пришлось изобретать механизм подбора оптимальной скорости модуляции.
Допустим, можно среди пакетов, которые передаются на выбранной скорости, подмешать некоторое количество пробных пакетов на других скоростях, посчитать по ним статистику и выбрать скорость, которая кажется наиболее многообещающей, с учетом теоретической скорости доставки и статистики потерь.
Но как среди N пакетов послать M пробных, более-менее равномерно размазав их среди общего потока?
Для этой цели автор применил графический алгоритм Брезенхема, рисующий линии на дискретном экране: мысленно рисуем диагональ прямоугольничка NxM и там, где линия меняет высоту, вставляем пробный пакет.
Так, графический алгоритм, придуманный для рисования на экране прямых, нашел свое применение в сетевом протоколе :)
#digest
Один из наших авторов однажды участвовал в проекте, в котором надо было передавать по Wi-Fi видеопоток в DVD-качестве (5-7 мегабит) с устройства, которое не являлось точкой доступа, сразу на несколько принимающих PC.
А надо сказать, в стандартном Wi-Fi все ходит через точку доступа. То есть любой пакет от станции к станции занимает эфир два раза. Вдобавок Wi-Fi был старомодный, 54 мегабита, что с учетом всех зазоров между пакетами давало где-то 22 реальных мегабита по TCP между станцией и точкой доступа, или половину этого между двумя станциями (автор, конечно, использовал UDP, но цифры по TCP уместны для оценки).
В общем, пришлось изобретать метод, как передавать данные между станциями напрямую, минуя точку доступа ни ничего при этом не ломая. Как следствие, пришлось изобретать механизм подбора оптимальной скорости модуляции.
Допустим, можно среди пакетов, которые передаются на выбранной скорости, подмешать некоторое количество пробных пакетов на других скоростях, посчитать по ним статистику и выбрать скорость, которая кажется наиболее многообещающей, с учетом теоретической скорости доставки и статистики потерь.
Но как среди N пакетов послать M пробных, более-менее равномерно размазав их среди общего потока?
Для этой цели автор применил графический алгоритм Брезенхема, рисующий линии на дискретном экране: мысленно рисуем диагональ прямоугольничка NxM и там, где линия меняет высоту, вставляем пробный пакет.
Так, графический алгоритм, придуманный для рисования на экране прямых, нашел свое применение в сетевом протоколе :)
#digest
Just code IT
Как компьютерная графика подняла сетевой протокол Один из наших авторов однажды участвовал в проекте, в котором надо было передавать по Wi-Fi видеопоток в DVD-качестве (5-7 мегабит) с устройства, которое не являлось точкой доступа, сразу на несколько принимающих…
называется знать алгоритмы. хрен знает когда пригодится в хорошем смысле)
Forwarded from Just code IT
Не искушайтесь аудит-логами
На многих системах во имя безопасности появляется сущность аудит-лога. Аудит-лог предназначен для хранения информации о событиях безопасности (например: «пользователь залогинился», «пользователь 3 раза подряд не смог залогиниться», «пользователь удалил бэкап» и так далее).
Аудит-лог, как правило, сделан добротно и аттестован всеми аттестатами. И тут возникает искушение писать в него не только события безопасности, но и общесистемные события, которые кажутся важными (к примеру, когда пофейлилась аллокация в ядре). Оставим за скобками что важных-как-кажется-событий будет становится больше и решительно осудим такой подход с самого начала.
1. Как правило, у аудит-лога и обычного лога разные настройки конфиденциальности. Обычные логи может читать администратор системы или даже простой пользователь во имя debug-ability и возможности самостоятельно решать часть проблем. Аудит-лог читает только аудитор, так как он содержит сенситивную информацию.
2. Аудит-лог и обычный лог чаще всего имеют разные политики целостности. В обычный лог пишут и обычные приложения, и самые разные части системы. А произвольная запись в аудит-лог должна быть ограничена — только TCB-of-TCB может перезаписать данные. Если вообще может.
3. Аудит-лог и обычный лог имеют разные retention policies. Обычные логи ротируются и обрезаются. Аудит-лог хранится долго, и его ротация – это важное событие, которое благословляется высокими кредами, а иногда сопровождается записью на другой носитель.
Вывод: используйте концепты по прямому назначению и не используйте их всуе. А если хотите переиспользовать концепт вне домена, четко представляйте ограничения в моменте и их будущее развитие.
#digest
На многих системах во имя безопасности появляется сущность аудит-лога. Аудит-лог предназначен для хранения информации о событиях безопасности (например: «пользователь залогинился», «пользователь 3 раза подряд не смог залогиниться», «пользователь удалил бэкап» и так далее).
Аудит-лог, как правило, сделан добротно и аттестован всеми аттестатами. И тут возникает искушение писать в него не только события безопасности, но и общесистемные события, которые кажутся важными (к примеру, когда пофейлилась аллокация в ядре). Оставим за скобками что важных-как-кажется-событий будет становится больше и решительно осудим такой подход с самого начала.
1. Как правило, у аудит-лога и обычного лога разные настройки конфиденциальности. Обычные логи может читать администратор системы или даже простой пользователь во имя debug-ability и возможности самостоятельно решать часть проблем. Аудит-лог читает только аудитор, так как он содержит сенситивную информацию.
2. Аудит-лог и обычный лог чаще всего имеют разные политики целостности. В обычный лог пишут и обычные приложения, и самые разные части системы. А произвольная запись в аудит-лог должна быть ограничена — только TCB-of-TCB может перезаписать данные. Если вообще может.
3. Аудит-лог и обычный лог имеют разные retention policies. Обычные логи ротируются и обрезаются. Аудит-лог хранится долго, и его ротация – это важное событие, которое благословляется высокими кредами, а иногда сопровождается записью на другой носитель.
Вывод: используйте концепты по прямому назначению и не используйте их всуе. А если хотите переиспользовать концепт вне домена, четко представляйте ограничения в моменте и их будущее развитие.
#digest
тема с макросами и мета пограмированием для запросов это оч хорошо. представить бы не именно скул а сразу скомпилированный запрос который попадал бы в базу, аля хранимка для прилаги - прямо до старта уже былап бы там это былобы просто круто. что бы не гонять эти строки по сети впринципе а скомпилированный запрос вообще шикарно бы отрабатывал.... эх мечты-мечты... или не?
== Разработка макроса Rust для автоматического написания шаблонного кода SQL
https://nuancesprog.ru/p/16570/
== Разработка макроса Rust для автоматического написания шаблонного кода SQL
https://nuancesprog.ru/p/16570/
NOP::Nuances of programming
Разработка макроса Rust для автоматического написания шаблонного кода SQL
Макросы облегчают жизнь разработчикам, позволяя автоматизировать некоторые процессы. Сегодня поговорим о возможностях метапрограммирования в Rust.
👍1
чот даж немного порвало мозг) я даже не думал про такой способ юзания тэга стайл
https://youtu.be/_GFy0QC_OcU
https://youtu.be/_GFy0QC_OcU
YouTube
Я не знал, что HTML так может...
Бесплатный курс по HTML & CSS от меня - https://bit.ly/3ETniCF
Подпишись на мои соц сети:
Telegram: https://news.1rj.ru/str/js_by_vladilen
VK: https://vk.com/vladilen.minin
Instagram: https://instagram.com/vladilen.minin
Соц сети по JavaScript:
Telegram: https://…
Подпишись на мои соц сети:
Telegram: https://news.1rj.ru/str/js_by_vladilen
VK: https://vk.com/vladilen.minin
Instagram: https://instagram.com/vladilen.minin
Соц сети по JavaScript:
Telegram: https://…
🔥2
мдя... зеро толеранс во всей красе. не доверяет вообще даже собственным кнопкам, шифруя все... но не панацея
запустить компьютинг под айфоном что бы сломать айфон, использовав только код зацикливания гифки) ОГОНЬ !!!! 🔥🔥🔥🔥
== БЕЗОПАСНОСТЬ APPLE - МИФ? | РАЗБОР
https://youtu.be/YoAy9QV3TR4
запустить компьютинг под айфоном что бы сломать айфон, использовав только код зацикливания гифки) ОГОНЬ !!!! 🔥🔥🔥🔥
== БЕЗОПАСНОСТЬ APPLE - МИФ? | РАЗБОР
https://youtu.be/YoAy9QV3TR4
YouTube
БЕЗОПАСНОСТЬ APPLE - МИФ? | РАЗБОР
Освой новую IT-профессию – регистрируйся на бесплатный марафон от университета Зерокодинга: https://zerocoder.ru/marafon-mobile?utm_source=youtube&utm_medium=droider&utm_campaign=dec&utm_content=20.12.22
Инвестируйте с Финам! Откройте счет с тарифом «FreeTrade»…
Инвестируйте с Финам! Откройте счет с тарифом «FreeTrade»…
== ТЕОРИЯ ВЕРОЯТНОСТЕЙ ДЛЯ ПРОГРАММИСТА
https://youtu.be/X8W-6RDHqxM
https://youtu.be/X8W-6RDHqxM
YouTube
ТЕОРИЯ ВЕРОЯТНОСТЕЙ ДЛЯ ПРОГРАММИСТА
Курс “Профессия Разработчик” от Skillbox — https://l.skbx.pro/GcgzunНовогодняя скидка на курс - 55%! Акция действует до конца декабря
Кэшбэк 10% на всё до конца года с бесплатной дебетовой Альфа-Картой. Закажите и получите вечное бесплатное обслуживание:…
Кэшбэк 10% на всё до конца года с бесплатной дебетовой Альфа-Картой. Закажите и получите вечное бесплатное обслуживание:…
Forwarded from Заработок онлайн 💰NO [SCAM]
Please open Telegram to view this post
VIEW IN TELEGRAM
немного картинок про лужи/озера/болота данных
в бронзе - лежит все как попало от провайдера
в сильвере - четко и по полкам, чисто и в одном формате
в голде - агрегированно уже под конкретные цели
а. ну и файлики лучше ложить по такому адресу
в бронзе - лежит все как попало от провайдера
в сильвере - четко и по полкам, чисто и в одном формате
в голде - агрегированно уже под конкретные цели
а. ну и файлики лучше ложить по такому адресу
/zone/project/data-type/year/month/day/hour/minute👍1
немного картинок про БигДата архитектуры
в Лямбде делится на два. один догоняет другой. запросы идут одновременно в оба, в зависимости от того какие данные надо сейчас
в Каппе все воспринимаем как поток
в Лямбде делится на два. один догоняет другой. запросы идут одновременно в оба, в зависимости от того какие данные надо сейчас
в Каппе все воспринимаем как поток
== Без конца тревожусь что IT лопнет и ничего не будет как раньше – Доктор Кот
https://youtu.be/W9zwTQqN-FM
https://youtu.be/W9zwTQqN-FM
YouTube
Без конца тревожусь что IT лопнет и ничего не будет как раньше – Доктор Кот
Больше информации об услугах REG.RU – https://clck.ru/335nvh
Бесплатный тест хостинга – https://clck.ru/335o8K
Узнать об актуальных вакансиях в паблике Карьера в REG.RU – https://clck.ru/335nw9
Интересные публикации об IT и бизнесе в соцсетях и блогах REG.RU…
Бесплатный тест хостинга – https://clck.ru/335o8K
Узнать об актуальных вакансиях в паблике Карьера в REG.RU – https://clck.ru/335nw9
Интересные публикации об IT и бизнесе в соцсетях и блогах REG.RU…
Идеальней комикса, объясняющего eventual consistency наверное нет
https://twitter.com/randomazer/status/1607357737645608960
https://twitter.com/randomazer/status/1607357737645608960
🤩5
как положить на лопатки синюю чайку за пару месяцев)
https://youtu.be/x5he5r8Txfs
https://youtu.be/x5he5r8Txfs
YouTube
Twitter - ГЛАВНЫЙ ПРОВАЛ ИЛОНА МАСКА [netstalkers]
Курс “Профессия Специалист по кибербезопасности” от Skillbox — https://l.skbx.pro/LD5mma. Скидки до 60% на курсы в декабре
Илон Маск купил твиттер и вдруг оказался не таким большим любителем свободы слова, как хотел себя преподнести.
https://tlgg.ru/netstalkers…
Илон Маск купил твиттер и вдруг оказался не таким большим любителем свободы слова, как хотел себя преподнести.
https://tlgg.ru/netstalkers…