хорший базовый доклад по архитектуре хайлоад решения. неплохо для тех кто вообще не понимает с чего начинается хайлоад
https://www.youtube.com/watch?v=GLrekrtA1MI
https://www.youtube.com/watch?v=GLrekrtA1MI
YouTube
Архитектура растущего проекта на примере Вконтакте (Алексей Акулович)
*В этой версии просто поправили качество*
Старший программист-разработчик Вконтакте Алексей Акулович расскажет о проблемах роста, с которыми сталкивался проект, как в вопросах доступа к БД, так и в целом. Как эти проблемы были решены, что получалось, как…
Старший программист-разработчик Вконтакте Алексей Акулович расскажет о проблемах роста, с которыми сталкивался проект, как в вопросах доступа к БД, так и в целом. Как эти проблемы были решены, что получалось, как…
- короткая заметка о floating point rounding problem
https://www.youtube.com/watch?v=PZRI1IfStY0
- Виновата математика или компьютер? https://www.youtube.com/watch?v=SbG7wF0bPgo
https://www.youtube.com/watch?v=PZRI1IfStY0
- Виновата математика или компьютер? https://www.youtube.com/watch?v=SbG7wF0bPgo
YouTube
Floating Point Numbers - Computerphile
Why can't floating point do money? It's a brilliant solution for speed of calculations in the computer, but how and why does moving the decimal point (well, in this case binary or radix point) help and how does it get currency so wrong?
3D Graphics Playlist:…
3D Graphics Playlist:…
https://www.youtube.com/watch?v=vQldMjSJ6-w
просили по jwt нормальный видос найти. вот, это годный и старый)
и продолжение
https://www.youtube.com/watch?v=601CnGGp_MU
https://www.youtube.com/watch?v=_BSag4ABBMY
https://www.youtube.com/watch?v=XG-xOHogPkY
просили по jwt нормальный видос найти. вот, это годный и старый)
и продолжение
https://www.youtube.com/watch?v=601CnGGp_MU
https://www.youtube.com/watch?v=_BSag4ABBMY
https://www.youtube.com/watch?v=XG-xOHogPkY
YouTube
JWT. Часть 1. Теория
Основные принципы работы JWT (Json Web Tokens)
тут соберу полезные ссылки по #kubernates:
- официальный сайт проекта
https://kubernetes.io/
- Введение в Kubernetes - Discovery
https://www.youtube.com/watch?v=L3tgJXsMUTU
- Автомасштабирование и управление ресурсами в Kubernetes (обзор и видео доклада)
https://habr.com/ru/company/flant/blog/459326/
- Наш опыт с Kubernetes в небольших проектах
https://www.youtube.com/watch?v=CgCLPYJRxbU
- Автомасштабирование и управление ресурсами в Kubernetes
https://www.youtube.com/watch?v=10ZR-fbyuSY
- Расширяем и дополняем Kubernetes
https://www.youtube.com/watch?v=6VHk1R1TNgk
- Базы данных и Kubernetes
https://www.youtube.com/watch?v=BnegHj53pW4
- Эксплуатация микросервисов
https://www.youtube.com/watch?v=g9cgppj0gKQ
- Мониторинг и Kubernetes
https://www.youtube.com/watch?v=zj6SlzzBRaA
- Лучшие практики CI/CD с Kubernetes и GitLab
https://www.youtube.com/watch?v=G3nELxmECd8
- To run or not to run a database on Kubernetes: What to consider
https://cloud.google.com/blog/products/databases/to-run-or-not-to-run-a-database-on-kubernetes-what-to-consider
- What is Kubernetes? COURSE
https://azure.microsoft.com/en-us/topic/what-is-kubernetes/
- Kubernetes Deployments: The Ultimate Guide
https://semaphoreci.com/blog/kubernetes-deployment
- небольшой курс на русском
https://www.youtube.com/playlist?list=PLg5SS_4L6LYvN1RqaVesof8KAf-02fJSi
- официальный сайт проекта
https://kubernetes.io/
- Введение в Kubernetes - Discovery
https://www.youtube.com/watch?v=L3tgJXsMUTU
- Автомасштабирование и управление ресурсами в Kubernetes (обзор и видео доклада)
https://habr.com/ru/company/flant/blog/459326/
- Наш опыт с Kubernetes в небольших проектах
https://www.youtube.com/watch?v=CgCLPYJRxbU
- Автомасштабирование и управление ресурсами в Kubernetes
https://www.youtube.com/watch?v=10ZR-fbyuSY
- Расширяем и дополняем Kubernetes
https://www.youtube.com/watch?v=6VHk1R1TNgk
- Базы данных и Kubernetes
https://www.youtube.com/watch?v=BnegHj53pW4
- Эксплуатация микросервисов
https://www.youtube.com/watch?v=g9cgppj0gKQ
- Мониторинг и Kubernetes
https://www.youtube.com/watch?v=zj6SlzzBRaA
- Лучшие практики CI/CD с Kubernetes и GitLab
https://www.youtube.com/watch?v=G3nELxmECd8
- To run or not to run a database on Kubernetes: What to consider
https://cloud.google.com/blog/products/databases/to-run-or-not-to-run-a-database-on-kubernetes-what-to-consider
- What is Kubernetes? COURSE
https://azure.microsoft.com/en-us/topic/what-is-kubernetes/
- Kubernetes Deployments: The Ultimate Guide
https://semaphoreci.com/blog/kubernetes-deployment
- небольшой курс на русском
https://www.youtube.com/playlist?list=PLg5SS_4L6LYvN1RqaVesof8KAf-02fJSi
Kubernetes
Production-Grade Container Orchestration
Kubernetes, also known as K8s, is an open source system for automating deployment, scaling, and management of containerized applications.
It groups containers that make up an application into logical units for easy management and discovery. Kubernetes builds…
It groups containers that make up an application into logical units for easy management and discovery. Kubernetes builds…
нарвался недавно на задачу несбалансированных классов
хорошо просвятили вот эти вот видео
- Несбалансированные данные
https://ru.coursera.org/lecture/supervised-learning/niesbalansirovannyie-dannyie-M97UX
- Метрики качества классификации
https://ru.coursera.org/lecture/vvedenie-mashinnoe-obuchenie/mietriki-kachiestva-klassifikatsii-2-fPkI2
- Многоклассовая классификация
https://ru.coursera.org/lecture/vvedenie-mashinnoe-obuchenie/mnoghoklassovaia-klassifikatsiia-P9Zun
а так же несколько статей
- 8 тактик для борьбы с несбалансированными классами в вашем наборе данных машинного обучения
https://www.machinelearningmastery.ru/tactics-to-combat-imbalanced-classes-in-your-machine-learning-dataset/
- Assessing and Comparing Classifier Performance with ROC Curves
https://machinelearningmastery.com/assessing-comparing-classifier-performance-roc-curves-2/
- Лучшая метрика для оценки точности классификационных моделей
http://datareview.info/article/luchshaya-metrika-dlya-ocenki-tochnosti-klassifikacionnyx-modelej/
- Оценка классификатора (точность, полнота, F-мера)
http://bazhenov.me/blog/2012/07/21/classification-performance-evaluation.html
- ну и просто неплохая статья про логистическую регрессию
"Как легко понять логистическую регрессию"
https://habr.com/ru/company/io/blog/265007/
А вообще есть либа под sklearn для небалансных датафрэймов
https://imbalanced-learn.readthedocs.io/en/stable/api.html
#ml
хорошо просвятили вот эти вот видео
- Несбалансированные данные
https://ru.coursera.org/lecture/supervised-learning/niesbalansirovannyie-dannyie-M97UX
- Метрики качества классификации
https://ru.coursera.org/lecture/vvedenie-mashinnoe-obuchenie/mietriki-kachiestva-klassifikatsii-2-fPkI2
- Многоклассовая классификация
https://ru.coursera.org/lecture/vvedenie-mashinnoe-obuchenie/mnoghoklassovaia-klassifikatsiia-P9Zun
а так же несколько статей
- 8 тактик для борьбы с несбалансированными классами в вашем наборе данных машинного обучения
https://www.machinelearningmastery.ru/tactics-to-combat-imbalanced-classes-in-your-machine-learning-dataset/
- Assessing and Comparing Classifier Performance with ROC Curves
https://machinelearningmastery.com/assessing-comparing-classifier-performance-roc-curves-2/
- Лучшая метрика для оценки точности классификационных моделей
http://datareview.info/article/luchshaya-metrika-dlya-ocenki-tochnosti-klassifikacionnyx-modelej/
- Оценка классификатора (точность, полнота, F-мера)
http://bazhenov.me/blog/2012/07/21/classification-performance-evaluation.html
- ну и просто неплохая статья про логистическую регрессию
"Как легко понять логистическую регрессию"
https://habr.com/ru/company/io/blog/265007/
А вообще есть либа под sklearn для небалансных датафрэймов
https://imbalanced-learn.readthedocs.io/en/stable/api.html
#ml
Coursera
Несбалансированные данные - Линейные модели: классификация и практические аспекты | Coursera
Video created by Московский физико-технический институт, ...
https://www.youtube.com/watch?v=deqljDr618c хорошо и подробно про новую видяху от nvidia
YouTube
Что рассказала и НЕ РАССКАЗАЛА Nvidia о RTX 3000 (RTX Ampere)
Видеокарты — https://www.e-katalog.ru/u/PHcYQ5/a (там уже есть RTX 3000)
Комплектующие — https://www.e-katalog.ru/u/vA95cL/a
В видео разбираемся с тем - что показали Nvidia о своих будущих игровых видеокартах, а так же о том, что осталось "за кадром" презентации…
Комплектующие — https://www.e-katalog.ru/u/vA95cL/a
В видео разбираемся с тем - что показали Nvidia о своих будущих игровых видеокартах, а так же о том, что осталось "за кадром" презентации…
https://www.facebook.com/privacy/checkup/?source=settings
оказывается в фэйсбуке есть очень удобная вкладка где можно отстроить все вопрсы конфиденциальности. проверить все что включено. есть даже опция запрета определения себя на фотографиях. так же можно выключить поиск по номеру телефона и имэйлу
#privacy
оказывается в фэйсбуке есть очень удобная вкладка где можно отстроить все вопрсы конфиденциальности. проверить все что включено. есть даже опция запрета определения себя на фотографиях. так же можно выключить поиск по номеру телефона и имэйлу
#privacy
Facebook
Log in or sign up to view
See posts, photos and more on Facebook.
Forwarded from Spark in me (Alexander)
Notes from captain obvious:
Сomparing two GPUs with Tensor Cores, one of the single best indicators for each GPU’s performance is their memory bandwidth;
Most computation time on GPUs is memory access;
A100 compared to the V100 is 1.70x faster for NLP and 1.45x faster for computer vision;
Tesla A100 compared to the V100 is 1.70x faster for NLP and 1.45x faster for computer vision;
3-Slot design of the RTX 3090 makes 4x GPU builds problematic. Possible solutions are 2-slot variants or the use of PCIe extenders;
4x RTX 3090 will need more power than any standard power supply unit on the market can provide right now (this is BS, but power connectors may be an issue - I have 2000W PSU);
With BF16 precision, training might be more stable than with FP16 precision while providing the same speedups;
The new fan design for the RTX 30sV series features both a blower fan and a push/pull fan;
350W TDP;
Compared to an RTX 2080 Ti, the RTX 3090 yields a speedup of 1.57x for convolutional networks and 1.5x for transformers while having a 15% higher release price. Thus the Ampere RTX 30s delivers a pretty substantial improvement over the Turing RTX 20s series;
PCIe 4.0 and PCIe lanes do not matter in 2x GPU setups. For 4x GPU setups, they still do not matter much;
NVLink is not useful. Only useful for GPU clusters;
No info about power connector. But I believe the first gaming gpus use 2*6 pin plus maybe some adapter;
Despite heroic software engineering efforts, AMD GPUs + ROCm will probably not be able to compete with NVIDIA due to lacking community and Tensor Core equivalent for at least 1-2 years;
You will need +50Gbits/s network cards to gain speedups if you want to parallelize across machines;
So if you expect to run deep learning models after 300 days, it is better to buy a desktop instead of using AWS spot instances (also fuck off AWS and Nvidia with sla about data centers);
Сomparing two GPUs with Tensor Cores, one of the single best indicators for each GPU’s performance is their memory bandwidth;
Most computation time on GPUs is memory access;
A100 compared to the V100 is 1.70x faster for NLP and 1.45x faster for computer vision;
Tesla A100 compared to the V100 is 1.70x faster for NLP and 1.45x faster for computer vision;
3-Slot design of the RTX 3090 makes 4x GPU builds problematic. Possible solutions are 2-slot variants or the use of PCIe extenders;
4x RTX 3090 will need more power than any standard power supply unit on the market can provide right now (this is BS, but power connectors may be an issue - I have 2000W PSU);
With BF16 precision, training might be more stable than with FP16 precision while providing the same speedups;
The new fan design for the RTX 30sV series features both a blower fan and a push/pull fan;
350W TDP;
Compared to an RTX 2080 Ti, the RTX 3090 yields a speedup of 1.57x for convolutional networks and 1.5x for transformers while having a 15% higher release price. Thus the Ampere RTX 30s delivers a pretty substantial improvement over the Turing RTX 20s series;
PCIe 4.0 and PCIe lanes do not matter in 2x GPU setups. For 4x GPU setups, they still do not matter much;
NVLink is not useful. Only useful for GPU clusters;
No info about power connector. But I believe the first gaming gpus use 2*6 pin plus maybe some adapter;
Despite heroic software engineering efforts, AMD GPUs + ROCm will probably not be able to compete with NVIDIA due to lacking community and Tensor Core equivalent for at least 1-2 years;
You will need +50Gbits/s network cards to gain speedups if you want to parallelize across machines;
So if you expect to run deep learning models after 300 days, it is better to buy a desktop instead of using AWS spot instances (also fuck off AWS and Nvidia with sla about data centers);
https://www.youtube.com/watch?v=DgecGHdcbts&ab_channel=S0ER
keyboard on linux
-> click on key
-> keyboard device (HID)
-> scan code
-> kernel driver (sysFs)
-> key code
-> x11 event
/sys/kernel/debug/hid/0003\:2341\:2342.2341/rdesc
==
/sys/kernel/debug/hid/{DEVICE_ID}:{DEVICE_VENDOR_ID}:{DEVICE_PRODUCT_ID}.{DEVICe_INTERFACE_ID}/rdesc
/rdesc - мапа сканкодов на кейкоды
keyboard on linux
-> click on key
-> keyboard device (HID)
-> scan code
-> kernel driver (sysFs)
-> key code
-> x11 event
/sys/kernel/debug/hid/0003\:2341\:2342.2341/rdesc
==
/sys/kernel/debug/hid/{DEVICE_ID}:{DEVICE_VENDOR_ID}:{DEVICE_PRODUCT_ID}.{DEVICe_INTERFACE_ID}/rdesc
/rdesc - мапа сканкодов на кейкоды
YouTube
Как работает usb клавиатура в Linux?
#soer #itubeteam
Основной канал для общения и публикации новых видео - Телегарм - https://news.1rj.ru/str/softwareengineervlog
Спонсорство - https://donate.s0er.ru
Сайт платным контентом - https://soer.pro
Зеркало для видео Дзен Видео - https://zen.yandex.ru/i…
Основной канал для общения и публикации новых видео - Телегарм - https://news.1rj.ru/str/softwareengineervlog
Спонсорство - https://donate.s0er.ru
Сайт платным контентом - https://soer.pro
Зеркало для видео Дзен Видео - https://zen.yandex.ru/i…
https://twitter.com/panicswtch/status/1307095489221976064 в помощь фронтендеру. огромный список полезных ресурсов и статей для #frontend разраба
Twitter
гордɇɇв
Здесь будет тред вдохновляющих блогов и полезных ресурсов по фронтенду. Почти всё – баяны, но кому-нибудь пригодится. Дополняйте!
https://refactoring.guru/ru/design-patterns
а кстати вот старенький сайт с паттернами с картинками и нелохой теорией
а кстати вот старенький сайт с паттернами с картинками и нелохой теорией
refactoring.guru
Паттерны/шаблоны проектирования
Паттерны проектирования описывают типичные способы решения часто встречающихся проблем при проектировании программ.
забавный курс нашел по RTOS, жаль только что на Индуском
https://rutracker.org/forum/viewtopic.php?t=5510401
https://rutracker.org/forum/viewtopic.php?t=5510401
rutracker.org
[Udemy] Mastering RTOS: Hands on with FreeRTOS, Arduino and STM32Fx [2018, ENG] :: RuTracker.org
[Udemy] Mastering RTOS: Hands on with FreeRTOS, Arduino and STM32Fx [2018, ENG] » Программирование (видеоуроки) :: RuTracker.org
шикарный доклад про пароли и их сложность, и как ее посчитать. если коротко то сооооовсем нифига не простая тема
#security
https://www.youtube.com/watch?v=vf37jh3dV2I&ab_channel=USENIX
#security
https://www.youtube.com/watch?v=vf37jh3dV2I&ab_channel=USENIX
YouTube
USENIX Security '16 - zxcvbn: Low-Budget Password Strength Estimation
zxcvbn: Low-Budget Password Strength Estimation
Daniel Lowe Wheeler, Dropbox Inc.
For over 30 years, password requirements and feedback have largely remained a product of LUDS: counts of lower- and uppercase letters, digits and symbols. LUDS remains ubiquitous…
Daniel Lowe Wheeler, Dropbox Inc.
For over 30 years, password requirements and feedback have largely remained a product of LUDS: counts of lower- and uppercase letters, digits and symbols. LUDS remains ubiquitous…
внезапно оказался в сфере RTOS и выбора под однокристальные встраиваемые системы. #Cpp #os
и в результате набрел на хороший сказ про
http://caxapa.ru/thumbs/729136/scmRTOS.ru.pdf
и в результате набрел на хороший сказ про
scmRTOS. базовые понятия и хороший ввод на русском языке с особенностей реалтаймовых операционок тутhttp://caxapa.ru/thumbs/729136/scmRTOS.ru.pdf
прерывания в операционных системах
- Использование механизмов операционных систем в разработке программного обеспечения
- Прерывание (Операционные Системы)
- Прерывание ВИКИ
- Аппаратные прерывания на примере Ардуино #arduino
- Interrupts in Arduino, Part 1. Timer interruptions #arduino
- Аппаратные или внешние прерывания в Arduino (AVR). Прерывание по кнопке и дребезг контактов #arduino
- Использование механизмов операционных систем в разработке программного обеспечения
- Прерывание (Операционные Системы)
- Прерывание ВИКИ
- Аппаратные прерывания на примере Ардуино #arduino
- Interrupts in Arduino, Part 1. Timer interruptions #arduino
- Аппаратные или внешние прерывания в Arduino (AVR). Прерывание по кнопке и дребезг контактов #arduino
Coursera
Прерывания - Организация операционной системы | Coursera
Video created by Национальный исследовательский ядерный ...
Оказывается система типов в #rust полная по Тьюрингу
https://sdleffler.github.io/RustTypeSystemTuringComplete/
https://sdleffler.github.io/RustTypeSystemTuringComplete/
sdleffler.github.io
Rust's Type System is Turing-Complete
(N.B. The word “fuck” appears multiple times in this post. I recommend that
the reader temporarily not consider “fuck” as profanity, as it isn’t used that
way here.)
the reader temporarily not consider “fuck” as profanity, as it isn’t used that
way here.)
немного про строковые типы, почему их два, какие нюансы есть и какие гарантии предоставляет #rust
https://fasterthanli.me/articles/working-with-strings-in-rust
рассказано просто супер. с подробностями и сравнением с #c
https://fasterthanli.me/articles/working-with-strings-in-rust
рассказано просто супер. с подробностями и сравнением с #c
fasterthanli.me
Working with strings in Rust
There’s a question that always comes up when people pick up the Rust programming language: why are there two string types? Why is there String, and &str?
My Declarative Memory Management article an...
My Declarative Memory Management article an...
пакет для удобной работы с COW и строками в #rust
https://github.com/RReverser/cow-utils-rs
а вот пакет с более компактными COW
https://github.com/maciejhirsz/beef
https://github.com/RReverser/cow-utils-rs
а вот пакет с более компактными COW
https://github.com/maciejhirsz/beef
GitHub
GitHub - RReverser/cow-utils-rs: Copy-on-write string utilities for Rust
Copy-on-write string utilities for Rust. Contribute to RReverser/cow-utils-rs development by creating an account on GitHub.