Оч толковое объяснение и базы алгоритма с примерами кода
== градиентный бустинг
https://uproger.com/gradientyj-busting-podrobnyj-razbor-algoritma-mashinnogo-obucheniya/
== градиентный бустинг
https://uproger.com/gradientyj-busting-podrobnyj-razbor-algoritma-mashinnogo-obucheniya/
UPROGER | Программирование
Градиентый бустинг — подробный разбор алгоритма машинного обучения.
Хотя большинство победителей соревнований на Kaggle используют композицию разных моделей, одна из них заслуживает особого внимания, так как является почти обязательной частью. Речь, конечно, про Градиентный бустинг (GBM) и его вариации. Возьмем, например.…
Я то думал когда уже начнут делать апп-специфик операционки
== DBOS: A Database-Oriented Operating System
https://dbos-project.github.io/blog/intro-blog.html
== DBOS: A Database-Oriented Operating System
https://dbos-project.github.io/blog/intro-blog.html
Forwarded from НеЛамер
Представлен новый стандарт USB — в два раза быстрее предыдущего
Организация USB Implementers Forum, ответственная за разработку USB, анонсировала новый стандарт этой технологии — USB 4 version 2. Он предусматривает передачу данных со скоростью до 80 гигабит в секунду, но примечательнее всего то, что его будут поддерживать даже существующие кабели, выпущенные по более ранней технологии.
Скорость у USB 4 version 2 в два раза выше, чем у USB 4 и Thunderbolt 4, причём она достигается как у существующих кабелей USB Type-C, так и у кабелей, разработанных специально для реализации нового стандарта. Новые кабели будут активными, то есть для обеспечения максимальной скорости им, возможно, потребуется отдельное питание.
USB Implementers Forum также обещает совместимость USB 4 version 2 с DisplayPort и PCIe, то есть кабели с поддержкой этой технологии можно будет использовать для подключения мониторов и другой компьютерной периферии, требующей высокой скорости передачи данных и большой мощности питания.
#новости
Организация USB Implementers Forum, ответственная за разработку USB, анонсировала новый стандарт этой технологии — USB 4 version 2. Он предусматривает передачу данных со скоростью до 80 гигабит в секунду, но примечательнее всего то, что его будут поддерживать даже существующие кабели, выпущенные по более ранней технологии.
Скорость у USB 4 version 2 в два раза выше, чем у USB 4 и Thunderbolt 4, причём она достигается как у существующих кабелей USB Type-C, так и у кабелей, разработанных специально для реализации нового стандарта. Новые кабели будут активными, то есть для обеспечения максимальной скорости им, возможно, потребуется отдельное питание.
USB Implementers Forum также обещает совместимость USB 4 version 2 с DisplayPort и PCIe, то есть кабели с поддержкой этой технологии можно будет использовать для подключения мониторов и другой компьютерной периферии, требующей высокой скорости передачи данных и большой мощности питания.
#новости
BufWriter<Master<'_>>
открыл для себя консольную тулу для мониторинга СПУ и Мемори. поставлю вместо обоев на один из моников. удобно
подсказали еще прикольней тулу
работает и очень быстро, не жрет почти ничего
работает и очень быстро, не жрет почти ничего
🔥1
годный ман
== Оценка сложности алгоритма. Сложность алгоритмов. Big O, Большое О
https://youtu.be/ZRdOb4yR0kk
== Оценка сложности алгоритма. Сложность алгоритмов. Big O, Большое О
https://youtu.be/ZRdOb4yR0kk
YouTube
Оценка сложности алгоритма. Сложность алгоритмов. Big O, Большое О
Полный видео-курс со скидкой 50%: https://cronis.by/video-course-sale/
Бесплатное обучение: https://cronis.by/video-materials/
Промо-код YT_20 на -20% на новый живой онлайн курс: https://cronis.by/online-cart
Видео-курсы:
➤ Полный курс оценки сложности:…
Бесплатное обучение: https://cronis.by/video-materials/
Промо-код YT_20 на -20% на новый живой онлайн курс: https://cronis.by/online-cart
Видео-курсы:
➤ Полный курс оценки сложности:…
== Валидация моделей машинного обучения и анализа данных
https://telegra.ph/Validaciya-modelej-mashinnogo-obucheniya-i-analiza-dannyh-09-05
https://telegra.ph/Validaciya-modelej-mashinnogo-obucheniya-i-analiza-dannyh-09-05
чот както 2-3 раза больше чем в 2013 это хреново, не?
== Эксперты оценили потребление ресурсов ПК после начальной установки дистрибутивов Ubuntu 22.04 с разными рабочими столами
https://habr.com/ru/news/t/683746/
== Эксперты оценили потребление ресурсов ПК после начальной установки дистрибутивов Ubuntu 22.04 с разными рабочими столами
https://habr.com/ru/news/t/683746/
проклятый пандас, гемор ацкий. но зато можно в 300 раз (не шутка) ускорить код
чтото все больше и больше хочу попробовать ZFS
== Бинарные (файловые) хранилища: страшная сказка с мрачным концом
https://youtu.be/bOqSexPzSIE
== Бинарные (файловые) хранилища: страшная сказка с мрачным концом
https://youtu.be/bOqSexPzSIE
YouTube
Бинарные (файловые) хранилища: страшная сказка с мрачным концом / Даниил Подольский (GitInSky)
РИТ++ 2015, HighLoad++ Junior
Презентация и тезисы:
http://junior.highload.ru/2015/
1. Вводная часть: базовые понятия и определения
1.1. Что такое “файл”
1.2. Роль файлов в современном мире, миф о ненужности файлов
1.3. Файловое хранилище АКА файловая система…
Презентация и тезисы:
http://junior.highload.ru/2015/
1. Вводная часть: базовые понятия и определения
1.1. Что такое “файл”
1.2. Роль файлов в современном мире, миф о ненужности файлов
1.3. Файловое хранилище АКА файловая система…
Forwarded from FrontEndDev
Разработка радар системы для самолетов на JavaScript — работа с Web USB.
https://charliegerard.dev/blog/aircraft-radar-system-rtl-sdr-web-usb/
https://charliegerard.dev/blog/aircraft-radar-system-rtl-sdr-web-usb/
== Кэширование данных в web приложениях. Использование memcached / Юрий Краснощек (Delphi LLC, Dell)
https://youtu.be/bQFwdg69gQE
термины
- origin - сорс данных
- freshness/stale data - свежесть
- cache hit/cache miss - попадание и промах в кэше
- validation/invalidation - процесс проверки наличия в кэше
- eviction - вычисление слабого (старого) кэша и удаление
кандидаты на кэширование
- статика, картинки и медиа, скрипты, цсс, хтмл
Хэдеры в вебе
- Expires
- Cache Control = no-cache/no-store, max-age
- Etag
- Content-length
- Vary
Кэш на строне бэка
- надо либа (сервис лэйер)
- надо отдельный кэширущий сервер/сервис
memcached
- типичный noSQL
- легко хранить плохо структурированные данные
- упрощается код хранилища (меньше риск порчи данных)
- кей-вэлью
- фиксированный обьем памяти
- 16битные флаги
- работает в режиме LRU или в режиме консистентного кэша
- команды
- - get
- - set / add / delete / replace
- - prepend / append
- - touch (продляет жизнь)
- - incr / decr
- - gets / cas
- - ключ -C выключает CAS = экономия места
- юзать Много долгих сессий = должны быть долгоиграющими, редко рваться
- batch запросы ускоряют
- надо настраивать потоки
- юзать можно по UDP
- Удобно можно хранить стату бэка
- стата есть в самом memcached втсроенная
- evictions rate
- надо подбирать размер батча
- надо использовать ключ -R для прерывания батча, говоря сколько команд можно за раз сделать
Envictions
- есть slabs, делится на страницы,
- мемкэш не может создать значние больше чем страница (1мб)
- в пределах слабов есть список и новые данные попадают в ХЭД, если заиспользовали опять значение - повышает в индексе... поэтому старые данные находятся в ТЭЙЛ уровне и мемкэш удаляет с конца те которые попали в конец
Кластер мемкэшд
- клиент выбирает инстанс (libketama)
- используется брокер (mcrouter) = упрощает структуру бэка, но появляется еще одно звено = возрастают задержки
- бэком можно выбор ноды для чтения и записи = но сложно ревалидировать и добавлять ноды
- есть подход к консистентному кольцу хэшей = можно быстро подставлять новые тачки в рантайме, удобно, миссов меньше
= ПЛОХО ПОДХОДИТ ДЛЯ РЕШЕНИЯ ПРОБЛЕМ С КОНСИСТЕНТНОСТЬЮ
= ХОРОШО ДЛЯ КЭША 🙈
https://youtu.be/bQFwdg69gQE
термины
- origin - сорс данных
- freshness/stale data - свежесть
- cache hit/cache miss - попадание и промах в кэше
- validation/invalidation - процесс проверки наличия в кэше
- eviction - вычисление слабого (старого) кэша и удаление
кандидаты на кэширование
- статика, картинки и медиа, скрипты, цсс, хтмл
Хэдеры в вебе
- Expires
- Cache Control = no-cache/no-store, max-age
- Etag
- Content-length
- Vary
Кэш на строне бэка
- надо либа (сервис лэйер)
- надо отдельный кэширущий сервер/сервис
memcached
- типичный noSQL
- легко хранить плохо структурированные данные
- упрощается код хранилища (меньше риск порчи данных)
- кей-вэлью
- фиксированный обьем памяти
- 16битные флаги
- работает в режиме LRU или в режиме консистентного кэша
- команды
- - get
- - set / add / delete / replace
- - prepend / append
- - touch (продляет жизнь)
- - incr / decr
- - gets / cas
- - ключ -C выключает CAS = экономия места
- юзать Много долгих сессий = должны быть долгоиграющими, редко рваться
- batch запросы ускоряют
- надо настраивать потоки
- юзать можно по UDP
- Удобно можно хранить стату бэка
- стата есть в самом memcached втсроенная
- evictions rate
- надо подбирать размер батча
- надо использовать ключ -R для прерывания батча, говоря сколько команд можно за раз сделать
Envictions
- есть slabs, делится на страницы,
- мемкэш не может создать значние больше чем страница (1мб)
- в пределах слабов есть список и новые данные попадают в ХЭД, если заиспользовали опять значение - повышает в индексе... поэтому старые данные находятся в ТЭЙЛ уровне и мемкэш удаляет с конца те которые попали в конец
Кластер мемкэшд
- клиент выбирает инстанс (libketama)
- используется брокер (mcrouter) = упрощает структуру бэка, но появляется еще одно звено = возрастают задержки
- бэком можно выбор ноды для чтения и записи = но сложно ревалидировать и добавлять ноды
- есть подход к консистентному кольцу хэшей = можно быстро подставлять новые тачки в рантайме, удобно, миссов меньше
= ПЛОХО ПОДХОДИТ ДЛЯ РЕШЕНИЯ ПРОБЛЕМ С КОНСИСТЕНТНОСТЬЮ
= ХОРОШО ДЛЯ КЭША 🙈
YouTube
Кэширование данных в web приложениях. Использование memcached / Юрий Краснощек (Delphi LLC, Dell)
РИТ++ 2015, HighLoad++ Junior
Презентация и тезисы:
http://junior.highload.ru/2015/
Каждый разработчик web приложений рано или поздно сталкивается с довольно типичной проблемой: перед ним стоит задача построить фабрику по производству омнониевых торсиометров.…
Презентация и тезисы:
http://junior.highload.ru/2015/
Каждый разработчик web приложений рано или поздно сталкивается с довольно типичной проблемой: перед ним стоит задача построить фабрику по производству омнониевых торсиометров.…
что внутри и как работает эксепшн в пайтн
== Алексей Кузьмин. Обработка ошибок в Python
https://youtu.be/AhlEAXjhUZ4
== Алексей Кузьмин. Обработка ошибок в Python
https://youtu.be/AhlEAXjhUZ4
YouTube
Алексей Кузьмин. Обработка ошибок в Python
Алексей Кузьмин, ДомКлик, Москва
Обработка ошибок в Python
В нашем IT-мире есть только один достоверный источник информации — исходный код. Документация может быть не актуальной, книжка может устареть, статья может осветить только один аспект. А исходный…
Обработка ошибок в Python
В нашем IT-мире есть только один достоверный источник информации — исходный код. Документация может быть не актуальной, книжка может устареть, статья может осветить только один аспект. А исходный…
== Денис Аникин. FastAPI как основной framework для python бекендов
https://youtu.be/4zjj1aHJoko
https://youtu.be/4zjj1aHJoko
YouTube
Денис Аникин. FastAPI как основной framework для python бекендов
FastAPI уже не первый год с нами.
Последние пару лет фреймворк явно на подъеме: количество звезд на гитхабе уже больше чем 50% от мастодонтов рынка — django, flask. В ds среде и в каждом туториале flask, в каждой второй вакансии суперсовременные горизонтально…
Последние пару лет фреймворк явно на подъеме: количество звезд на гитхабе уже больше чем 50% от мастодонтов рынка — django, flask. В ds среде и в каждом туториале flask, в каждой второй вакансии суперсовременные горизонтально…