Чет как то даже интересно попробовать такую модельку. Но как бы рандом-форест нифига не хуже, а работает, уверен в 1к раз быстрей. Автор наверное понял почему не делают под табличные данные нейроночки) вставил такую сетку себе в проект и говоришь у тебя ИИ... ииииии все... можно идти и просить денег больше)))
== datret
https://habr.com/ru/post/712088/
== datret
https://habr.com/ru/post/712088/
Хабр
DatRet: Реализация Tensorflow для табличных данных
Изображение автора Мой open-source продукт. Ret e neurale per la previsione di Dat i tabulari. (it.) Простая реализация архитектуры глубокой нейронной сети для табличных данных с автоматической...
Forwarded from PythonDigest
Управление производительностью с Python 3.12
https://habr.com/ru/post/712578/
В Python 3.12 появилась поддержка perf profiling. В этой статье рассмотрим, как это помогает сократить время выполнения Python-скрипта с 36 секунд до 0,8. Мы рассмотрим Linux-инструмент perf, а также графики Flame Graph (добавить пояснение: способ визуализации процессорного времени, потраченного на функции), посмотрим на дизассемблированный код и займемся поиском ошибок. Код из статьи можно посмотреть здесь (https://github.com/peter-mcconnell/petermcconnell.com/tree/main/assets/dummy/perf_py_proj).
https://habr.com/ru/post/712578/
В Python 3.12 появилась поддержка perf profiling. В этой статье рассмотрим, как это помогает сократить время выполнения Python-скрипта с 36 секунд до 0,8. Мы рассмотрим Linux-инструмент perf, а также графики Flame Graph (добавить пояснение: способ визуализации процессорного времени, потраченного на функции), посмотрим на дизассемблированный код и займемся поиском ошибок. Код из статьи можно посмотреть здесь (https://github.com/peter-mcconnell/petermcconnell.com/tree/main/assets/dummy/perf_py_proj).
== Индексы в PostgreSQL
https://youtu.be/lAWQNcAEiKw
- устройство базы данных
- устройство таблиц
- страницы и строкитаблицы, TOAST
- FSM и VACUUM (FULL)
- - VACUUM помечает серверу что сюда можно записать
- - VACUUM FULL сжимает уже саму таблицу
- - VACUUM ANALYZE - помогает ПГ собирая статистику и давая более эффективную инфу для сервера
- - рядом с файлом таблицы лежит файл Visibility-Map
- зачем нужен Индекс
- методы сканирования
- - Index Scan
- - Index Only Scan
- - bitmap scan
- - seq scan
Индексы в PostgreSQL # Виды индексов SQL # EXPLAIN, ANALYZE
== https://youtu.be/4HZl-PkFTbA
- b-tree
- hash
- gin, gist, brin
- EXPLAIN / ANALYZE
- - cost - сумма затрат на I/O + CPU
https://youtu.be/lAWQNcAEiKw
- устройство базы данных
- устройство таблиц
- страницы и строкитаблицы, TOAST
- FSM и VACUUM (FULL)
- - VACUUM помечает серверу что сюда можно записать
- - VACUUM FULL сжимает уже саму таблицу
- - VACUUM ANALYZE - помогает ПГ собирая статистику и давая более эффективную инфу для сервера
- - рядом с файлом таблицы лежит файл Visibility-Map
- зачем нужен Индекс
- методы сканирования
- - Index Scan
- - Index Only Scan
- - bitmap scan
- - seq scan
Индексы в PostgreSQL # Виды индексов SQL # EXPLAIN, ANALYZE
== https://youtu.be/4HZl-PkFTbA
- b-tree
- hash
- gin, gist, brin
- EXPLAIN / ANALYZE
- - cost - сумма затрат на I/O + CPU
YouTube
SQL для начинающих: Индексы в PostgreSQL
Данный курс на YouTube - сильно укороченная (демо) версия полного курса, который вы можете приобрести на stepik (с карточкой из РФ) или Udemy (с карточкой не из РФ)
Купить полный курс на stepik:
https://www.engineerspock.com/buy-postgres-youtube-stepik …
Купить полный курс на stepik:
https://www.engineerspock.com/buy-postgres-youtube-stepik …
== Выжимаем максимум из логики — сверхбыстрый, но прожорливый сумматор
https://habr.com/ru/post/712892/
https://habr.com/ru/post/712892/
Хабр
Выжимаем максимум из логики — сверхбыстрый, но прожорливый сумматор
ПЛИС-культ привет , FPGA хаб! Давненько я не писал полноценных статей на хабре, всё больше как-то занимался организацией FPGA движа: всякими там новостными подборками, ютуб стримами по FPGA,...
👍1
Forwarded from КиберОлег 🦄🤖🙌
Проходишь такой 4 этапа собесов по алгоритмам в Яндекс, чтоб написать потом такое 😂
👍1🔥1
какая же я ленивая жопа была🙈🙈🙈
сто лет хотел такую штуку найти. думал нет
однако, теперь моя жизнь стала очень значительно легче.
уже задолбало искать флеху что бы попробовать новый дистр или поставить на сервак чтото более современное и уже все флешки с каким то дистром... лень искать с каким...берешь первую попавшуюся и спецовой прожкой льешь на нее ОДИН исошничек... ждешь... потом понимаешь что не тот и заново... ХВАТИТ ЭТО ТЕРПЕТЬ!
поставил один раз на флещку вот это: https://www.ventoy.net/en/doc_start.html https://github.com/ventoy/Ventoy/releases (интерфейс простейший) и КЦ КВ копируй на нее все нужные исошники. все. загружайся с нее. оно все позволит тебе сделать как надо ОГОНЬ !!!! 🔥🔥🔥🔥
https://github.com/ventoy/Ventoy
сто лет хотел такую штуку найти. думал нет
однако, теперь моя жизнь стала очень значительно легче.
уже задолбало искать флеху что бы попробовать новый дистр или поставить на сервак чтото более современное и уже все флешки с каким то дистром... лень искать с каким...берешь первую попавшуюся и спецовой прожкой льешь на нее ОДИН исошничек... ждешь... потом понимаешь что не тот и заново... ХВАТИТ ЭТО ТЕРПЕТЬ!
поставил один раз на флещку вот это: https://www.ventoy.net/en/doc_start.html https://github.com/ventoy/Ventoy/releases (интерфейс простейший) и КЦ КВ копируй на нее все нужные исошники. все. загружайся с нее. оно все позволит тебе сделать как надо ОГОНЬ !!!! 🔥🔥🔥🔥
https://github.com/ventoy/Ventoy
👍2🥰2
== The Ultimate Guide to Web Workers
https://www.sitepoint.com/developing-faster-javanoscript-apps-the-ultimate-guide-to-web-workers/
https://www.sitepoint.com/developing-faster-javanoscript-apps-the-ultimate-guide-to-web-workers/
Sitepoint
Develop Faster JS Apps: the Ultimate Guide to Web Workers — SitePoint
Learn why long-running functions in JavaScript are problematic, and how to use web workers to address execution speed issues.
== Data Structures In Frontend JavaScript In The Real World
https://profy.dev/article/javanoscript-data-structures
- Map
- Set
- Stack
- Queue
- Tree
https://profy.dev/article/javanoscript-data-structures
- Map
- Set
- Stack
- Queue
- Tree
profy.dev
Data Structures In Frontend JavaScript In The Real World (With React Code Examples)
Never seen a linked list in frontend JavaScript code? Me neither. But here are real-world examples of data structures Map, Set, Stack, Queue, and Tree.
== Transactions in distributed systems
https://medium.com/nerd-for-tech/transactions-in-distributed-systems-b5ceea869d7d
https://medium.com/nerd-for-tech/transactions-in-distributed-systems-b5ceea869d7d
== Топ полезных SQL-запросов для PostgreSQL
https://habr.com/ru/post/696274/
- Размер табличных пространств
- Размер баз данных
- Размер схем в базе данных
- Размер таблиц
- Мониторинг блокировок
- Снятие блокировок
- Коэффициент кэширования (Cache Hit Ratio)
- Использование индексов
- Коэффициент кэширования индексов (Index Cache Hit Rate)
- Неиспользуемые индексы
- Раздувание базы данных (Database bloat)
- Проверка запусков VACUUM
- Показывает количество открытых подключений
- Показывает выполняющиеся запросы
== Cleaning Up Your Postgres Database
https://www.crunchydata.com/blog/cleaning-up-your-postgres-database
- The high level metrics - cache and index hit ratio
- Cleaning up unused indexes
https://habr.com/ru/post/696274/
- Размер табличных пространств
- Размер баз данных
- Размер схем в базе данных
- Размер таблиц
- Мониторинг блокировок
- Снятие блокировок
- Коэффициент кэширования (Cache Hit Ratio)
- Использование индексов
- Коэффициент кэширования индексов (Index Cache Hit Rate)
- Неиспользуемые индексы
- Раздувание базы данных (Database bloat)
- Проверка запусков VACUUM
- Показывает количество открытых подключений
- Показывает выполняющиеся запросы
== Cleaning Up Your Postgres Database
https://www.crunchydata.com/blog/cleaning-up-your-postgres-database
- The high level metrics - cache and index hit ratio
- Cleaning up unused indexes
Хабр
Топ полезных SQL-запросов для PostgreSQL
Статей о работе с PostgreSQL и её преимуществах достаточно много, но не всегда из них понятно, как следить за состоянием базы и метриками, влияющими на её оптимальную работу. В статье подробно...
новый дизайн википедии мне нравится. легче смотрится, меньше весит, меньше жрет оперативы (мне важно, у меня почти 100вкладок википедии и каждый день увеличивается)
== Предохранители (Circuit Breaker) для данных: как автоматические выключатели повышают Data Quality
https://telegra.ph/Predohraniteli-dlya-dannyh-kak-avtomaticheskie-vyklyuchateli-povyshayut-Data-Quality-09-12
https://telegra.ph/Predohraniteli-dlya-dannyh-kak-avtomaticheskie-vyklyuchateli-povyshayut-Data-Quality-09-12
Telegraph
Предохранители для данных: как автоматические выключатели повышают Data Quality
Представьте, что бизнес-метрика неожиданно резко вырастает или проседает. Как понять, реальное это изменение или проблема с качеством данных? В чем суть предохранителя Если возникают проблемы с данными, предохранитель разрывает «цепь» и не пускает некачественные…
== 9 Useful Interactive CLI Tools for Linux
https://medium.com/mariadb/9-useful-interactive-cli-tools-for-linux-994c470a549e
- htop
- nmon
- nmtui
- iftop
- iptraf
- mc
- mcedit
- nano
- mprocs
https://medium.com/mariadb/9-useful-interactive-cli-tools-for-linux-994c470a549e
- htop
- nmon
- nmtui
- iftop
- iptraf
- mc
- mcedit
- nano
- mprocs
Medium
9 Useful Interactive CLI Tools for Linux
Learn about 9 text-based user interface interactive tools that can help you get comfortable with the Linux CLI.
вот именно
== 5 функций CLI на Rust для оптимизации привычных инструментов
https://nuancesprog.ru/p/16660/
bottom огонь== 5 функций CLI на Rust для оптимизации привычных инструментов
https://nuancesprog.ru/p/16660/
NOP::Nuances of programming
5 функций CLI на Rust для оптимизации привычных инструментов
Хотите стать более продуктивным? Rust предоставит вам возможность обновить некоторые из повседневных инструментов командной строки!
Forwarded from Хитрый Питон
Вышел релиз SQLAlchemy 2.0, получается довольно интересно:
- Полная поддержка типов: ORM-модели теперь можно делать полностью типизированные, результаты запросов тоже типизированы
- Теперь ORM-модели можно объявлять как MappedAsDataclass и в этом случае на выходе получатся полноценные датаклассы
- Для массовых добавлений/изменений вместо bulk_* методов теперь можно использовать insert-ы и update-ы, которые стали достаточно умными, чтобы делать это одним запросом и поддерживать .returning()
- C-расширения переписали на Cython и обещают повышение их производительности
- Поддержка нового psycopg3 (aka "просто psycopg")
Резюмируя - очень здорово, что в довольно "олдскульный" SQLAlchemy затащили поддержку всяких современных фич языка. Будет интересно попробовать это все.
Статья про изменения в 2.0 https://docs.sqlalchemy.org/en/20/changelog/whatsnew_20.html
QuickStart, в котором показан новый подход к объявлению моделей https://docs.sqlalchemy.org/en/20/orm/quickstart.html
- Полная поддержка типов: ORM-модели теперь можно делать полностью типизированные, результаты запросов тоже типизированы
- Теперь ORM-модели можно объявлять как MappedAsDataclass и в этом случае на выходе получатся полноценные датаклассы
- Для массовых добавлений/изменений вместо bulk_* методов теперь можно использовать insert-ы и update-ы, которые стали достаточно умными, чтобы делать это одним запросом и поддерживать .returning()
- C-расширения переписали на Cython и обещают повышение их производительности
- Поддержка нового psycopg3 (aka "просто psycopg")
Резюмируя - очень здорово, что в довольно "олдскульный" SQLAlchemy затащили поддержку всяких современных фич языка. Будет интересно попробовать это все.
Статья про изменения в 2.0 https://docs.sqlalchemy.org/en/20/changelog/whatsnew_20.html
QuickStart, в котором показан новый подход к объявлению моделей https://docs.sqlalchemy.org/en/20/orm/quickstart.html
== Code of Architecture. Distributed Systems. Episode 2.
https://www.youtube.com/live/euxnCZ7ErjY?feature=share
https://www.youtube.com/live/euxnCZ7ErjY?feature=share
YouTube
Code of Architecture. Distributed Systems. Episode 2.
Мы возвращаемся в эфир после новогодних каникул с новой книгой — Distributed Systems. Книга посвящена распределенным системам.
В этом эпизоде разберем первую главу Distributed Systems. Обсудим:
— основные характеристики распределенных систем;
— их…
В этом эпизоде разберем первую главу Distributed Systems. Обсудим:
— основные характеристики распределенных систем;
— их…