Бесплатный удобный ETL инструмент с открытым кодом на основе Python — фантастика или нет?
https://habr.com/ru/post/536734/?utm_campaign=536734&utm_source=habrahabr&utm_medium=rss
Мы давно ищем идеальный ETL инструмент для наших проектов. Ни один из существующих инструментов нас полностью не удовлетворял, и мы попробовали собрать из open-source компонентов идеальный инструмент для извлечения и обработки данных. Кажется, у нас это получилось! По крайней мере, уже многие аналитики попробовали эту технологию и отзываются очень позитивно. Сборку мы назвали ViXtract и опубликовали на GitHub под BSD лицензией. Под катом — рассуждения о том, каким должен быть идеальный ETL, рассказ о том, почему его лучше делать на Python (и почему это совсем не сложно) и примеры решения реальных задач на ViXtract. Приглашаю всех заинтересованных к дискуссии, обсуждению, использованию и развитию нового решения для старых проблем!
https://habr.com/ru/post/536734/?utm_campaign=536734&utm_source=habrahabr&utm_medium=rss
Мы давно ищем идеальный ETL инструмент для наших проектов. Ни один из существующих инструментов нас полностью не удовлетворял, и мы попробовали собрать из open-source компонентов идеальный инструмент для извлечения и обработки данных. Кажется, у нас это получилось! По крайней мере, уже многие аналитики попробовали эту технологию и отзываются очень позитивно. Сборку мы назвали ViXtract и опубликовали на GitHub под BSD лицензией. Под катом — рассуждения о том, каким должен быть идеальный ETL, рассказ о том, почему его лучше делать на Python (и почему это совсем не сложно) и примеры решения реальных задач на ViXtract. Приглашаю всех заинтересованных к дискуссии, обсуждению, использованию и развитию нового решения для старых проблем!
Как ML помогает при аудите качества клиентского сервиса
https://habr.com/ru/post/545490/?utm_campaign=545490&utm_source=habrahabr&utm_medium=rss
Можно ли за короткое время и без больших трудозатрат проанализировать обращения клиентов и выявить причины возникновения негативных отзывов? В этой статье хотим рассказать, как с помощью инструментов ML нам удалось решить эту задачу.
https://habr.com/ru/post/545490/?utm_campaign=545490&utm_source=habrahabr&utm_medium=rss
Можно ли за короткое время и без больших трудозатрат проанализировать обращения клиентов и выявить причины возникновения негативных отзывов? В этой статье хотим рассказать, как с помощью инструментов ML нам удалось решить эту задачу.
Python⇒Speed: The security scanner that cried wolf
https://pythonspeed.com/articles/docker-security-scanner/
https://pythonspeed.com/articles/docker-security-scanner/
Делаем тесты частью приложения
https://habr.com/ru/post/545646/?utm_campaign=545646&utm_source=habrahabr&utm_medium=rss
Сегодня я собираюсь обсудить абсолютно новую для многих пользователей идею: интеграцию тестов в ваше приложение.
https://habr.com/ru/post/545646/?utm_campaign=545646&utm_source=habrahabr&utm_medium=rss
Сегодня я собираюсь обсудить абсолютно новую для многих пользователей идею: интеграцию тестов в ваше приложение.
Поиск нарушений на видео с помощью компьютерного зрения
https://habr.com/ru/post/545678/?utm_campaign=545678&utm_source=habrahabr&utm_medium=rss
Предположим, что данное нарушение возможно. Как же его выявить? В нашем распоряжении имеются записи с камер наблюдения рабочего места сотрудника и журнал проведения операций. Будем искать все моменты на записи, где отсутствовал клиент.
https://habr.com/ru/post/545678/?utm_campaign=545678&utm_source=habrahabr&utm_medium=rss
Предположим, что данное нарушение возможно. Как же его выявить? В нашем распоряжении имеются записи с камер наблюдения рабочего места сотрудника и журнал проведения операций. Будем искать все моменты на записи, где отсутствовал клиент.
Как прикрутить нейросеть к сайту по быстрому
https://habr.com/ru/post/545660/?utm_campaign=545660&utm_source=habrahabr&utm_medium=rss
В данном материале предлагается, приложив небольшие усилия, соединить python 3.7+flask+tensorflow 2.0+keras+небольшие вкрапления js и вывести на web-страницу определенный интерактив. Пользователь, рисуя на холсте, будет отправлять на распознавание цифры, а ранее обученная модель, использующая архитектуру CNN, будет распознавать полученный рисунок и выводить результат. Модель обучена на известном наборе рукописных цифр MNIST, поэтому и распознавать будет только цифры от 0 до 9 включительно. В качестве системы, на которой все это будет крутиться, используется windows 7.
https://habr.com/ru/post/545660/?utm_campaign=545660&utm_source=habrahabr&utm_medium=rss
В данном материале предлагается, приложив небольшие усилия, соединить python 3.7+flask+tensorflow 2.0+keras+небольшие вкрапления js и вывести на web-страницу определенный интерактив. Пользователь, рисуя на холсте, будет отправлять на распознавание цифры, а ранее обученная модель, использующая архитектуру CNN, будет распознавать полученный рисунок и выводить результат. Модель обучена на известном наборе рукописных цифр MNIST, поэтому и распознавать будет только цифры от 0 до 9 включительно. В качестве системы, на которой все это будет крутиться, используется windows 7.
Как убедить гейм-дизайнера запустить тесты?
https://habr.com/ru/post/545726/?utm_campaign=545726&utm_source=habrahabr&utm_medium=rss
Полагаю, ни для кого не секрет, что в разработке игр участвует очень много специалистов, а не только программисты. Выпуск игры невозможен без художников, моделлеров, VFX-художников, и, конечно, гейм-дизайнеров. Кстати о последних. Мы их очень любим, но они часто ломают ресурсы. Не то чтобы они хотят это делать, но из-за особенностей работы им нужно делать много мелких правок, и шанс накосячить выше. И ведь множество ошибок — это тривиальные опечатки, недописанная или, наоборот, лишняя удалённая строка. Всё это можно исправить не отходя от кассы. Но как это сделать? Прописать в регламенте, что перед коммитом обязательно запустить %my_folder%/noscripts/mega_checker? Мы проверяли — не работает. Человек — существо сложное и забывчивое. А проверять ресурсы хочется.
Но мы нашли выход — теперь нельзя закоммитить в репозиторий без тестов. По крайней мере незаметно и безнаказанно.
https://habr.com/ru/post/545726/?utm_campaign=545726&utm_source=habrahabr&utm_medium=rss
Полагаю, ни для кого не секрет, что в разработке игр участвует очень много специалистов, а не только программисты. Выпуск игры невозможен без художников, моделлеров, VFX-художников, и, конечно, гейм-дизайнеров. Кстати о последних. Мы их очень любим, но они часто ломают ресурсы. Не то чтобы они хотят это делать, но из-за особенностей работы им нужно делать много мелких правок, и шанс накосячить выше. И ведь множество ошибок — это тривиальные опечатки, недописанная или, наоборот, лишняя удалённая строка. Всё это можно исправить не отходя от кассы. Но как это сделать? Прописать в регламенте, что перед коммитом обязательно запустить %my_folder%/noscripts/mega_checker? Мы проверяли — не работает. Человек — существо сложное и забывчивое. А проверять ресурсы хочется.
Но мы нашли выход — теперь нельзя закоммитить в репозиторий без тестов. По крайней мере незаметно и безнаказанно.
The Real Python Podcast – Episode #50: Consuming APIs With Python and Building Microservices With gRPC
https://realpython.com/podcasts/rpp/50/
https://realpython.com/podcasts/rpp/50/
Talk Python to Me: #306 Scaling Python and Jupyter with ZeroMQ
https://talkpython.fm/episodes/show/306/scaling-python-and-jupyter-with-zeromq
Audio
https://talkpython.fm/episodes/show/306/scaling-python-and-jupyter-with-zeromq
Audio
Test and Code: 147: Testing Single File Python Applications/Scripts with pytest and coverage
https://testandcode.com/147
Audio
https://testandcode.com/147
Audio
«Умная камера» на базе Raspberry Pi с управлением через Telegram-бота
https://habr.com/ru/post/545814/?utm_campaign=545814&utm_source=habrahabr&utm_medium=rss
https://habr.com/ru/post/545814/?utm_campaign=545814&utm_source=habrahabr&utm_medium=rss
imapautofiler 1.11.0
http://feedproxy.google.com/~r/DougHellmann/~3/JX5VzsifPas/
http://feedproxy.google.com/~r/DougHellmann/~3/JX5VzsifPas/
Weekly Python StackOverflow Report: (cclxvi)
http://python-weekly.blogspot.com/2021/03/cclxvi-stackoverflow-python-report.html
http://python-weekly.blogspot.com/2021/03/cclxvi-stackoverflow-python-report.html
#python #pydigest
Сборник Python новостей уже перед вами.
В выпуске Python Дайджест вы найдете:
- Как за 60$ создать систему распознавания лиц на Nvidia Jetson Nano 2GB
- Robot Framework для автоматизации тестирования: ограничения и плюшки
- Как убедить гейм-дизайнера запустить тесты?
- Как ML помогает при аудите качества клиентского сервиса
- Популярность BPM в разных жанрах музыки. Анализ скорости исполнения 500 лучших песен
- Тестирование скриншотами
- Новое тестирование фичей в Django 3.2
- Архитектура в Django проектах — как выжить
- Использование алгоритмов обработки текстов на естественных языках для создания качественного резюме
Заходите в гости - https://pythondigest.ru/issue/376/
Присылайте интересные новости через форму на сайте.
Сборник Python новостей уже перед вами.
В выпуске Python Дайджест вы найдете:
- Как за 60$ создать систему распознавания лиц на Nvidia Jetson Nano 2GB
- Robot Framework для автоматизации тестирования: ограничения и плюшки
- Как убедить гейм-дизайнера запустить тесты?
- Как ML помогает при аудите качества клиентского сервиса
- Популярность BPM в разных жанрах музыки. Анализ скорости исполнения 500 лучших песен
- Тестирование скриншотами
- Новое тестирование фичей в Django 3.2
- Архитектура в Django проектах — как выжить
- Использование алгоритмов обработки текстов на естественных языках для создания качественного резюме
Заходите в гости - https://pythondigest.ru/issue/376/
Присылайте интересные новости через форму на сайте.
Python Digest
Выпуск 376
Новый выпуск еженедельного дайджеста новостей о #python уже в эфире!
Перегон картинок из Pillow в NumPy/OpenCV всего за два копирования памяти
https://habr.com/ru/post/545850/?utm_campaign=545850&utm_source=habrahabr&utm_medium=rss
Стоп, что? В смысле «всего»? Разве преобразование из одного формата в другой нельзя сделать за одно копирование, а лучше вообще без копирования?Да, это кажется безумием, но более привычные методы преобразования картинок работают в 1,5-2,5 раза медленнее (если нужен не read-only объект). Сегодня я покопаюсь в кишках обеих библиотек, расскажу почему так получилось и кто виноват. А также покажу финальный результат, который работает так же, только быстрее. Никаких репозиториев или пакетов не будет, только рассказ и рабочий код в конце. Но давайте обо всём по порядку.
https://habr.com/ru/post/545850/?utm_campaign=545850&utm_source=habrahabr&utm_medium=rss
Стоп, что? В смысле «всего»? Разве преобразование из одного формата в другой нельзя сделать за одно копирование, а лучше вообще без копирования?Да, это кажется безумием, но более привычные методы преобразования картинок работают в 1,5-2,5 раза медленнее (если нужен не read-only объект). Сегодня я покопаюсь в кишках обеих библиотек, расскажу почему так получилось и кто виноват. А также покажу финальный результат, который работает так же, только быстрее. Никаких репозиториев или пакетов не будет, только рассказ и рабочий код в конце. Но давайте обо всём по порядку.
Podcast.__init__: Analyzing The Ecosystem of Python Data Companies With Tony Liu
https://www.pythonpodcast.com/tony-liu-python-venture-investing-episode-305/
Audio
https://www.pythonpodcast.com/tony-liu-python-venture-investing-episode-305/
Audio
Маленькие Python для маленьких embedded-программистов: CircuitPython и MicroPython для MeowBit
https://habr.com/ru/post/545732/?utm_campaign=545732&utm_source=habrahabr&utm_medium=rss
На Хабре уже немало писали про обучающий микрокомпьютер BBC micro:bit (https://habr.com/ru/post/307806/), который в 2016 раздали всем британским школьникам (https://habr.com/ru/post/371993/), и сейчас он продаётся по $15 (https://www.sparkfun.com/products/14208). С прошлого года появились в продаже (https://habr.com/ru/company/selectel/blog/523574/) и micro:bit v2, в которых ОЗУ расширена с 16 КБ до 128 КБ. Неизменным остался форм-фактор: две кнопки для ввода, матрица 5х5 светодиодов для вывода, всё что сверх этого – подключайте через 25-контактный edge connector. Очевидно, что создатели задумывали micro:bit не как самостоятельное устройство, а как «мозг» для более сложного проекта со внешними датчиками, индикаторами, релюшками, сервоприводами и т.п. – этакий «детский Arduino».
https://habr.com/ru/post/545732/?utm_campaign=545732&utm_source=habrahabr&utm_medium=rss
На Хабре уже немало писали про обучающий микрокомпьютер BBC micro:bit (https://habr.com/ru/post/307806/), который в 2016 раздали всем британским школьникам (https://habr.com/ru/post/371993/), и сейчас он продаётся по $15 (https://www.sparkfun.com/products/14208). С прошлого года появились в продаже (https://habr.com/ru/company/selectel/blog/523574/) и micro:bit v2, в которых ОЗУ расширена с 16 КБ до 128 КБ. Неизменным остался форм-фактор: две кнопки для ввода, матрица 5х5 светодиодов для вывода, всё что сверх этого – подключайте через 25-контактный edge connector. Очевидно, что создатели задумывали micro:bit не как самостоятельное устройство, а как «мозг» для более сложного проекта со внешними датчиками, индикаторами, релюшками, сервоприводами и т.п. – этакий «детский Arduino».
HTTP атака на Azure
https://habr.com/ru/post/546190/?utm_campaign=546190&utm_source=habrahabr&utm_medium=rss
Будем ломать веб-сервер и закидывать его пачками HTTP запросов. Потихоньку заполнять всё вокруг HTTP-флудом и наблюдать полнейшую деградацию. Готовься Azure, будет не до смеха!
https://habr.com/ru/post/546190/?utm_campaign=546190&utm_source=habrahabr&utm_medium=rss
Будем ломать веб-сервер и закидывать его пачками HTTP запросов. Потихоньку заполнять всё вокруг HTTP-флудом и наблюдать полнейшую деградацию. Готовься Azure, будет не до смеха!
Пять распространенных ошибок Django
https://webdevblog.ru/pyat-rasprostranennyh-oshibok-django/
Django — это фантастический фреймворк для создания веб-приложений. Когда вы только начинаете работать с Django, вы можете часто совершать одни и те же небольшие ошибки из-за недостатка знаний. Я написал этот пост чтобы помочь осветить некоторые часто встречаемые мною ошибки в чужом коде.
В этом посте мы рассмотрим часто встречаемые ошибки на примере приложения Django, которое предназначено для управления сотрудниками в различных организациях.
https://webdevblog.ru/pyat-rasprostranennyh-oshibok-django/
Django — это фантастический фреймворк для создания веб-приложений. Когда вы только начинаете работать с Django, вы можете часто совершать одни и те же небольшие ошибки из-за недостатка знаний. Я написал этот пост чтобы помочь осветить некоторые часто встречаемые мною ошибки в чужом коде.
В этом посте мы рассмотрим часто встречаемые ошибки на примере приложения Django, которое предназначено для управления сотрудниками в различных организациях.
[Перевод] Трассировщик лучей с нуля за 100 строчек Python
https://habr.com/ru/post/546328/?utm_campaign=546328&utm_source=habrahabr&utm_medium=rss
В этом посте мы заглянем под капот алгоритмов компьютерной графики, пошагово разберем основные принципы трассировки лучей и напишем ее простую реализацию на Python. Никаких сторонних графических библиотек — только NumPy и голый код в компиляторе.
Примечание: Эта статья ни в коем случае не является полным руководством/объяснением трассировки лучей, поскольку эта тема слишком обширна, а скорее просто введением для любопытствующих.
https://habr.com/ru/post/546328/?utm_campaign=546328&utm_source=habrahabr&utm_medium=rss
В этом посте мы заглянем под капот алгоритмов компьютерной графики, пошагово разберем основные принципы трассировки лучей и напишем ее простую реализацию на Python. Никаких сторонних графических библиотек — только NumPy и голый код в компиляторе.
Примечание: Эта статья ни в коем случае не является полным руководством/объяснением трассировки лучей, поскольку эта тема слишком обширна, а скорее просто введением для любопытствующих.
Визуализация и анализ белков в Biopython
https://habr.com/ru/post/546096/?utm_campaign=546096&utm_source=habrahabr&utm_medium=rss
Биология человека – невероятно сложная наука. Даже учитывая, что с каждым годом мы открываем всё больше секретов человеческого тела, получаемые нами ответы порождают всё большее количество вопросов. Завершение проекта "Геном человека" придало многим учёным уверенность в том, что с помощью геномики человечество сможет решить важные биологические проблемы. Однако, чем больше биологических тайн мы раскрываем, тем более отчётливо понимаем, что на использование генома организма влияют другие факторы. Соответственно, для решения задач в этих взаимосвязанных областях, в том числе транскриптомике (изучение мРНК) и протеомике (изучение белков) были созданы новые направления научных исследований, в которых начали использовать Python.
https://habr.com/ru/post/546096/?utm_campaign=546096&utm_source=habrahabr&utm_medium=rss
Биология человека – невероятно сложная наука. Даже учитывая, что с каждым годом мы открываем всё больше секретов человеческого тела, получаемые нами ответы порождают всё большее количество вопросов. Завершение проекта "Геном человека" придало многим учёным уверенность в том, что с помощью геномики человечество сможет решить важные биологические проблемы. Однако, чем больше биологических тайн мы раскрываем, тем более отчётливо понимаем, что на использование генома организма влияют другие факторы. Соответственно, для решения задач в этих взаимосвязанных областях, в том числе транскриптомике (изучение мРНК) и протеомике (изучение белков) были созданы новые направления научных исследований, в которых начали использовать Python.