The Real Python Podcast – Episode #42: What Is Data Engineering and Researching 10 Million Jupyter Notebooks
https://realpython.com/podcasts/rpp/42/
https://realpython.com/podcasts/rpp/42/
Как быть билингвом в Data Science
https://habr.com/ru/post/536592/?utm_campaign=536592&utm_source=habrahabr&utm_medium=rss
В этой статье я хочу продемонстрировать R Markdown — удобную надстройку для программирования вашего проекта как на R, так и на Python, позволяющую программировать некоторые элементы вашего проекта на двух языках и управлять объектами, созданными на одном языке, с помощью другого языка.
https://habr.com/ru/post/536592/?utm_campaign=536592&utm_source=habrahabr&utm_medium=rss
В этой статье я хочу продемонстрировать R Markdown — удобную надстройку для программирования вашего проекта как на R, так и на Python, позволяющую программировать некоторые элементы вашего проекта на двух языках и управлять объектами, созданными на одном языке, с помощью другого языка.
StackOverflow: интересные вопросы за неделю (cclviii)
http://python-weekly.blogspot.com/2021/01/cclviii-stackoverflow-python-report.html
http://python-weekly.blogspot.com/2021/01/cclviii-stackoverflow-python-report.html
Анимации градиентного спуска и ландшафта потерь нейронных сетей
https://habr.com/ru/post/536606/?utm_campaign=536606&utm_source=habrahabr&utm_medium=rss
Во время изучения различных алгоритмов машинного обучения я наткнулся на ландшафт потерь нейронных сетей с их горными территориями, хребтами и долинами. Эти ландшафты потерь сильно отличались от выпуклых и гладких ландшафтов потерь, с которыми я столкнулся при использовании линейной (https://towardsdatascience.com/animations-of-multiple-linear-regression-with-python-73010a4d7b11) и логистической (https://towardsdatascience.com/animations-of-logistic-regression-with-python-31f8c9cb420) регрессий. Здесь мы создадим ландшафты потерь нейронных сетей и анимированного градиентного спуска с помощью датасета MNIST (http://yann.lecun.com/exdb/mnist/).
https://habr.com/ru/post/536606/?utm_campaign=536606&utm_source=habrahabr&utm_medium=rss
Во время изучения различных алгоритмов машинного обучения я наткнулся на ландшафт потерь нейронных сетей с их горными территориями, хребтами и долинами. Эти ландшафты потерь сильно отличались от выпуклых и гладких ландшафтов потерь, с которыми я столкнулся при использовании линейной (https://towardsdatascience.com/animations-of-multiple-linear-regression-with-python-73010a4d7b11) и логистической (https://towardsdatascience.com/animations-of-logistic-regression-with-python-31f8c9cb420) регрессий. Здесь мы создадим ландшафты потерь нейронных сетей и анимированного градиентного спуска с помощью датасета MNIST (http://yann.lecun.com/exdb/mnist/).
#python #pydigest
Сборник Python новостей уже перед вами.
В выпуске Python Дайджест вы найдете:
- DALL · E от OpenAi: Генерация изображений из текста
- Генерация дефолтных Github аватарок
- Анализ тональности с помощью Dostoevsky
- Как я научила свой компьютер играть в пары используя OpenCV и Глубокое обучение
- Нейросети в большом городе. Разбираемся, как они помогают идентифицировать людей
- Как экономить память и удваивать размеры моделей PyTorch с новым методом Sharded
- OpenCV Augmented Reality (AR)
- Визуализация пересечений и перекрытий
- Django bugfix release: 3.1.5
Заходите в гости - https://pythondigest.ru/issue/368/
Присылайте интересные новости через форму на сайте.
Сборник Python новостей уже перед вами.
В выпуске Python Дайджест вы найдете:
- DALL · E от OpenAi: Генерация изображений из текста
- Генерация дефолтных Github аватарок
- Анализ тональности с помощью Dostoevsky
- Как я научила свой компьютер играть в пары используя OpenCV и Глубокое обучение
- Нейросети в большом городе. Разбираемся, как они помогают идентифицировать людей
- Как экономить память и удваивать размеры моделей PyTorch с новым методом Sharded
- OpenCV Augmented Reality (AR)
- Визуализация пересечений и перекрытий
- Django bugfix release: 3.1.5
Заходите в гости - https://pythondigest.ru/issue/368/
Присылайте интересные новости через форму на сайте.
Python Digest
Выпуск 368
Новый выпуск еженедельного дайджеста новостей о #python уже в эфире!
Используем аналог s3 на localhost - MinIO для хранения файлов
https://rogs.me/2021/01/using-minio-to-upload-to-a-local-s3-bucket-in-django/
https://rogs.me/2021/01/using-minio-to-upload-to-a-local-s3-bucket-in-django/
Implementing FastAPI services – Abstraction and separation of concerns
https://camillovisini.com/article/abstracting-fastapi-services/
https://camillovisini.com/article/abstracting-fastapi-services/
Клиент-серверный IPC на multiprocessing
https://habr.com/ru/post/536766/?utm_campaign=536766&utm_source=habrahabr&utm_medium=rss
Статья отражает личный опыт разработки CLI приложения для Linux.
В ней рассмотрен способ выполнения привилегированных системных вызовов процессом суперпользователя по запросам управляющей программы через строго описанный API.
Исходный код написан на Python для реального коммерческого приложения, но для публикации абстрагирован от конкретных задач.
https://habr.com/ru/post/536766/?utm_campaign=536766&utm_source=habrahabr&utm_medium=rss
Статья отражает личный опыт разработки CLI приложения для Linux.
В ней рассмотрен способ выполнения привилегированных системных вызовов процессом суперпользователя по запросам управляющей программы через строго описанный API.
Исходный код написан на Python для реального коммерческого приложения, но для публикации абстрагирован от конкретных задач.
Чистый Cython VS nvc++: жжем металлические пластины на GPU для сравнения скорости
https://habr.com/ru/post/536824/?utm_campaign=536824&utm_source=habrahabr&utm_medium=rss
Все знают, что Python не блещет скоростью сам по себе. На мой взгляд язык прекрасен своей читабельностью, но основная ниша его применения там, где вы большую часть времени ожидаете ввода/вывода каких-то данных. Условно, вы можете написать суперпроизводительный код на Rust или С, но 99% времени он будет просто ждать.
Возьмем две задачи: сортировку чисел и метод Якоби, которым будем рассчитывать нагрев металлической пластины.
https://habr.com/ru/post/536824/?utm_campaign=536824&utm_source=habrahabr&utm_medium=rss
Все знают, что Python не блещет скоростью сам по себе. На мой взгляд язык прекрасен своей читабельностью, но основная ниша его применения там, где вы большую часть времени ожидаете ввода/вывода каких-то данных. Условно, вы можете написать суперпроизводительный код на Rust или С, но 99% времени он будет просто ждать.
Возьмем две задачи: сортировку чисел и метод Якоби, которым будем рассчитывать нагрев металлической пластины.
Подборка статей о машинном обучении: кейсы, гайды и исследования за декабрь 2020
https://habr.com/ru/post/536794/?utm_campaign=536794&utm_source=habrahabr&utm_medium=rss
Последний месяц года нельзя назвать удачным моментом для масштабных анонсов, так как большинство переходит в режим “давайте уже после праздников”, но судя по этой насыщенной подборке в области машинного обучения, и в декабре во всю кипела работа. Поэтому с небольшой задержкой встречайте двенадцатый выпуск дайджеста, в котором мы расскажем о самом важном, что произошло в ML в конце 2020 года.
https://habr.com/ru/post/536794/?utm_campaign=536794&utm_source=habrahabr&utm_medium=rss
Последний месяц года нельзя назвать удачным моментом для масштабных анонсов, так как большинство переходит в режим “давайте уже после праздников”, но судя по этой насыщенной подборке в области машинного обучения, и в декабре во всю кипела работа. Поэтому с небольшой задержкой встречайте двенадцатый выпуск дайджеста, в котором мы расскажем о самом важном, что произошло в ML в конце 2020 года.
OpenCV Video Augmented Reality
https://www.pyimagesearch.com/2021/01/11/opencv-video-augmented-reality/
https://www.pyimagesearch.com/2021/01/11/opencv-video-augmented-reality/
fpdf2 2.2.0
https://chezsoi.org/lucas/blog/fpdf2-release-2-2-0.html
fpdf2 is a minimalist PDF creation library
https://chezsoi.org/lucas/blog/fpdf2-release-2-2-0.html
fpdf2 is a minimalist PDF creation library
Стилометрия, или как отличить Акунина от Булгакова с помощью 20 строк кода?
https://habr.com/ru/post/536858/?utm_campaign=536858&utm_source=habrahabr&utm_medium=rss
Довольно интересным направлением "прикладной статистики" и NLP (Natural Languages Processing а вовсе не то что многие сейчас подумали) является анализ текста. Появилось это направление задолго до компьютеров, и имело вполне практическую цель: определить автора того или иного текста. С помощью ПК это впрочем, гораздо легче и удобнее, да и результаты получаются весьма интересные. Посмотрим, какие закономерности можно выявить с помощью совсем простого кода на Python.
https://habr.com/ru/post/536858/?utm_campaign=536858&utm_source=habrahabr&utm_medium=rss
Довольно интересным направлением "прикладной статистики" и NLP (Natural Languages Processing а вовсе не то что многие сейчас подумали) является анализ текста. Появилось это направление задолго до компьютеров, и имело вполне практическую цель: определить автора того или иного текста. С помощью ПК это впрочем, гораздо легче и удобнее, да и результаты получаются весьма интересные. Посмотрим, какие закономерности можно выявить с помощью совсем простого кода на Python.
Talk Python to Me: #298 Building ML teams and finding ML jobs
https://talkpython.fm/episodes/show/298/building-ml-teams-and-finding-ml-jobs
Audio
https://talkpython.fm/episodes/show/298/building-ml-teams-and-finding-ml-jobs
Audio
Podcast.__init__: Project Scaffolding That Evolves With Your Software Using Copier
https://www.pythonpodcast.com/copier-project-scaffolding-episode-297/
Audio
https://www.pythonpodcast.com/copier-project-scaffolding-episode-297/
Audio
Пора избавляться от мышки или Hand Pose Estimation на базе LiDAR за 30 минут
https://habr.com/ru/post/536602/?utm_campaign=536602&utm_source=habrahabr&utm_medium=rss
Пока киберпанк еще не настолько вошел в нашу жизнь, и нейроинтерфейсы далеки от идеала, первым этапом на пути к будущему манипуляторов могут стать LiDAR (https://ru.wikipedia.org/wiki/%D0%9B%D0%B8%D0%B4%D0%B0%D1%80). Поэтому, чтобы не скучать на праздниках, я решил немного пофантазировать на тему средств управления компьютером и, предположительно, любым устройством, вплоть до экскаватора, космического корабля, дрона или кухонной плиты.
https://habr.com/ru/post/536602/?utm_campaign=536602&utm_source=habrahabr&utm_medium=rss
Пока киберпанк еще не настолько вошел в нашу жизнь, и нейроинтерфейсы далеки от идеала, первым этапом на пути к будущему манипуляторов могут стать LiDAR (https://ru.wikipedia.org/wiki/%D0%9B%D0%B8%D0%B4%D0%B0%D1%80). Поэтому, чтобы не скучать на праздниках, я решил немного пофантазировать на тему средств управления компьютером и, предположительно, любым устройством, вплоть до экскаватора, космического корабля, дрона или кухонной плиты.
Sentiment Analysis: First Steps With Python's NLTK Library
https://realpython.com/pyhton-nltk-sentiment-analysis/
https://realpython.com/pyhton-nltk-sentiment-analysis/
Python Bytes: #216 Container: Sort thyself!
https://pythonbytes.fm/episodes/show/216/container-sort-thyself
Audio
https://pythonbytes.fm/episodes/show/216/container-sort-thyself
Audio
Соревнование KAGGLE по определению риска дефолта заемщика. Разработка признаков
https://habr.com/ru/post/537124/?utm_campaign=537124&utm_source=habrahabr&utm_medium=rss
Соревнования Kaggle с использованием структурированных данных очень часто выигрывают специалисты по разработке признаков: побеждают те, кто может создавать наиболее полезные признаки из данных. Это представляет собой одну из закономерностей в машинном обучении: разработка признаков дает больший возврат инвестиций, чем построение модели и настройка гиперпараметров. Как говорит один из ведущих ученых в области машинного обучения – Эндрю Ын: «Прикладное машинное обучение — это в основном разработка признаков».
https://habr.com/ru/post/537124/?utm_campaign=537124&utm_source=habrahabr&utm_medium=rss
Соревнования Kaggle с использованием структурированных данных очень часто выигрывают специалисты по разработке признаков: побеждают те, кто может создавать наиболее полезные признаки из данных. Это представляет собой одну из закономерностей в машинном обучении: разработка признаков дает больший возврат инвестиций, чем построение модели и настройка гиперпараметров. Как говорит один из ведущих ученых в области машинного обучения – Эндрю Ын: «Прикладное машинное обучение — это в основном разработка признаков».
Скрапинг современных веб-сайтов без headless-браузеров
https://habr.com/ru/post/537174/?utm_campaign=537174&utm_source=habrahabr&utm_medium=rss
Многие разработчики считают скрапинг сложной, медленной и неудобной для масштабирования задачей, особенно при работе с headless-браузерами. По моему опыту, можно заниматься скрапингом современных веб-сайтов даже не пользуясь безголовыми браузерами. Это очень простой, быстрый и хорошо масштабируемый процесс.
Для его демонстрации вместо Selenium, Puppeteer или любого другого решения на основе безголовых браузеров мы просто используем запросы на Python. Я объясню, как можно скрапить информацию из публичных API, которые потребляет на фронтэнде большинство современных веб-сайтов.
https://habr.com/ru/post/537174/?utm_campaign=537174&utm_source=habrahabr&utm_medium=rss
Многие разработчики считают скрапинг сложной, медленной и неудобной для масштабирования задачей, особенно при работе с headless-браузерами. По моему опыту, можно заниматься скрапингом современных веб-сайтов даже не пользуясь безголовыми браузерами. Это очень простой, быстрый и хорошо масштабируемый процесс.
Для его демонстрации вместо Selenium, Puppeteer или любого другого решения на основе безголовых браузеров мы просто используем запросы на Python. Я объясню, как можно скрапить информацию из публичных API, которые потребляет на фронтэнде большинство современных веб-сайтов.
Мы опубликовали современный Voice Activity Detector и не только
https://habr.com/ru/post/537274/?utm_campaign=537274&utm_source=habrahabr&utm_medium=rss
Для решения задачи детекции голоса (Voice Activity Detector, VAD) существует довольно популярный инструмент от Google — webRTC VAD (https://github.com/wiseman/py-webrtcvad). Он нетребовательный по ресурсам и компактный, но его основной минус состоит в неустойчивости к шуму, большом числе ложноположительных срабатываний и невозможности тонкой настройки. Понятно, что если переформулировать задачу не в детекцию голоса, а в детекцию тишины (тишина — это отсутствие и голоса и шума), то она решается весьма тривиальными способами (порогом по энергии, например), но с теми же минусами и ограничениями. Что самое неприятное — зачастую такие решения являются хрупкими и какие-то хардкодные пороги не переносятся на другие домены.
https://habr.com/ru/post/537274/?utm_campaign=537274&utm_source=habrahabr&utm_medium=rss
Для решения задачи детекции голоса (Voice Activity Detector, VAD) существует довольно популярный инструмент от Google — webRTC VAD (https://github.com/wiseman/py-webrtcvad). Он нетребовательный по ресурсам и компактный, но его основной минус состоит в неустойчивости к шуму, большом числе ложноположительных срабатываний и невозможности тонкой настройки. Понятно, что если переформулировать задачу не в детекцию голоса, а в детекцию тишины (тишина — это отсутствие и голоса и шума), то она решается весьма тривиальными способами (порогом по энергии, например), но с теми же минусами и ограничениями. Что самое неприятное — зачастую такие решения являются хрупкими и какие-то хардкодные пороги не переносятся на другие домены.