Визуализация и анализ белков в Biopython
https://habr.com/ru/post/546096/?utm_campaign=546096&utm_source=habrahabr&utm_medium=rss
Биология человека – невероятно сложная наука. Даже учитывая, что с каждым годом мы открываем всё больше секретов человеческого тела, получаемые нами ответы порождают всё большее количество вопросов. Завершение проекта "Геном человека" придало многим учёным уверенность в том, что с помощью геномики человечество сможет решить важные биологические проблемы. Однако, чем больше биологических тайн мы раскрываем, тем более отчётливо понимаем, что на использование генома организма влияют другие факторы. Соответственно, для решения задач в этих взаимосвязанных областях, в том числе транскриптомике (изучение мРНК) и протеомике (изучение белков) были созданы новые направления научных исследований, в которых начали использовать Python.
https://habr.com/ru/post/546096/?utm_campaign=546096&utm_source=habrahabr&utm_medium=rss
Биология человека – невероятно сложная наука. Даже учитывая, что с каждым годом мы открываем всё больше секретов человеческого тела, получаемые нами ответы порождают всё большее количество вопросов. Завершение проекта "Геном человека" придало многим учёным уверенность в том, что с помощью геномики человечество сможет решить важные биологические проблемы. Однако, чем больше биологических тайн мы раскрываем, тем более отчётливо понимаем, что на использование генома организма влияют другие факторы. Соответственно, для решения задач в этих взаимосвязанных областях, в том числе транскриптомике (изучение мРНК) и протеомике (изучение белков) были созданы новые направления научных исследований, в которых начали использовать Python.
Обрезаем большую таблицу PostgreSQL в production
https://habr.com/ru/post/546008/?utm_campaign=546008&utm_source=habrahabr&utm_medium=rss
Всем привет. Сегодня я хотел бы поделиться рецептом по обрезанию большой таблицы PostgreSQL в production. Пример: мы имеем в продовой БД достаточно большую таблицу с именем task (несколько сотен миллионов строк) с устаревшими данными, которые нам уже не нужны. Точнее, они мешают — БД долго дампится, а индексы становятся неэффективными. Мы хотим обрезать эту таблицу (удалить старые строки ранее определенной даты). Для простоты предположим, что в базе нет входящих foreign key на таблицу task (при их наличии решение задачи немного усложняется).
https://habr.com/ru/post/546008/?utm_campaign=546008&utm_source=habrahabr&utm_medium=rss
Всем привет. Сегодня я хотел бы поделиться рецептом по обрезанию большой таблицы PostgreSQL в production. Пример: мы имеем в продовой БД достаточно большую таблицу с именем task (несколько сотен миллионов строк) с устаревшими данными, которые нам уже не нужны. Точнее, они мешают — БД долго дампится, а индексы становятся неэффективными. Мы хотим обрезать эту таблицу (удалить старые строки ранее определенной даты). Для простоты предположим, что в базе нет входящих foreign key на таблицу task (при их наличии решение задачи немного усложняется).
Взлом reCAPTCHA v2
https://habr.com/ru/post/546464/?utm_campaign=546464&utm_source=habrahabr&utm_medium=rss
Назойливая игра - разметка данных для google. Если, занимаетесь сбором доступной информации с ресурсов, не принадлежащим вам, и не сумели реализовать решение для преодоления этой преграды, советы от начинающего разработчика вам помогут. Опишу один из способов, основанный на детекторе объектов, хорошо справляется с типом 4x4, хуже с 3x3. Использую архитектуру YOLO, "золотая середина" точности/производительности, подход одинаков для всех детекторов. В коммерческом продукте стоит использовать "ансамбль" нейронных сетей, к детектору добавить классификацию каждой ячейки, это повысит общую точность с приемлемой производительностью. Также эту задачу можно решить, использую обучение с подкреплением A2C/DQN или любую современную архитектуру, трансформеры, генеративно-состязательные сети.
https://habr.com/ru/post/546464/?utm_campaign=546464&utm_source=habrahabr&utm_medium=rss
Назойливая игра - разметка данных для google. Если, занимаетесь сбором доступной информации с ресурсов, не принадлежащим вам, и не сумели реализовать решение для преодоления этой преграды, советы от начинающего разработчика вам помогут. Опишу один из способов, основанный на детекторе объектов, хорошо справляется с типом 4x4, хуже с 3x3. Использую архитектуру YOLO, "золотая середина" точности/производительности, подход одинаков для всех детекторов. В коммерческом продукте стоит использовать "ансамбль" нейронных сетей, к детектору добавить классификацию каждой ячейки, это повысит общую точность с приемлемой производительностью. Также эту задачу можно решить, использую обучение с подкреплением A2C/DQN или любую современную архитектуру, трансформеры, генеративно-состязательные сети.
Python Bytes: #224 Join us on a Python adventure back to 1977
https://pythonbytes.fm/episodes/show/224/join-us-on-a-python-adventure-back-to-1977
Audio
https://pythonbytes.fm/episodes/show/224/join-us-on-a-python-adventure-back-to-1977
Audio
Пишем расширение для Burp Suite с помощью Python
https://habr.com/ru/post/546476/?utm_campaign=546476&utm_source=habrahabr&utm_medium=rss
Думаю многие знают о таком инструменте, как Burp Suite от PortSwigger. Burp Suite – популярная платформа для проведения аудита безопасности веб-приложений. Помимо того, что Burp и так содержит тонну полезных функций, он еще и дает возможность пользователям создавать свои расширения, позволяющие невероятно увеличить встроенный функционал приложения.
Однако, статей по созданию расширений на Python в интернете не так и много, думаю, здесь сказалось то, что Burp написан на Java, и документация для расширений, естественно, описывает работу с Java. Но что поделать, расширения очень нужны и помогают получить преимущество, если речь идет о Bug Bounty. Так что предлагаю сегодня рассмотреть азы создания расширений для Burp Suite на Python, а писать мы будем непосредственно сканер CORS misconfiguration.
https://habr.com/ru/post/546476/?utm_campaign=546476&utm_source=habrahabr&utm_medium=rss
Думаю многие знают о таком инструменте, как Burp Suite от PortSwigger. Burp Suite – популярная платформа для проведения аудита безопасности веб-приложений. Помимо того, что Burp и так содержит тонну полезных функций, он еще и дает возможность пользователям создавать свои расширения, позволяющие невероятно увеличить встроенный функционал приложения.
Однако, статей по созданию расширений на Python в интернете не так и много, думаю, здесь сказалось то, что Burp написан на Java, и документация для расширений, естественно, описывает работу с Java. Но что поделать, расширения очень нужны и помогают получить преимущество, если речь идет о Bug Bounty. Так что предлагаю сегодня рассмотреть азы создания расширений для Burp Suite на Python, а писать мы будем непосредственно сканер CORS misconfiguration.
10 лучших игр по программированию, которые улучшат ваши навыки
https://habr.com/ru/post/546102/?utm_campaign=546102&utm_source=habrahabr&utm_medium=rss
Вы помните далёкие дни из детства, когда вы, проводили целый день, а иногда даже не ели целый день, чтобы поиграть в игры на Nintendo? (Ах, дни Mario и Contra!!!)
С того времени игры претерпели гигантские преобразования и сфера стала более обширной. Это уже не просто хобби. Сейчас в Интернете доступно множество игр, связанных с программированием, и вы можете использовать их чтобы изучить и отточить свои скилы в увлекательной форме. Более того, эти игры могут помочь вам улучшить навыки решения задач, поскольку вам нужно будет решать задачи различной сложности, а также соревноваться с другими опытными программистами по всему миру. Специально к старту новых потоков курсов Fullstack-разработчик на Python (https://skillfactory.ru/python-fullstack-web-developer?utm_source=infopartners&utm_medium=habr&utm_campaign=habr_FPW&utm_term=regular&utm_content=110321), разработка на C# (https://skillfactory.ru/csharp?utm_source=infopartners&utm_medium=habr&utm_campaign=habr_CDEV&utm_term=regular&utm_content=110321) и разработка на Java (https://skillfactory.ru/java?utm_source=infopartners&utm_medium=habr&utm_campaign=habr_JAVA&utm_term=regular&utm_content=110321), в этой статье мы отобрали несколько таких игр, играя в которые можно параллельно качать и себя самого.
https://habr.com/ru/post/546102/?utm_campaign=546102&utm_source=habrahabr&utm_medium=rss
Вы помните далёкие дни из детства, когда вы, проводили целый день, а иногда даже не ели целый день, чтобы поиграть в игры на Nintendo? (Ах, дни Mario и Contra!!!)
С того времени игры претерпели гигантские преобразования и сфера стала более обширной. Это уже не просто хобби. Сейчас в Интернете доступно множество игр, связанных с программированием, и вы можете использовать их чтобы изучить и отточить свои скилы в увлекательной форме. Более того, эти игры могут помочь вам улучшить навыки решения задач, поскольку вам нужно будет решать задачи различной сложности, а также соревноваться с другими опытными программистами по всему миру. Специально к старту новых потоков курсов Fullstack-разработчик на Python (https://skillfactory.ru/python-fullstack-web-developer?utm_source=infopartners&utm_medium=habr&utm_campaign=habr_FPW&utm_term=regular&utm_content=110321), разработка на C# (https://skillfactory.ru/csharp?utm_source=infopartners&utm_medium=habr&utm_campaign=habr_CDEV&utm_term=regular&utm_content=110321) и разработка на Java (https://skillfactory.ru/java?utm_source=infopartners&utm_medium=habr&utm_campaign=habr_JAVA&utm_term=regular&utm_content=110321), в этой статье мы отобрали несколько таких игр, играя в которые можно параллельно качать и себя самого.
Talk Python to Me: #307 Python from 1994 to 2021, my how you've grown!
https://talkpython.fm/episodes/show/307/python-from-1994-to-2021-my-how-youve-grown
Audio
https://talkpython.fm/episodes/show/307/python-from-1994-to-2021-my-how-youve-grown
Audio
Трепещущий Kivy. Обзор возможностей фреймворка Kivy и библиотеки KivyMD
https://habr.com/ru/post/546684/?utm_campaign=546684&utm_source=habrahabr&utm_medium=rss
Kivy и Flutter — два фреймворка с открытым исходным кодом для кроссплатформенной разработки.
https://habr.com/ru/post/546684/?utm_campaign=546684&utm_source=habrahabr&utm_medium=rss
Kivy и Flutter — два фреймворка с открытым исходным кодом для кроссплатформенной разработки.
Кроссплатформенные OpenGL + Python при помощи Kivy
https://habr.com/ru/post/546682/?utm_campaign=546682&utm_source=habrahabr&utm_medium=rss
Будучи наивным чукотским программистом, я думал: "питон такой кроссплатформенный, напишу игрушку для сына, запущу на планшетике, пусть играется". В результате две недели ушло на попытки натыкать решение по переезду с PyOpenGL+pygame на kivy, так как внятного примера использования OpenGL с kivy не нашел. Возможно, кому-то мой опыт поможет сэкономить время.
https://habr.com/ru/post/546682/?utm_campaign=546682&utm_source=habrahabr&utm_medium=rss
Будучи наивным чукотским программистом, я думал: "питон такой кроссплатформенный, напишу игрушку для сына, запущу на планшетике, пусть играется". В результате две недели ушло на попытки натыкать решение по переезду с PyOpenGL+pygame на kivy, так как внятного примера использования OpenGL с kivy не нашел. Возможно, кому-то мой опыт поможет сэкономить время.
Apache Airflow и XCom
http://khashtamov.com/ru/apache-airflow-xcom/
XCom или Cross-Communication, это механизм Apache Airflow (https://khashtamov.com/ru/apache-airflow-introduction/) для передачи параметров из одного оператора в другой. Если просто, то это таблица в базе данных, хранящая значения, записанные операторами Airflow
http://khashtamov.com/ru/apache-airflow-xcom/
XCom или Cross-Communication, это механизм Apache Airflow (https://khashtamov.com/ru/apache-airflow-introduction/) для передачи параметров из одного оператора в другой. Если просто, то это таблица в базе данных, хранящая значения, записанные операторами Airflow
The Real Python Podcast – Episode #51: Navigating Options for Deploying Your Python Application
https://realpython.com/podcasts/rpp/51/
https://realpython.com/podcasts/rpp/51/
PyQt6 vs PySide6: What's the difference between the two Python Qt libraries?
https://www.learnpyqt.com/blog/pyqt6-vs-pyside6/
https://www.learnpyqt.com/blog/pyqt6-vs-pyside6/
Friendly 0.3
https://aroberge.blogspot.com/2021/03/friendly-version-03-has-been-released.html
Пакет для повышения внятности исключений
https://aroberge.blogspot.com/2021/03/friendly-version-03-has-been-released.html
Пакет для повышения внятности исключений
Играем с CLIP. Создаем универсальный zero-shot классификатор на Android
https://habr.com/ru/post/546586/?utm_campaign=546586&utm_source=habrahabr&utm_medium=rss
Эта статья является дополненной и сильно расширенной версией моей статьи в TowardsDataScience (https://towardsdatascience.com/can-a-single-one-replace-all-image-neural-classifier-apps-a-fun-with-clip-cdaa4c4edd84) о создании приложения, использующем новейшую мультимодальную нейросеть от OpenAI
https://habr.com/ru/post/546586/?utm_campaign=546586&utm_source=habrahabr&utm_medium=rss
Эта статья является дополненной и сильно расширенной версией моей статьи в TowardsDataScience (https://towardsdatascience.com/can-a-single-one-replace-all-image-neural-classifier-apps-a-fun-with-clip-cdaa4c4edd84) о создании приложения, использующем новейшую мультимодальную нейросеть от OpenAI
Tesseract vs таблицы. Распознавание документов
https://habr.com/ru/post/546824/?utm_campaign=546824&utm_source=habrahabr&utm_medium=rss
Несмотря на цифровизацию всего и вся, во время когда человечество стоит на пороге создания нейроинтерфейса, когда ИИ стало обыденностью, классическая задача получения данных со скана/картинки до сих пор актуальна.
https://habr.com/ru/post/546824/?utm_campaign=546824&utm_source=habrahabr&utm_medium=rss
Несмотря на цифровизацию всего и вся, во время когда человечество стоит на пороге создания нейроинтерфейса, когда ИИ стало обыденностью, классическая задача получения данных со скана/картинки до сих пор актуальна.
C и Python: мост между мирами
https://habr.com/ru/post/543636/?utm_campaign=543636&utm_source=habrahabr&utm_medium=rss
Вам интересно подключить всю мощь Python в свою программу на C? Отлично: в статье содержится минимальный крэш-курс по подключению интерпретатора Python, загрузке своего кода и взаимодействию с ним из программы на C.
https://habr.com/ru/post/543636/?utm_campaign=543636&utm_source=habrahabr&utm_medium=rss
Вам интересно подключить всю мощь Python в свою программу на C? Отлично: в статье содержится минимальный крэш-курс по подключению интерпретатора Python, загрузке своего кода и взаимодействию с ним из программы на C.
#python #pydigest
Сборник Python новостей уже перед вами.
В выпуске Python Дайджест вы найдете:
- Маленькие Python для маленьких embedded-программистов: CircuitPython и MicroPython для MeowBit
- Трассировщик лучей с нуля за 100 строчек Python
- Кроссплатформенные OpenGL + Python при помощи Kivy
- Пишем расширение для Burp Suite с помощью Python
- Обрезаем большую таблицу PostgreSQL в production
- Визуализация и анализ белков в Biopython
- Apache Airflow и XCom
Заходите в гости - https://pythondigest.ru/issue/377/
Присылайте интересные новости через форму на сайте.
Сборник Python новостей уже перед вами.
В выпуске Python Дайджест вы найдете:
- Маленькие Python для маленьких embedded-программистов: CircuitPython и MicroPython для MeowBit
- Трассировщик лучей с нуля за 100 строчек Python
- Кроссплатформенные OpenGL + Python при помощи Kivy
- Пишем расширение для Burp Suite с помощью Python
- Обрезаем большую таблицу PostgreSQL в production
- Визуализация и анализ белков в Biopython
- Apache Airflow и XCom
Заходите в гости - https://pythondigest.ru/issue/377/
Присылайте интересные новости через форму на сайте.
Python Digest
Выпуск 377
Новый выпуск еженедельного дайджеста новостей о #python уже в эфире!
#python #pydigest
Сборник Python новостей уже перед вами.
В выпуске Python Дайджест вы найдете:
- Визуализируйте многопоточные программы Python с open source инструментом – VizTracer
- Как юристы на kad.arbitr клиентов искали
- Однажды Microsoft забанила всю мою страну за читерство
- Создание образа Мона Лизы в Игре «Жизнь»
- Масштабируемый Продакшн-реди Телеграм бот на Django
- OpenCV в Python. Часть 4
- Pattern matching. Теперь и в Python
- PyCharm 2020.3.4
Заходите в гости - https://pythondigest.ru/issue/378/
Присылайте интересные новости через форму на сайте.
Сборник Python новостей уже перед вами.
В выпуске Python Дайджест вы найдете:
- Визуализируйте многопоточные программы Python с open source инструментом – VizTracer
- Как юристы на kad.arbitr клиентов искали
- Однажды Microsoft забанила всю мою страну за читерство
- Создание образа Мона Лизы в Игре «Жизнь»
- Масштабируемый Продакшн-реди Телеграм бот на Django
- OpenCV в Python. Часть 4
- Pattern matching. Теперь и в Python
- PyCharm 2020.3.4
Заходите в гости - https://pythondigest.ru/issue/378/
Присылайте интересные новости через форму на сайте.
Python Digest
Выпуск 378
Новый выпуск еженедельного дайджеста новостей о #python уже в эфире!
[Перевод] Визуализируйте многопоточные программы Python с open source инструментом – VizTracer
https://habr.com/ru/post/545530/?utm_campaign=545530&utm_source=habrahabr&utm_medium=rss
VizTracer – инструмент отслеживания и визуализации написанных на Python программ, который помогает логировать, отлаживать и профилировать код. Хотя он хорошо работает в однопоточных программах с одной задачей, польза от него в смысле конкурентных программ делает инструмент уникальным.
https://habr.com/ru/post/545530/?utm_campaign=545530&utm_source=habrahabr&utm_medium=rss
VizTracer – инструмент отслеживания и визуализации написанных на Python программ, который помогает логировать, отлаживать и профилировать код. Хотя он хорошо работает в однопоточных программах с одной задачей, польза от него в смысле конкурентных программ делает инструмент уникальным.