Подборка инструментов инженера данных под разные задачи.
Взгляните, вдруг всё это время вы забивали гвозди микроскопом?
А если вы хотите сделать архитектуру данных на работе ещё мощнее — обратите внимание на курс Яндекс Практикума.
Пройдите тест в бесплатной вводной части курса, чтобы понять, подходит ли вам программа.
Взгляните, вдруг всё это время вы забивали гвозди микроскопом?
А если вы хотите сделать архитектуру данных на работе ещё мощнее — обратите внимание на курс Яндекс Практикума.
Пройдите тест в бесплатной вводной части курса, чтобы понять, подходит ли вам программа.
👍4
This media is not supported in your browser
VIEW IN TELEGRAM
Когда хочешь начать изучение Golang
🔥18👎4👍1
🔥 В репозитории PyPI выявлены вредоносные пакеты, нацеленные на кражу криптовалюты
В каталоге PyPI (Python Package Index) выявлено 26 вредоносных пакетов, содержащих в скрипте setup.py обфусцированный код, определяющий наличие идентификаторов криптокошельков в буфере обмена и меняющий их на кошелёк злоумышленника (предполагается, что при совершении оплаты жертва не заметит, что перенесённый через буфер обмена номер кошелька отличается).
⁉️
Подробнее: https://www.opennet.ru/opennews/art.shtml?num=58067
В каталоге PyPI (Python Package Index) выявлено 26 вредоносных пакетов, содержащих в скрипте setup.py обфусцированный код, определяющий наличие идентификаторов криптокошельков в буфере обмена и меняющий их на кошелёк злоумышленника (предполагается, что при совершении оплаты жертва не заметит, что перенесённый через буфер обмена номер кошелька отличается).
⁉️
pip install totally-not-virus-trust-me-im-a-dolphinПодробнее: https://www.opennet.ru/opennews/art.shtml?num=58067
🔥11👍7👎2
Ищем Python разработчика. Релокейт, удалёнка, высокая зарплата!
Специально для Вас, собираем лучшие вакансии для Python разработчиков на канале @python_job_board.
Подпишись чтобы не упустить свой шанс получить лучший оффер!
Специально для Вас, собираем лучшие вакансии для Python разработчиков на канале @python_job_board.
Подпишись чтобы не упустить свой шанс получить лучший оффер!
👍4👎3🔥1
Генерируем музыку с помощью Stable Diffusion 🎸
Многие уже слышали, а может и пробовали модель Stable Diffusion для генерации картинок из текста. Теперь ту же модель можно использовать для генерации музыки! Модель была дообучена на задаче генерации спектрограмм по входной строке.
🎯 Чат: @python_noscripts
🎯 Канал: @pip_install
Подробнее: https://habr.com/ru/post/706168/
Многие уже слышали, а может и пробовали модель Stable Diffusion для генерации картинок из текста. Теперь ту же модель можно использовать для генерации музыки! Модель была дообучена на задаче генерации спектрограмм по входной строке.
🎯 Чат: @python_noscripts
🎯 Канал: @pip_install
Подробнее: https://habr.com/ru/post/706168/
👍11
Утечка исходных кодов сервисов Яндекс
25 января 2023 в сети появились исходные коды и сопутствующие им данные множества сервисов и программ компании Яндекс. Раздача содержит отдельные архивы (.tar.bz2), по названиям которых можно идентифицировать соответствующие сервисы Яндекса.
Общий объём архивов (в сжатом виде) составляет более 44.7 ГБ.
В основном всё на Python 2.7 (дед всё еще жив!)
Подробнее: https://habr.com/ru/news/t/712888/
Изначальная тема слива:https://breached.vc/Thread-yandex-git-sources
25 января 2023 в сети появились исходные коды и сопутствующие им данные множества сервисов и программ компании Яндекс. Раздача содержит отдельные архивы (.tar.bz2), по названиям которых можно идентифицировать соответствующие сервисы Яндекса.
Общий объём архивов (в сжатом виде) составляет более 44.7 ГБ.
В основном всё на Python 2.7 (дед всё еще жив!)
Подробнее: https://habr.com/ru/news/t/712888/
Изначальная тема слива:
🔥12
ChatGpt - завел телеграм!
Нейросеть пишет новостные статьи, решает задачи для университета, пишет код и отвечает на любые вопросы.
Машинное обучение — канал, где научать создавать нейросети и пользоваться самыми новыми из них для решения любых задач.
Python — все возможные вопросы и задачи с реальных Python собеседований.
ML interview — разбор практических задач Data Science с собеседований крупнейших компаний.
Нейросеть пишет новостные статьи, решает задачи для университета, пишет код и отвечает на любые вопросы.
Машинное обучение — канал, где научать создавать нейросети и пользоваться самыми новыми из них для решения любых задач.
Python — все возможные вопросы и задачи с реальных Python собеседований.
ML interview — разбор практических задач Data Science с собеседований крупнейших компаний.
👍10👎8🔥5
Как сделать торгового робота для Binance
Уже изучив много библиотек и примеров за долгое время написания своих торговых роботов, решил сделать небольшую библиотеку backtrader_binance для интеграции API Binance и библиотеки тестирования торговых стратегий Backtrader.
Вот с помощью backtrader_binance, сейчас и создадим алго-робота для торговли BTC и ETH.
🎯 Чат: @python_noscripts
🎯 Канал: @pip_install
Подробнее: https://habr.com/ru/articles/729036/
Уже изучив много библиотек и примеров за долгое время написания своих торговых роботов, решил сделать небольшую библиотеку backtrader_binance для интеграции API Binance и библиотеки тестирования торговых стратегий Backtrader.
Вот с помощью backtrader_binance, сейчас и создадим алго-робота для торговли BTC и ETH.
🎯 Чат: @python_noscripts
🎯 Канал: @pip_install
Подробнее: https://habr.com/ru/articles/729036/
👍19🔥4
🔥 Год ожиданий — и мы получили Python 3.12. Изменения, новшества и дополнения
Новую версию Python многие разработчики ожидали с нетерпением. Кто-то и не ждал, поскольку вполне достаточно было возможностей прежней версии. Но Python 3.12 таки выпустили, сейчас стало известно, что эту ветку будут поддерживать полтора года, а потом для нее станут формировать исправления для устранения уязвимостей — в течение еще трех с половиной лет.
🎯 Чат: @python_noscripts
🎯 Канал: @pip_install
🌍 Статья: https://habr.com/ru/companies/selectel/articles/761914/
Новую версию Python многие разработчики ожидали с нетерпением. Кто-то и не ждал, поскольку вполне достаточно было возможностей прежней версии. Но Python 3.12 таки выпустили, сейчас стало известно, что эту ветку будут поддерживать полтора года, а потом для нее станут формировать исправления для устранения уязвимостей — в течение еще трех с половиной лет.
🎯 Чат: @python_noscripts
🎯 Канал: @pip_install
🌍 Статья: https://habr.com/ru/companies/selectel/articles/761914/
👍15🔥10
Мега-Учебник Flask
Чат: @python_noscripts
Канал: @pip_install
В этот раз автор выпустил весь учебник сразу, а не постепенно как издание 2018, постараюсь со стабильной периодичностью выпускать продолжение. Перед выпуском новой статьи весь материал будет обязательно проверен на практике.
Глава 1: Привет, мир! (издание 2024)
Глава 2: Шаблоны
Глава 3: Веб-формы
Глава 4: База данных
Глава 5: Логины пользователей
Чат: @python_noscripts
Канал: @pip_install
В этот раз автор выпустил весь учебник сразу, а не постепенно как издание 2018, постараюсь со стабильной периодичностью выпускать продолжение. Перед выпуском новой статьи весь материал будет обязательно проверен на практике.
Глава 1: Привет, мир! (издание 2024)
Глава 2: Шаблоны
Глава 3: Веб-формы
Глава 4: База данных
Глава 5: Логины пользователей
👍38
Написал больше 20 парсеров на Python?
Нужен разработчик для написания парсеров!
У нас есть периодические задачи на разработку парсеров и обслуживание.
Долгосрочное сотрудничество в формате фриланса но в рамках одного проекта.
Требования:
- BeautifulSoup, request, aiohttp
- Опыт работы с Redis/MongoDB и обработкой данных объемом 1+ млн записей.
- Умение писать чистый, структурированный код, который легко поддерживать.
Оплата: простые парсеры — от 2000 рублей, сложные обсуждаем отдельно.
Готов работать? Тогда напиши мне @jetpack101
Нужен разработчик для написания парсеров!
У нас есть периодические задачи на разработку парсеров и обслуживание.
Долгосрочное сотрудничество в формате фриланса но в рамках одного проекта.
Требования:
- BeautifulSoup, request, aiohttp
- Опыт работы с Redis/MongoDB и обработкой данных объемом 1+ млн записей.
- Умение писать чистый, структурированный код, который легко поддерживать.
Оплата: простые парсеры — от 2000 рублей, сложные обсуждаем отдельно.
Готов работать? Тогда напиши мне @jetpack101
👎20👍10🔥2
⭐️ Шаблонные строки в Python 3.14: полное руководство по использованию t-строк
Шаблонные строки в Python 3.14 — это не замена f-строкам, а их эволюция для более продвинутых и контролируемых сценариев использования.
Если f-строки отдают приоритет простоте и немедленному выводу, то t-строки фокусируются на структуре, безопасности и гибкости.
Основные случаи использования включают:
- Безопасная генерация shell-команд (с санитизацией ввода)
- Структурированное логирование (представление полей как данных, а не просто строк)
- HTML-шаблонизация с безопасным экранированием
- Пользовательские DSL или генераторы конфигураций
- Составные строковые шаблоны для повторного использования в различных системах
🌍 Подробнее: https://python-noscripts.com/t-template-strings
Чат: @python_noscripts
Канал: @pip_install
Шаблонные строки в Python 3.14 — это не замена f-строкам, а их эволюция для более продвинутых и контролируемых сценариев использования.
Если f-строки отдают приоритет простоте и немедленному выводу, то t-строки фокусируются на структуре, безопасности и гибкости.
Основные случаи использования включают:
- Безопасная генерация shell-команд (с санитизацией ввода)
- Структурированное логирование (представление полей как данных, а не просто строк)
- HTML-шаблонизация с безопасным экранированием
- Пользовательские DSL или генераторы конфигураций
- Составные строковые шаблоны для повторного использования в различных системах
🌍 Подробнее: https://python-noscripts.com/t-template-strings
Чат: @python_noscripts
Канал: @pip_install
👍10🔥5
📢 Production Python Engineer (Refactor/Architecture) антифрод‑пайплайн.
Мы разрабатываем сложную систему анализа сетевых аномалий. У нас мощный R&D: мы умеем детектировать ботов, VPN и прокси по сетевым отпечаткам.
Текущая задача: У нас есть работающий код (написанный исследователями), который нужно превратить в надежный инженерный продукт. Нам нужен человек, который наведет порядок, внедрит архитектуру и типизацию.
### Задачи:
1. Глубокий рефакторинг и стабилизация: Перевод с неструктурированных
2. Архитектура: Внедрение паттерна Pipeline с единым контекстом обработки (Парсинг → Обогащение → Детекция → Ответ). Цель — сделать логику прозрачной и модульной.
3. Оптимизация работы с БД: Ревизия взаимодействия с
4. Культура разработки: Внедрение:
### Наши ожидания:
- Python Strong: Глубокое понимание языка, ООП, паттернов проектирования. Ваш код, легко читать и поддерживать.
- Strict Typing: Частое использование аннотаций. Опыт работы с
- Architecture: Умение проектировать модульные системы. Понимание, как разделить бизнес-логику и инфраструктурный слой.
- AsyncIO & PostgreSQL: Опыт работы с асинхронностью и сложными SQL-запросами. Понимание транзакций и индексов.
- Testing: Опыт написания тестов (
- Git Culture: Умение работать с Git «чисто»: атомарные коммиты, понятные PR, интерактивный rebase.
### Soft skills:
- Устойчивость к рутине: Рефакторинг. Готовность методично распутывать клубок легаси-кода.
- «Инженерная эмпатия»: Способность прочитать чужой код (даже если он плохой), понять логику автора и переписать её правильно, не сломав бизнес-логику.
- Внимательность к деталям.
- Здоровый перфекционизм: Желание привести хаос к порядку.
### Будет большим плюсом:
- Глубокое понимание сетевых протоколов (
- Rule-based scoring, анализ “плавающей логики”.
- Опыт переноса Research-кода (
### Условия
- Удаленка - любое ГЕО, не требуется присутствие в офисе.
- Зарплата От 120 - 250 тыс. руб. на руки (возможна оплата в USDT), выплата - два раза в месяц.
- in-house продукт, в котором вы свободны и можете реализовать свои идеи.
- Доступ к самым передовым LLM (Sonnet 4.5, GPT-5.2).
- Дружный коллектив. Который ценит качество кода.
### Как откликнутся:
Заполнить форму https://forms.gle/5tVNBxsJ22b8NKCc8 , приложить свой гитхаб, рассказать о себе и своём опыте.
Мы разрабатываем сложную систему анализа сетевых аномалий. У нас мощный R&D: мы умеем детектировать ботов, VPN и прокси по сетевым отпечаткам.
Текущая задача: У нас есть работающий код (написанный исследователями), который нужно превратить в надежный инженерный продукт. Нам нужен человек, который наведет порядок, внедрит архитектуру и типизацию.
### Задачи:
1. Глубокий рефакторинг и стабилизация: Перевод с неструктурированных
словарей на строгие контракты данных (Pydantic/TypedDict).2. Архитектура: Внедрение паттерна Pipeline с единым контекстом обработки (Парсинг → Обогащение → Детекция → Ответ). Цель — сделать логику прозрачной и модульной.
3. Оптимизация работы с БД: Ревизия взаимодействия с
PostgreSQL (оптимизация структур, миграции).4. Культура разработки: Внедрение:
mypy, pytest, чистотой Git-истории.### Наши ожидания:
- Python Strong: Глубокое понимание языка, ООП, паттернов проектирования. Ваш код, легко читать и поддерживать.
- Strict Typing: Частое использование аннотаций. Опыт работы с
Pydantic (валидация данных на входе/выходе/внутри) и статическими анализаторами (mypy/ruff).- Architecture: Умение проектировать модульные системы. Понимание, как разделить бизнес-логику и инфраструктурный слой.
- AsyncIO & PostgreSQL: Опыт работы с асинхронностью и сложными SQL-запросами. Понимание транзакций и индексов.
- Testing: Опыт написания тестов (
pytest) не «для галочки», а для гарантии надежности при рефакторинге.- Git Culture: Умение работать с Git «чисто»: атомарные коммиты, понятные PR, интерактивный rebase.
### Soft skills:
- Устойчивость к рутине: Рефакторинг. Готовность методично распутывать клубок легаси-кода.
- «Инженерная эмпатия»: Способность прочитать чужой код (даже если он плохой), понять логику автора и переписать её правильно, не сломав бизнес-логику.
- Внимательность к деталям.
- Здоровый перфекционизм: Желание привести хаос к порядку.
### Будет большим плюсом:
- Глубокое понимание сетевых протоколов (
TCP/IP, TLS, HTTP/2).- Rule-based scoring, анализ “плавающей логики”.
- Опыт переноса Research-кода (
Jupyter Notebooks) в Production.### Условия
- Удаленка - любое ГЕО, не требуется присутствие в офисе.
- Зарплата От 120 - 250 тыс. руб. на руки (возможна оплата в USDT), выплата - два раза в месяц.
- in-house продукт, в котором вы свободны и можете реализовать свои идеи.
- Доступ к самым передовым LLM (Sonnet 4.5, GPT-5.2).
- Дружный коллектив. Который ценит качество кода.
### Как откликнутся:
Заполнить форму https://forms.gle/5tVNBxsJ22b8NKCc8 , приложить свой гитхаб, рассказать о себе и своём опыте.
👎5👍1🔥1
# pip install pinned «📢 Production Python Engineer (Refactor/Architecture) антифрод‑пайплайн. Мы разрабатываем сложную систему анализа сетевых аномалий. У нас мощный R&D: мы умеем детектировать ботов, VPN и прокси по сетевым отпечаткам. Текущая задача: У нас есть работающий код…»