В блоге Lyft вышла заключительная статья про использование gevent в их инфраструктуре: https://eng.lyft.com/applying-gevent-learnings-to-deliver-value-to-users-part-4-of-4-36ad932deea8
Gevent они используют как тип воркера для веб-сервера gunicorn, который обслуживает Flask микросервис для отдачи оферов с ценами на поездки.
Их сервис стал периодически выдавать высокий latency, ребята копнули глубже и поняли, что гринлеты, выполняющие CPU bound задачи, блокировали I/O bound гринлеты.
Решение: запускать их на отдельных gunicorn процессах 🥳
История странная, удивительно что они до сих пор живут на такой связке.
Gevent они используют как тип воркера для веб-сервера gunicorn, который обслуживает Flask микросервис для отдачи оферов с ценами на поездки.
Их сервис стал периодически выдавать высокий latency, ребята копнули глубже и поняли, что гринлеты, выполняющие CPU bound задачи, блокировали I/O bound гринлеты.
Решение: запускать их на отдельных gunicorn процессах 🥳
История странная, удивительно что они до сих пор живут на такой связке.
Medium
Applying gevent learnings to deliver value to users (Part 4 of 4)
Background
В сети стали появляться доклады с PyTexas Austin 2020, вот один из самых интересных: https://www.youtube.com/watch?v=2PDftKo-dKY
YouTube
The Amazing Mutable, Immutable Tuple and Other Philosophic Digressions (Al Sweigart)
Everyone knows Python tuples are immutable, but an immutable tuple that contains mutable objects is itself mutable. Or is it? What is immutability? Or equality? What is “is”? And what does Humpty Dumpty have to say about it? In this talk, we examine what…
Прочитал, что в компании Buffer среди сотрудников практикуется саббатикал: https://buffer.com/resources/sabbaticals/
Саббатикал это длительный отпуск главная цель которого сохранить ментальное здоровье человека, перезагрузиться и отдохнуть. Конкретно в Buffer сотрудник может получить оплачиваемый отпуск сроком на 6 недель после 5 лет работы в компании (помимо тех, что предусмотрены ТК).
Не так давно в канале я проводил опрос про выгорание, и 81% подписчиков (из 497 голосовавших) сказали, что хотя бы раз в жизни испытывали эмоциональное истощение. У меня также был опыт выгорания на работе, который закончился моим уходом. Последующие 3 месяца я отдыхал, путешествовал (поездка на PyCon US 2016) и бездельничал. Это возможно помогло мне не скатиться в более глубокую фазу и не сгореть окончательно. Всю эту ситуацию я рассматриваю как защитный механизм нашего организма, и если систематически игнорировать ранние симптомы эмоционального выгорания, то это может обернуться серьёзными проблемами со здоровьем. Эмпирическим путём для себя я вывел следующие симптомы:
- пониженная энергия (нет ни желания ни сил что-то делать), на этом этапе задачи, решение которых обычно занимает неделю, могут длиться месяц или больше. Достигается прокрастинация 80 уровня.
- раздражительность
- апатия, пояляется безразличие к работе, на поздних стадиях ко всему, что нас окружает
- тяга к вредной еде (особенно к сладкому)
Как ни странно, но в последние 3-4 месяца у меня стали проявляться всё те же симптомы (после 4-х лет работы в компании). Чтобы окончательно не выгореть, я взял для себя небольшой перерыв (от месяца до двух), т.н. саббатикал целью которого ставлю восстановление своего эмоционального и физического состояния. Буду каждый день заниматься спортом, больше читать и писать, проводить время с семьёй. Для меня отличными способами восстановления энергии являются длительные прогулки и/или пробежки.
Поделитесь, пожалуйста, своим опытом борьбы с выгоранием в обсуждениях, очень интересно узнать что работает для вас 💪
Саббатикал это длительный отпуск главная цель которого сохранить ментальное здоровье человека, перезагрузиться и отдохнуть. Конкретно в Buffer сотрудник может получить оплачиваемый отпуск сроком на 6 недель после 5 лет работы в компании (помимо тех, что предусмотрены ТК).
Не так давно в канале я проводил опрос про выгорание, и 81% подписчиков (из 497 голосовавших) сказали, что хотя бы раз в жизни испытывали эмоциональное истощение. У меня также был опыт выгорания на работе, который закончился моим уходом. Последующие 3 месяца я отдыхал, путешествовал (поездка на PyCon US 2016) и бездельничал. Это возможно помогло мне не скатиться в более глубокую фазу и не сгореть окончательно. Всю эту ситуацию я рассматриваю как защитный механизм нашего организма, и если систематически игнорировать ранние симптомы эмоционального выгорания, то это может обернуться серьёзными проблемами со здоровьем. Эмпирическим путём для себя я вывел следующие симптомы:
- пониженная энергия (нет ни желания ни сил что-то делать), на этом этапе задачи, решение которых обычно занимает неделю, могут длиться месяц или больше. Достигается прокрастинация 80 уровня.
- раздражительность
- апатия, пояляется безразличие к работе, на поздних стадиях ко всему, что нас окружает
- тяга к вредной еде (особенно к сладкому)
Как ни странно, но в последние 3-4 месяца у меня стали проявляться всё те же симптомы (после 4-х лет работы в компании). Чтобы окончательно не выгореть, я взял для себя небольшой перерыв (от месяца до двух), т.н. саббатикал целью которого ставлю восстановление своего эмоционального и физического состояния. Буду каждый день заниматься спортом, больше читать и писать, проводить время с семьёй. Для меня отличными способами восстановления энергии являются длительные прогулки и/или пробежки.
Поделитесь, пожалуйста, своим опытом борьбы с выгоранием в обсуждениях, очень интересно узнать что работает для вас 💪
Buffer: All-you-need social media toolkit for small businesses
The Power of the Pause: Introducing Sabbaticals at Buffer
To set Buffer up for long-term success, we’re introducing sabbaticals. After 5 years of working at Buffer, teammates can take a 6-week break, fully paid.
Отличным дополнением к моему посту выше будет видео от психотерапевта Евгении Стрелецкой про эмоциональное выгорание: https://www.youtube.com/watch?v=IHZEqujLtFU
Рекомендую подписаться на её канал, там много интересного и полезного контента!
Рекомендую подписаться на её канал, там много интересного и полезного контента!
YouTube
Эмоциональное выгорание. Лечение по стадиям. Саббатикал
Эмоциональное выгорание - такой стиль отношения к работе, в результате которого у вас наступает эмоциональное и физическое истощение.
Профессии, больше всего подверженные эмоциональному выгоранию: программисты, бизнесмены, артисты, спортсмены, блоггеры, врачи…
Профессии, больше всего подверженные эмоциональному выгоранию: программисты, бизнесмены, артисты, спортсмены, блоггеры, врачи…
В сети появился внутренний доклад Яндекс.Практикума про redis cluster: https://youtu.be/VevV9Mr9oEA
YouTube
Redis python based cluster. Вебинар от Яндекс.Практикума
Рано или поздно сервисы растут, а с большим RPS приходит HL.
Попробуем решить задачу: что делать, когда ресурсов для вертикального масштабирования redis уже нет, а данных меньше не становится? Как решить эту задачу без downtime и стоит ли её решать redis…
Попробуем решить задачу: что делать, когда ресурсов для вертикального масштабирования redis уже нет, а данных меньше не становится? Как решить эту задачу без downtime и стоит ли её решать redis…
Forwarded from DataEng
Отличный материал про сравнение самых популярных облачных хранили: BigQuery, Amazon Redshift и Snowflake — https://poplindata.com/data-warehouses/2020-database-showdown-bigquery-vs-redshift-vs-snowflake/
Snowplow
Snowplow Behavioral Data Platform - Fuel AI, Analytics, Marketing | Snowplow
Snowplow empowers organizations to unlock the value of its customer behavioral data in their cloud data warehouse to fuel next-gen AI, analytics, and marketing.
Гвидо ван Россум присоединился к Microsoft: https://twitter.com/gvanrossum/status/1326932991566700549
X (formerly Twitter)
Guido van Rossum (@gvanrossum) on X
I decided that retirement was boring and have joined the Developer Division at Microsoft. To do what? Too many options to say! But it’ll make using Python better for sure (and not just on Windows :-). There’s lots of open source here. Watch this space.
На днях прошла конференция KolesaConf 2020, в сети стали доступны доклады:
- Flutter — будущее мобильной разработки
- Магия Firebase Remote Config
- Фотографии бывают разные, или как мы сэкономили 150Тб и не только
- Переход на сервисный бэкенд Aviata/Chocotravel
- Запуск иностранного стартапа в Казахстане
Плейлисты:
- Kolesa Conf 2020: iOS
- Kolesa Conf 2020: Web
- Kolesa Conf 2020: Product Management
- Kolesa Conf 2020: Data Science
- Kolesa Conf 2020: Android
- Flutter — будущее мобильной разработки
- Магия Firebase Remote Config
- Фотографии бывают разные, или как мы сэкономили 150Тб и не только
- Переход на сервисный бэкенд Aviata/Chocotravel
- Запуск иностранного стартапа в Казахстане
Плейлисты:
- Kolesa Conf 2020: iOS
- Kolesa Conf 2020: Web
- Kolesa Conf 2020: Product Management
- Kolesa Conf 2020: Data Science
- Kolesa Conf 2020: Android
YouTube
Ерасыл Майханов, «Flutter — будущее мобильной разработки»
Ерасыл Майханов, Flutter TeamLead, UCO
Описание доклада:
Расскажу об опыте создания приложения на Flutter, тонкостях и нюансах, а также когда и почему вы должны изучать Flutter.
Описание доклада:
Расскажу об опыте создания приложения на Flutter, тонкостях и нюансах, а также когда и почему вы должны изучать Flutter.
Вебинар «Как выжать максимум из управляемого Kubernetes» от Mail.ru Cloud Solutions
Kubernetes уверенно вошел в жизнь всех, кто хочет быстрее и легче управляться с деплоем приложений. Хотя технологии уже 5 лет, она до сих пор вызывает вопросы и требует определенной экспертизы в управлении решением.
Мы покажем, как устроен продвинутый K8s как сервис и что он умеет. На примере сервиса Mail.ru Cloud Containers мы расскажем о важных нюансах работы с Kubernetes: от балансировки трафика до предотвращения аварий.
Регистрируйтесь на вебинар «Как выжать максимум из управляемого Kubernetes»
Ждем вас во вторник, 24 ноября, онлайн. Начало в 17:00 по Москве, регистрация обязательна:
https://bit.ly/2IwvkGq
Kubernetes уверенно вошел в жизнь всех, кто хочет быстрее и легче управляться с деплоем приложений. Хотя технологии уже 5 лет, она до сих пор вызывает вопросы и требует определенной экспертизы в управлении решением.
Мы покажем, как устроен продвинутый K8s как сервис и что он умеет. На примере сервиса Mail.ru Cloud Containers мы расскажем о важных нюансах работы с Kubernetes: от балансировки трафика до предотвращения аварий.
Регистрируйтесь на вебинар «Как выжать максимум из управляемого Kubernetes»
Ждем вас во вторник, 24 ноября, онлайн. Начало в 17:00 по Москве, регистрация обязательна:
https://bit.ly/2IwvkGq
Не уверен в своей текущей работе или хочешь сменить направление? Самое время действовать! Пройди онлайн-курс fullstack-разработке — получи высокооплачиваемую и востребованную профессию.
За год обучения ты узнаешь как создавать простые и сложные модульные программы: от консольных скриптов до чат-ботов.
Научишься работать с базами данных,
использовать промышленные средства разработки: Git, PyCharm. А также сможешь оптимизировать старые и/или неудачные веб-приложения и структурировать проект так, чтобы он был поддерживаемым.
Бонус: всем студентам курса на время обучения мы даём бесплатный доступ к специализированной IDE (среде разработки) от компании JetBrains — PyCharm.
Скидка 40% первым студентам.
Успей записаться! Переходи по ссылке: https://clc.to/GaVNdQ
За год обучения ты узнаешь как создавать простые и сложные модульные программы: от консольных скриптов до чат-ботов.
Научишься работать с базами данных,
использовать промышленные средства разработки: Git, PyCharm. А также сможешь оптимизировать старые и/или неудачные веб-приложения и структурировать проект так, чтобы он был поддерживаемым.
Бонус: всем студентам курса на время обучения мы даём бесплатный доступ к специализированной IDE (среде разработки) от компании JetBrains — PyCharm.
Скидка 40% первым студентам.
Успей записаться! Переходи по ссылке: https://clc.to/GaVNdQ
Всем привет! 👋
Сегодня собрал всю свою волю в кулак и написал небольшой туториал по библиотеке logging в Python 💪. Материал был подготовлен в рамках моего вебинара для студентов Яндекс.Практикума 📺
Прочитать статью как всегда можно у меня в блоге — Введение в logging на Python 🐍
Сегодня собрал всю свою волю в кулак и написал небольшой туториал по библиотеке logging в Python 💪. Материал был подготовлен в рамках моего вебинара для студентов Яндекс.Практикума 📺
Прочитать статью как всегда можно у меня в блоге — Введение в logging на Python 🐍
Khashtamov
Введение в logging на Python
В стандартной библиотеке Python есть замечательный пакет для логирования — logging. В сети бытует мнение, что он сложный и настраивать его сплошная боль. В этой статье я попробую убедить вас в о…
Forwarded from DataEng
На YouTube канале Confluent появился плейлист с видео от легендарного Tim Berglund про введение в Apache Kafka: https://www.youtube.com/watch?v=qu96DFXtbG4&list=PLa7VYi0yPIH0KbnJQcMv5N9iW8HkZHztH
YouTube
Apache Kafka 101: Introduction (2023)
► TRY THIS YOURSELF: https://cnfl.io/kafka-101-module-1
Apache Kafka is used by over 80% of Fortune 100 companies to power real-time applications. Watch this video to understand what Kafka is, what an event is, and a basic introduction to key Kafka concepts.…
Apache Kafka is used by over 80% of Fortune 100 companies to power real-time applications. Watch this video to understand what Kafka is, what an event is, and a basic introduction to key Kafka concepts.…
Интересная статья от бывшего Engineering Manager из Uber про "правильное" резюме: https://stackoverflow.blog/2020/11/25/how-to-write-an-effective-developer-resume-advice-from-a-hiring-manager/
stackoverflow.blog
How to write an effective developer resume: Advice from a hiring manager - Stack Overflow
Про логгирование на бэкэнде от Яндекса: https://habr.com/ru/company/yandex/blog/530348/
Хабр
Удобное логирование на бэкенде. Доклад Яндекса
Что-то всегда идет не по плану. Приходится отвечать на вопросы, «Что сломалось?», «Почему тормозит?» и «Почему мы не увидели этого раньше?». На примере простого...
Если вы когда-либо обращались в службу поддержки, то знаете, насколько важной является скорость реакции. Первая линия – фундамент службы поддержки, который отвечает за своевременную обработку и качественную классификацию входящего потока обращений. Сделать её работу эффективной – задача каждого руководителя. В крупных производственных компаниях для решения этой задачи используют искусственный интеллект. Роботизированные помощники позволяют быстро оформлять заявки в службу поддержки, снижают трудозатраты на классификацию и распределение заявок и на 20% сокращают время их выполнения. Поучиться на опыте реальных компаний вы можете 11 декабря в 11:00 по Москве на бесплатном вебинаре Prof IT: https://telegram.me/MSProfITBot?start=post3.
Если в вашей компании есть служба поддержки, обязательно приходите и проверьте, так ли она эффективна.
Если в вашей компании есть служба поддержки, обязательно приходите и проверьте, так ли она эффективна.
Бесплатный вебинар «Docker Swarm vs K8s. Когда, кому и зачем переходить на Kubernetes со Swarm» от Mail.ru Cloud Solutions
Kubernetes стал стандартом де-факто и вытеснил другие решения контейнеризации, по крайней мере в корпоративной среде. Есть мнение, что технология сложна в управлении и мало доступна обычным людям. Swarm проще: его легче поднять, обслуживать, управлять им. Но в нём не хватает много полезных фич: например, авторизации в кластере, встроенных балансеров.
Уйти или остаться?
На вебинаре мы рассмотрим оба решения, Docker Swarm и Kubernetes — и разберемся, почему вам лучше перейти на K8s или наоборот, остаться на Swarm.
Также мы расскажем, как упростить свой путь в овладении технологией Kubernetes с помощью облачных сервисов с гарантированной доступностью.
В конце — на ваши вопросы ответит Павел Селиванов, ведущий DevOps-инженер Mail.ru Cloud Solutions.
Ждем вас в четверг, 10 декабря, онлайн.
Начало в 17:00 по Москве.
👉 Регистрируйтесь: https://vk.cc/bVsVDy
Kubernetes стал стандартом де-факто и вытеснил другие решения контейнеризации, по крайней мере в корпоративной среде. Есть мнение, что технология сложна в управлении и мало доступна обычным людям. Swarm проще: его легче поднять, обслуживать, управлять им. Но в нём не хватает много полезных фич: например, авторизации в кластере, встроенных балансеров.
Уйти или остаться?
На вебинаре мы рассмотрим оба решения, Docker Swarm и Kubernetes — и разберемся, почему вам лучше перейти на K8s или наоборот, остаться на Swarm.
Также мы расскажем, как упростить свой путь в овладении технологией Kubernetes с помощью облачных сервисов с гарантированной доступностью.
В конце — на ваши вопросы ответит Павел Селиванов, ведущий DevOps-инженер Mail.ru Cloud Solutions.
Ждем вас в четверг, 10 декабря, онлайн.
Начало в 17:00 по Москве.
👉 Регистрируйтесь: https://vk.cc/bVsVDy
«Хочу найти работу, но везде нужен опыт. А как я его получу, если меня без опыта никуда не берут?»
Для многих это не просто шутка, а реальная проблема, с которой сталкиваются выпускники даже топовых вузов и любых специальностей, да и просто те, кто хочет сменить работу. Но решение есть.
ProductLIVE (образовательный проект от школы данных SkillFactory) запускает курс «Профессия Product Manager». Стандартных «домашек» там нет — 12 месяцев вы будете решать задачи от реальных заказчиков и получать от них фидбэк. К концу обучения у вас уже будет портфолио из 12 кейсов и тот самый опыт работы.
Преподаватели и менторы сопровождают в течение всего курса, а карьерный центр поможет найти работу. Кстати, средняя зарплата product-менеджера — от 95 000 рублей. А сам курс можно оплатить после трудоустройства.
🎯Узнайте, что вы будете уметь после обучения: https://clc.to/3hqDCQ
❗️До 11 декабря скидка 40% по промокоду DEV
Для многих это не просто шутка, а реальная проблема, с которой сталкиваются выпускники даже топовых вузов и любых специальностей, да и просто те, кто хочет сменить работу. Но решение есть.
ProductLIVE (образовательный проект от школы данных SkillFactory) запускает курс «Профессия Product Manager». Стандартных «домашек» там нет — 12 месяцев вы будете решать задачи от реальных заказчиков и получать от них фидбэк. К концу обучения у вас уже будет портфолио из 12 кейсов и тот самый опыт работы.
Преподаватели и менторы сопровождают в течение всего курса, а карьерный центр поможет найти работу. Кстати, средняя зарплата product-менеджера — от 95 000 рублей. А сам курс можно оплатить после трудоустройства.
🎯Узнайте, что вы будете уметь после обучения: https://clc.to/3hqDCQ
❗️До 11 декабря скидка 40% по промокоду DEV
Про масштабирование мобильных приложений очень подробно: https://blog.pragmaticengineer.com/10-engineering-challenges-due-to-the-nature-of-mobile-applications/
The Pragmatic Engineer
10 Engineering Challenges Due to the Nature of Mobile Applications
I've been noticing that while there's a lot of appreciation for backend and distributed systems challenges, there's a lot less empathy for why mobile development is hard when done at scale. Building a backend system that serves millions of parallel customers…
Полный курс по ML от Себастьяна Рашки: https://sebastianraschka.com/resources/ml-lectures-1.html
Вчера JetBrains провёли вебинар про FastAPI, его ведущим был подкастер Michael Kennedy, автор подкаста TalkPython: https://www.youtube.com/watch?v=sBVb4IB3O_U
Вебинар в первую очередь предназначен для тех, кто совсем не знаком с этим фреймворком.
Вебинар в первую очередь предназначен для тех, кто совсем не знаком с этим фреймворком.
YouTube
FAST and MODERN Python API with FastAPI | FastAPI tutorial
The Python web space has been unchained. With the sunsetting of Python 2, frameworks are able to leverage the modern features of Python to allow us to quickly build modern web APIs. One of the front-runners in this next generation of Python web frameworks…