Программа конференции для дата-инженеров SmartData 2021 готова! Начинаем уже 11 октября 💣
Вас будут ждать 4 дня, 33 доклада и 2 воркшопа, которые помогут пополнить арсенал инструментов, узнать о лучших практиках и сориентироваться в трендовых технологиях.
Темы конференции:
✔️ Tooling: все об инструментах, которые используют в дата-инжиниринге;
✔️ Spark: штука настолько востребованная, что о ней будет сразу три доклада;
✔️ Processes: как организовать работу и процессы в команде;
✔️ Storage: базы данных, SQL-движки и многое другое;
✔️ Architecture: доклады об архитектуре и опыте работы с ней разных команд;
✔️ Industry usecases: реальный опыт, боль, успехи и провалы коллег.
Кроме докладов и воркшопов, вас будут ждать дискуссионные зоны, возможность вернуться к записям докладов, розыгрыши и много других приятных плюшек.
Специально для нашего канала организаторы сделали промокод на скидку
Заходите на сайт конференции за подробностями и билета
Вас будут ждать 4 дня, 33 доклада и 2 воркшопа, которые помогут пополнить арсенал инструментов, узнать о лучших практиках и сориентироваться в трендовых технологиях.
Темы конференции:
✔️ Tooling: все об инструментах, которые используют в дата-инжиниринге;
✔️ Spark: штука настолько востребованная, что о ней будет сразу три доклада;
✔️ Processes: как организовать работу и процессы в команде;
✔️ Storage: базы данных, SQL-движки и многое другое;
✔️ Architecture: доклады об архитектуре и опыте работы с ней разных команд;
✔️ Industry usecases: реальный опыт, боль, успехи и провалы коллег.
Кроме докладов и воркшопов, вас будут ждать дискуссионные зоны, возможность вернуться к записям докладов, розыгрыши и много других приятных плюшек.
Специально для нашего канала организаторы сделали промокод на скидку
dataeng2021JRGpc, который дает скидку на Personal Standard билет🔥Заходите на сайт конференции за подробностями и билета
Продолжение эпопеи с Windows 11
Поработал несколько дней на Windows 11 и решил что хочу поставить её и на Dell XPS 15, процессор которого официально не поддерживается (это мой основной ноут). Чтобы это сделать можно воспользоваться open source утилитой от чешского товарища Michal Doubek, https://github.com/coofcookie/Windows11Upgrade
Параноики могут самостоятельно скомпилировать код и получить exe-шник. Код написан на C#. Microsoft официально заявляет, что не рекомендует устанавливать Win11 на неподдерживаемые устройства и не гарантирует, что в будущем для них будут доступны обновления, включая обновления безопасности. Пруф: https://support.microsoft.com/en-us/windows/installing-windows-11-on-devices-that-don-t-meet-minimum-system-requirements-0b2dc4a2-5933-4ad4-9c09-ef0a331518f1
Действуйте исключительно на свой страх и риск 😷 У меня пока полёт нормальный, всё работает штатно. 🙏
Поработал несколько дней на Windows 11 и решил что хочу поставить её и на Dell XPS 15, процессор которого официально не поддерживается (это мой основной ноут). Чтобы это сделать можно воспользоваться open source утилитой от чешского товарища Michal Doubek, https://github.com/coofcookie/Windows11Upgrade
Параноики могут самостоятельно скомпилировать код и получить exe-шник. Код написан на C#. Microsoft официально заявляет, что не рекомендует устанавливать Win11 на неподдерживаемые устройства и не гарантирует, что в будущем для них будут доступны обновления, включая обновления безопасности. Пруф: https://support.microsoft.com/en-us/windows/installing-windows-11-on-devices-that-don-t-meet-minimum-system-requirements-0b2dc4a2-5933-4ad4-9c09-ef0a331518f1
Действуйте исключительно на свой страх и риск 😷 У меня пока полёт нормальный, всё работает штатно. 🙏
GitHub
GitHub - coofcookie/Windows11Upgrade: Windows 11 Upgrade tool that bypasses Microsoft´s requirements
Windows 11 Upgrade tool that bypasses Microsoft´s requirements - coofcookie/Windows11Upgrade
👍1
Немного статистики по PyPi
На октябрь 2021 года в пакетном индексе PyPi немного больше 330 000 разных пакетов. Суммарно у всех этих пакетовы выпущено около 3 миллионов версий.
За год число загрузок пакетов из PyPi выросло почти на 100% и составляет больше 125 миллиардов скачиваний в год.
Из 10% самых популярных версий пакетов по загрузкам порядка 38% содержат известные уязвимости. У оставшихся 90% пакетов плотность уязвимостей — всего 8%. Что явно говорит о повышенном внимании хакеров и исследователей именно к популярным библиотекам. А также о том, что из всего спектра доступных пакетов, активно используется только незначительная часть.
Среди пакетов в PyPi используется 130+ разных лицензий. 54% — это MIT License, следом идут BSD-3-Clause и Apache-2.0. Вообще разрешительные (пермиссивные) лицензии используются в 80% пакетов, а популярность GPL-3 и других копилефтных лицензий постепенно падает.
Кстати, в экосистеме пакетов вокруг django лицензия BSD-3 чуть более популярна, чем MIT, сателитные проекты ориентируются на выбор лидера. В противовес у Flask MIT впереди с большим отрывом.
Эту заметку подготовили ребята из канала Code Mining, которые на практике занимаются анализом исходных кодов, исследованием open source и строят проекты и продукты в этой сфере. Подписывайтесь!
https://news.1rj.ru/str/codemining
На октябрь 2021 года в пакетном индексе PyPi немного больше 330 000 разных пакетов. Суммарно у всех этих пакетовы выпущено около 3 миллионов версий.
За год число загрузок пакетов из PyPi выросло почти на 100% и составляет больше 125 миллиардов скачиваний в год.
Из 10% самых популярных версий пакетов по загрузкам порядка 38% содержат известные уязвимости. У оставшихся 90% пакетов плотность уязвимостей — всего 8%. Что явно говорит о повышенном внимании хакеров и исследователей именно к популярным библиотекам. А также о том, что из всего спектра доступных пакетов, активно используется только незначительная часть.
Среди пакетов в PyPi используется 130+ разных лицензий. 54% — это MIT License, следом идут BSD-3-Clause и Apache-2.0. Вообще разрешительные (пермиссивные) лицензии используются в 80% пакетов, а популярность GPL-3 и других копилефтных лицензий постепенно падает.
Кстати, в экосистеме пакетов вокруг django лицензия BSD-3 чуть более популярна, чем MIT, сателитные проекты ориентируются на выбор лидера. В противовес у Flask MIT впереди с большим отрывом.
Эту заметку подготовили ребята из канала Code Mining, которые на практике занимаются анализом исходных кодов, исследованием open source и строят проекты и продукты в этой сфере. Подписывайтесь!
https://news.1rj.ru/str/codemining
Telegram
Code Mining
ML4Code во всей красе, анализ кода и артефактов: лицензии, уязвимости, процессы. Комментарии к актуальным и не очень новостям, аналитика, эпизодический авторский контент, мемасики.
При поддержке: ods.ai, @codescoring
По вопросам — @alsmirn
При поддержке: ods.ai, @codescoring
По вопросам — @alsmirn
Forwarded from Как мы делаем Яндекс
Легко ли разработать новый API? На что обратить внимание, чтобы не ошибиться при реализации, и к каким компромиссам стоит быть готовым?
🤓 Сегодняшний пост — продолжение цикла историй о вымышленном стажёре Васе. Рассказываем, как Вася разрабатывал API для новой фичи и с какими проблемами он столкнулся в процессе. В конце есть чеклист с советами, как проверить себя на каждом этапе разработки, если вы решаете похожую задачу.
🤓 Сегодняшний пост — продолжение цикла историй о вымышленном стажёре Васе. Рассказываем, как Вася разрабатывал API для новой фичи и с какими проблемами он столкнулся в процессе. В конце есть чеклист с советами, как проверить себя на каждом этапе разработки, если вы решаете похожую задачу.
Подробный гайд про устройство GIL и его влияние на работу интерпретатора Python в многопоточной среде: https://tenthousandmeters.com/blog/python-behind-the-scenes-13-the-gil-and-its-effects-on-python-multithreading/
Tenthousandmeters
Python behind the scenes #13: the GIL and its effects on Python multithreading
As you probably know, the GIL stands for the Global Interpreter Lock, and its job is to make the CPython interpreter thread-safe. The GIL allows...
Ждем Go-разработчиков на Weekend Offer 23-24 октября: одни выходные, новая работа, бонусы к зарплате
Даже если ваш телефон разрывается от звонков компаний, которые хотят вас захантить, мы можем предложить условия круче!
• Быстрый рост: повышайте экспертизу с нами в выбранном вами направлении.
• Бонус в две зарплаты при получении оффера 23-24 октября.
• Возможность влиять на бизнес: мы прислушиваемся к каждой из наших 39 продуктовых команд.
• Highload не на словах, а на деле: наша платформа одновременно доставляет миллионы заказов и поддерживает 45 000 партнёров в 323 городах России.
• Работа в команде лучших: 75% технического департамента – специалисты уровня Senior.
И это далеко не все самое классное, что ждет вас, если вы примете участие в Weekend Offer и получите приглашение в одну из технических команд Delivery Club.
Давайте строить фудтех вместе!
Записаться и узнать подробности: https://tech.delivery-club.ru/goweekend
Даже если ваш телефон разрывается от звонков компаний, которые хотят вас захантить, мы можем предложить условия круче!
• Быстрый рост: повышайте экспертизу с нами в выбранном вами направлении.
• Бонус в две зарплаты при получении оффера 23-24 октября.
• Возможность влиять на бизнес: мы прислушиваемся к каждой из наших 39 продуктовых команд.
• Highload не на словах, а на деле: наша платформа одновременно доставляет миллионы заказов и поддерживает 45 000 партнёров в 323 городах России.
• Работа в команде лучших: 75% технического департамента – специалисты уровня Senior.
И это далеко не все самое классное, что ждет вас, если вы примете участие в Weekend Offer и получите приглашение в одну из технических команд Delivery Club.
Давайте строить фудтех вместе!
Записаться и узнать подробности: https://tech.delivery-club.ru/goweekend
8 ноября Яндекс.Практикум запускает бесплатную Школу наставников для разработчиков
Школа наставников — это хорошая возможность развить софт-скиллы, научиться делиться знаниями с командой и подтвердить экспертность в своей области. Онлайн-занятия будут два раза в неделю по вечерам.
Наставник в Практикуме — это опытный специалист, который передаёт свои и знания студентам, помогает учиться и справляться с трудностями.
Наставничество можно совмещать с основной работой, оно занимает от 6 до 15 часов в неделю. Вознаграждение — от 35 до 50 тысяч рублей в зависимости от курса и потраченного времени.
Сейчас ищем наставников на курсы: веб-разработка, разработка на Java, Python, Go, тестирование и дизайн.
Подать заявку нужно до 1 ноября, чтобы успеть выполнить тестовое задание
Школа наставников — это хорошая возможность развить софт-скиллы, научиться делиться знаниями с командой и подтвердить экспертность в своей области. Онлайн-занятия будут два раза в неделю по вечерам.
Наставник в Практикуме — это опытный специалист, который передаёт свои и знания студентам, помогает учиться и справляться с трудностями.
Наставничество можно совмещать с основной работой, оно занимает от 6 до 15 часов в неделю. Вознаграждение — от 35 до 50 тысяч рублей в зависимости от курса и потраченного времени.
Сейчас ищем наставников на курсы: веб-разработка, разработка на Java, Python, Go, тестирование и дизайн.
Подать заявку нужно до 1 ноября, чтобы успеть выполнить тестовое задание
Тут первая бетка вышла новой версии Django 4.0: https://www.djangoproject.com/weblog/2021/oct/25/django-40-beta-1-released/
С новой версии Django будет поддерживать Python начиная с 3.8 и выше. Каких-то грандиозных изменений я не увидел, из заметного:
— отказ от pytz в пользу zoneinfo (появился в Python 3.9), для версии 3.8 будет установлен backports.zoneinfo
— возможность задать functional unique constraints для моделей базы данных
— RedisCache-бэкенд внутри Django
— отрисовка форм через шаблонизатор Django
Помимо выхода беты на днях прошел DjangoCon US 2021. Все видео с конференции можно посмотреть на официальном YouTube-канале: https://www.youtube.com/c/DjangoConUS/videos. Посмотреть я ничего не успел, к сожалению, но судя по названиям там есть интересные презентации.
С новой версии Django будет поддерживать Python начиная с 3.8 и выше. Каких-то грандиозных изменений я не увидел, из заметного:
— отказ от pytz в пользу zoneinfo (появился в Python 3.9), для версии 3.8 будет установлен backports.zoneinfo
— возможность задать functional unique constraints для моделей базы данных
— RedisCache-бэкенд внутри Django
— отрисовка форм через шаблонизатор Django
Помимо выхода беты на днях прошел DjangoCon US 2021. Все видео с конференции можно посмотреть на официальном YouTube-канале: https://www.youtube.com/c/DjangoConUS/videos. Посмотреть я ничего не успел, к сожалению, но судя по названиям там есть интересные презентации.
🔥 Podlodka анонсировала 3-ий сезон Podlodka Backend Crew - старт 8 ноября.
Интенсив продлится две недели. Сессии проходят дважды в день: утром и вечером.
В программе: крутые спикеры, сессии в лайве, ламповое общение и обмен кейсами в слаке, записи (для тех, кто не успевает на лайв).
На первой неделе обсуждают Event-driven подход, а на второй Проблемы микросервисов.
🔹 Во время первой недели научат строить надежную архитектуру с помощью event-driven. Расскажут про тонкости использования event sourcing и очереди событий. А также обучат выбору решений под свои задачи: Kafka, Pulsar, NATS или RabbitMQ.
🔹 Вторую неделю начнут с разбора на каких проектах нужны микросервисы, а на каких актуален монолит. Вы поймете оптимальный размер микросервиса и научитесь эффективно его проектировать.
Подробности и билеты уже на сайте! Успевайте до конца недели, ведь будет действовать приятная скидка 😊
Интенсив продлится две недели. Сессии проходят дважды в день: утром и вечером.
В программе: крутые спикеры, сессии в лайве, ламповое общение и обмен кейсами в слаке, записи (для тех, кто не успевает на лайв).
На первой неделе обсуждают Event-driven подход, а на второй Проблемы микросервисов.
🔹 Во время первой недели научат строить надежную архитектуру с помощью event-driven. Расскажут про тонкости использования event sourcing и очереди событий. А также обучат выбору решений под свои задачи: Kafka, Pulsar, NATS или RabbitMQ.
🔹 Вторую неделю начнут с разбора на каких проектах нужны микросервисы, а на каких актуален монолит. Вы поймете оптимальный размер микросервиса и научитесь эффективно его проектировать.
Подробности и билеты уже на сайте! Успевайте до конца недели, ведь будет действовать приятная скидка 😊
Для фанатов FastAPI и PyCharm появился вебинар от автора FastAPI и JetBrains: https://www.youtube.com/watch?v=r6fBoBTRfT4
Полезный стрим про удобство работы с фреймворком в среде PyCharm.
Полезный стрим про удобство работы с фреймворком в среде PyCharm.
Быть BI-аналитиком = проводить любые операции с данными без привлечения сторонних специалистов
⠀
Этому вы научитесь за 13 практических онлайн-занятий на курсе по BI-аналитике.
⠀
По итогам обучения вы сможете:
🔹 находить данные, очищать их и подготавливать к анализу
🔹 проектировать базы данных разных типов и составлять дата-пайплайны
🔹 строить хранилища данных и управлять ими
🔹 собирать данные в интерактивные дашборды
🔹 строить и проверять гипотезы
🔹 запускать А/В-тестирования и оценивать их результаты
🔹 помогать бизнесу принимать решения на основе данных
⠀
С полной программой обучения вы можете ознакомиться по ссылке ➡️ https://bit.ly/3nBfNWO
⠀
Этому вы научитесь за 13 практических онлайн-занятий на курсе по BI-аналитике.
⠀
По итогам обучения вы сможете:
🔹 находить данные, очищать их и подготавливать к анализу
🔹 проектировать базы данных разных типов и составлять дата-пайплайны
🔹 строить хранилища данных и управлять ими
🔹 собирать данные в интерактивные дашборды
🔹 строить и проверять гипотезы
🔹 запускать А/В-тестирования и оценивать их результаты
🔹 помогать бизнесу принимать решения на основе данных
⠀
С полной программой обучения вы можете ознакомиться по ссылке ➡️ https://bit.ly/3nBfNWO
Про выгорание https://youtu.be/aRs1Kfw8cqs, вдруг кому-то поможет
YouTube
Как избежать выгораний и правильно замедляться | Катерина Ленгольд
Разговор, которого я очень давно ждал. И даже немного боялся. Но получился очень глубокий и пронизанный смыслами диалог. В этом выпуске мы обсудили почему жажда обучения и новизны может быть звоночком выгорания? Почему нужно делать меньше, чем вы можете?…
👍1
30 ноября в онлайн формате пройдет Конференция по бизнес-анализу, Product Ownership и проектированию ИТ-систем BARRS 2021: Business Analysis, Research, Requirements Systems, Product Ownership.
На конференции в формате онлайн вы сможете послушать доклады о моделировании и проектировании информационных систем, создании и поддержке документации, узнаете о методологиях и инструментах в арсенале БА и РО, Agile Development and Delivery; поднимем также темы управления бэклогом и приоритизации, работы с заказчиками и стейкхолдерами и разработки требований, а также многое другое.
В день конференции вы сможете поучаствовать в интерактивном онлайн-стриме, задать вопросы спикерам и пообщаться с другими участниками, а после завершения конференции будут доступны записи докладов, а по промокоду DEVBRAIN доступна скидка в 20%.
Программа и покупка билетов на сайте: https://barrs.world
До встречи на конференции!
На конференции в формате онлайн вы сможете послушать доклады о моделировании и проектировании информационных систем, создании и поддержке документации, узнаете о методологиях и инструментах в арсенале БА и РО, Agile Development and Delivery; поднимем также темы управления бэклогом и приоритизации, работы с заказчиками и стейкхолдерами и разработки требований, а также многое другое.
В день конференции вы сможете поучаствовать в интерактивном онлайн-стриме, задать вопросы спикерам и пообщаться с другими участниками, а после завершения конференции будут доступны записи докладов, а по промокоду DEVBRAIN доступна скидка в 20%.
Программа и покупка билетов на сайте: https://barrs.world
До встречи на конференции!
В начале сентября прошел PyCon RU 2021, в сети стали доступны доклады: https://www.youtube.com/user/videoitpeople/videos
Среди них есть интересные презентации:
— Обработка ошибок в Python
— Pattern matching: польза или хайп?
— Построение мониторинга python-приложений с использованием opentelemetry
— Rефакторинг: Regулярный и ASTообразный
Среди них есть интересные презентации:
— Обработка ошибок в Python
— Pattern matching: польза или хайп?
— Построение мониторинга python-приложений с использованием opentelemetry
— Rефакторинг: Regулярный и ASTообразный
YouTube
Алексей Кузьмин. Обработка ошибок в Python
Алексей Кузьмин, ДомКлик, Москва
Обработка ошибок в Python
В нашем IT-мире есть только один достоверный источник информации — исходный код. Документация может быть не актуальной, книжка может устареть, статья может осветить только один аспект. А исходный…
Обработка ошибок в Python
В нашем IT-мире есть только один достоверный источник информации — исходный код. Документация может быть не актуальной, книжка может устареть, статья может осветить только один аспект. А исходный…
5 ноября вышла вторая альфа Python 3.11 и по мнению людей, которым можно доверять, 3.11 на ~30% быстрее чем 3.10.
В первую очередь рост производительности это работа над идеями по оптимизации в рамках Faster CPython Project. Узнать о новых фичах в 3.11 можно по ссылке.
В первую очередь рост производительности это работа над идеями по оптимизации в рамках Faster CPython Project. Узнать о новых фичах в 3.11 можно по ссылке.
Python.org
Python Release Python 3.11.0a2
The official home of the Python Programming Language
🔥 Podlodka's Hot News: Второй сезон Soft Skills Crew стартует в новом формате однонедельной конференции.
Стартуют 15 ноября.
Сессии проводят дважды в день: утром и вечером.
В программе: крутые спикеры, сессии в лайве, ламповое общение и обмен кейсами в слаке, записи (для тех, кто не успевает на лайв).
Тема недели Общение с руководством:
– Поймете, как презентовать результаты работы руководителю
– Узнаете, как строить продуктивный диалог в сложных кейсах
– Научитесь договариваться о повышении или прибавке
Подробности и билеты уже на сайте! 🤘
Стартуют 15 ноября.
Сессии проводят дважды в день: утром и вечером.
В программе: крутые спикеры, сессии в лайве, ламповое общение и обмен кейсами в слаке, записи (для тех, кто не успевает на лайв).
Тема недели Общение с руководством:
– Поймете, как презентовать результаты работы руководителю
– Узнаете, как строить продуктивный диалог в сложных кейсах
– Научитесь договариваться о повышении или прибавке
Подробности и билеты уже на сайте! 🤘
podlodka.io
Онлайн-конференция Podlodka Soft Skills Crew, сезон #7
Недельное мероприятие от команды Podlodka: ежедневные интерактивные сессии в Zoom, нон-стоп общение с экспертами и звёздами индустрии, закрытое профессиональное сообщество в Telegram.
Про подход к выбору языка: https://snarky.ca/programming-language-selection-is-a-form-of-premature-optimization/
То же самое можно сказать и про веб-фреймворки (и в целом про тех.стэк). Часто слышу как народ ругает Django за медлительность и выбирает новомодные свистелки вроде FastAPI (computation costs), жертвуя огромным набором готового кода (developer productivity), но их приложение даже не дорастает и до тысячи посетителей (premature optimization).
То же самое можно сказать и про веб-фреймворки (и в целом про тех.стэк). Часто слышу как народ ругает Django за медлительность и выбирает новомодные свистелки вроде FastAPI (computation costs), жертвуя огромным набором готового кода (developer productivity), но их приложение даже не дорастает и до тысячи посетителей (premature optimization).
Tall, Snarky Canadian
Selecting a programming language can be a form of premature optimization
Have you ever been told that Python couldn't be used for a project because it
wouldn't be fast enough? I have, and I find it a bit frustrating as big banks,
YouTube, Instagram, and plenty of other places that are performance-sensitive
still manage to select…
wouldn't be fast enough? I have, and I find it a bit frustrating as big banks,
YouTube, Instagram, and plenty of other places that are performance-sensitive
still manage to select…
Хотите self-hosted Notion-like сервис? А оно у нас есть — https://github.com/AppFlowy-IO/appflowy
GitHub
GitHub - AppFlowy-IO/AppFlowy: Bring projects, wikis, and teams together with AI. AppFlowy is the AI collaborative workspace where…
Bring projects, wikis, and teams together with AI. AppFlowy is the AI collaborative workspace where you achieve more without losing control of your data. The leading open source Notion alternative....
Полезный материал для подготовки к алгоритмическим интервью: https://medium.com/interviewnoodle/grokking-leetcode-a-smarter-way-to-prepare-for-coding-interviews-e86d5c9fe4e1
Medium
Grokking LeetCode: A Smarter Way to Prepare for Coding Interviews
To LeetCode or not to LeetCode? What if you don’t want to practice 100s of coding questions before your next coding interview?