Инжиниринг Данных – Telegram
Инжиниринг Данных
23.4K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Креативненько!
https://hh.ru/vacancy/48489049
Еще одна новая книга по Табло от Орейли
https://www.oreilly.com/library/view/tableau-desktop-cookbook/9781492090106/
Облака это круто, говорили они… Но вот, что-то поломалось в облаках и соц сети отвалились

https://www.theverge.com/2021/10/4/22708989/instagram-facebook-outage-messenger-whatsapp-error
Forwarded from George Vinogradov 🍀
Привет!
В Новартис ищем стажера аналитика на 1-2 месяца.
Работа с Excel, Alteryx, Qlik, Python + power point
Офис в Москве м. Сокол. Можно рассмотреть и частичную удаленку

В datalearn много новичков, вероятнее всего, кому-то точно будет интересно 😊
6 Октябра Plotly выпускает Dash 5.0 и будет рассказывать про него.

Dash - the leading low-code platform for AI apps (Можно и BI построить). Dash (open source) & Dash Enterprise let you build & deploy analytic web apps using Python, R, and Julia. No JavaScript or DevOps required.

Plotly - Open Source Graphing Libraries
Interactive charts and maps for Python, R, Julia, ggplot2, .NET, and MATLAB
®.
Интересный опрос)) Но на самом деле никто не получает. Главное делать выводы и учиться на ошибках.
Forwarded from Konstantin Glushchenko
Воспользуясь советом Дмитрия :)
Ну вдруг) интересно же!

Наша дата-команда ищет на большой проект 2 инженеров данных уровня мидл и выше с твёрдым знанием T SQL.

Задачи проекта - создание моделей в хранилище данных у клиента под процессную аналитику, включая интеграцию и достаточно нестандартный подход к etl.

Полагается построение хранилища не по тз, а с головой, под решение аналитических бизнес задач, дальше на моделях строим как обычно всякие дашборды.

Суть всей создаваемой аналитики - поиск возможностей для изменения и улучшения процессов компании.

Будем рады и ооочень ждем:) 🤳🏼
Пишите

Хоть какое то описание на hh:
https://hh.ru/vacancy/46371781?from=employer
У продуктовой команды чаще получается создать и запустить продукт, чем у дата команды создать аналитическое решение. Возможно стоит управлять дата командой как продуктовой?

There is a better way to build and run a data organization: run it as if you were building a Data Product and all of your colleagues are your customers. We believe this has the ability to transform your organization and help teams reach their true potential.
Статья про то, как начать в data профессии.

Ключевая фраза - I’d give 60% focus on SQL, with maybe 10% each for Git, CLI, Python, BI tools.

Я всегда топил за SQL! И в datalearn, кто учится, то знает, как надо начать и найти работу за 5 месяцев с 0.

General advice being - go and start doing analytics in your current position, utilizing whichever data skills/tools/etc you have access to. Guaranteed there are data pain points you can solve (which requires you to have some business acumen and soft skills to identify & work on!). This will get you real-life experience which you can leverage into a full-time position within a couple years.

Не важно кем вы работаете и что вы делаете, попробуйте начать использовать “аналитику”.

Вы доставляете еду? Запишите все в Excel табличку, и попробуйте проанализировать.

Продавец? Запишите кол-во клиентов, наименование продуктов, кто, что смотрел, откуда пришли и тп.

Студент? Постройте дашборд в экселе про кол-во занятий в день

Ничего не делаете? Выгрузите расходы из онлайн банка, и постройте отчет, чтобы сгруппировать покупки по 3-4 категориям за последний год.

В общем, вариантов много, но они нужны для вашего резюме, для вашей истории без практического опыта.
Analytics adoption - what works?

The mind map in the figure below outlines the key ingredients for the successful deployment of BI and analytics capabilities.

The six key drivers of analytics adoption are ease of use, performance, training, data quality, coaching, and culture. Each category, in turn, has three contributing factors.

Organizations need a strategy to address each of these 18 factors if they want to maximize the adoption of BI and analytics capabilities.
Media is too big
VIEW IN TELEGRAM
Получите инсайды Microsoft от самих разработчиков на онлайн-конференции Day of the DEVs 12 октября.

Регистрация на ключевые треки онлайн-конференции Day of the DEVs от Microsoft в партнёрстве с Softline уже открыта!

Трек «Data&AI для приложений»

Российские и зарубежные эксперты Microsoft расскажут о концепциях MLOps — ML+DevOps, и как организовать работу Data scientist.
Зарегистрироваться бесплатно⟶
https://bit.ly/3uPZVmq

PS Пост поддержал приют Зоорассвет в Москве.
Привет всем! Пару идей, для которых нужны добровольцы. Как обычно все бенефиты получают добровольцы😊

1. Как обычно, это вебинары. Для data learn нам часто нужны базовые и простые вещи. Вот какие темы интерсны:
- Обзор хранилищ данных, ETL, BI (Apache Airflow, Apache Kafka, Flink, Greenplum, ClickHouse, Alteryx, DataRobot, Apache Superset) - это из тех которые на слуху. Работаете с ними, так расскажите другим, что это, для чего, как работает. Это полезно для вашей карьеры. Ну и для кармы 😜

2. Как совершенствовать язык? Один из вариантов - это делать переводы, а если эти переводы добавлять на хабр, то будем много просмотров и активностей. Так делают платные курсы, чтобы их впарить продать несмышленному читателю. Но я хочу для другого. В индустрии есть очень хорошие статья, иногда у меня есть хорошие документы, которые можно перевести и добавить на хабр. Вы как автор, можете перевести и добавить от себя, просто укажете data learn. Это поможет будущим студентам в изучении материала. Так что, если хотите попрактиковаться, то самое время🤗

3. Вчера мы первый раз делали Zoom сессия (в 7 утра по Москве!!), где мы решали 2 тестовых задания от западных компаний - SQL и Python. Запись потом будет. Спасибо всем, кто пришел. Лично я провел время очень хорошо и с пользой. Мы планируем делать такие сессия 2 раза в неделю, где будем решать задачки или делать тестовые задания для собеседований. Народ пришел из разных уголков мира.
👍2
Товарищ собрал лучшие книги для Product Management https://centroly.com/anthonytd/top-product-management-books-and-guidebooks-3p2l5zle01

Интересный ресурс, позволяет делать такие вот mindmap из ссылки, можно datalearn так сделать или просто книги и курсы по рекомендациям.
Сегодня меня попросили посмотреть, почему отчет Power BI не подключается к Spark. Когда я его открыл, OH MY GOSH (как говорят канадцы), на меня смотрел пончик график (донат), в котором было больше 30 разноцветных кусочков, и как у ежика торчат сноски во все сторны с обрубленным текстом. И это график занимает 30 процентов дашборда. Сразу вспомнилась эта картинка
Apache Airflow является абсолютным лидером open source ETL, вот несколько свежих статей:

Blue-Green ETLs with Airflow Task Groups
Storyblocks writes about adopting the Blue-Green ETL model with Airflow on its Redshift data warehouse. The load and swap in the mutable pipeline is always a challenge, and it's great to see the Blue-Green deployment pattern adoption.

The Airflow Smart Sensor Service
Airflow poking sensor implementation is a resource-intensive operator that will keep running until the specified condition is satisfied. Airbnb writes about the impact of smart sensors on its Airflow infrastructure. With deduplication, it reduces 40% of the load from the Hive meta store.

How to Run Apache Airflow on Kubernetes at Scale
DoorDash writes an exciting blog narrating its migration of Airflow from a single instance infrastructure to KubernetesPodOperators. The blog states the higher memory availability of the Airflow scheduler after offloading the operator workloads to Kubernetes.