Инжиниринг Данных – Telegram
Инжиниринг Данных
23.5K subscribers
1.99K photos
55 videos
193 files
3.21K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Этот отрывок из "Тао Те Цзин" Лао Цзы (в переводе Стивена Митчелла) передает положительную, конструктивную и замечательную сторону того, что значит соревноваться.

"Лучший спортсмен
хочет, чтобы его оппонент был в лучшей форме.
Лучший генерал
входит в сознание его врага.
Лучший бизнесмен
служит общественному благу.
Лучший лидер
следует воле народа.

Все они воплощают в себе
добродетель неконкурентности.
Не то чтобы они не любят соревноваться,
но они делают это в духе игры.
В этом они как дети.
и в гармонии с Дао."
Я сейчас читаю книгу – “Everything I needed to know about business… I learned from a Canadian”. Книга не свежая (2005 года) и там интересная информация про крупнейшие мировые компании, которые были созданы или преобразованы канадцами.

Хотел поделиться выпиской из книги. Brian Fetherstonhaugh (не смог фамили на русский первести), в работал в Ogilvy & Mather Canada, это маркетинговое агентство. Именно он занимался продвижением бренда IBM, придумывал и реализовывал стратегию. Короче говоря, он «бог» маркетинга, и изменил IBM, придумав “The Big Idea” и правильно ее коммуницировал через различные каналы и кастомизировал для каждой аудитории.

Он много говорил про персональный брендиг. В 2004 году он выступал в MIT Sloan School of Management. Он говорил про важность развития карьеры и о том, что это занимает время. Мне особенно понравилась его фраза, что мы должны учиться и развиваться, чтобы создавать "rocket fuel for the latter part” То есть весь наш опыт, каждодневные усилия мы тратим на то, чтобы подготовить топливо для мощного скачка. Вы готовите ракетное топливо для своей карьеры? Теперь на вопрос почему я работаю без выходных, я могу сказать, «I am building rocket fuel for the latter part»🚀
Как-то тут не понятно по цене на курсы, но вроде много чего бесплатно https://cognitiveclass.ai/courses
Если вы созрели написать книгу по решениям для аналитики, то я 100 % знаю как это сделать! Вот несколько примеров Getting Started with BigQuery/DataRobot/Alteryx/Azure Data Platform и много другого. У меня есть связи с издательствами и я могу помочь вам составить содержание и написать.
Обязательно в коллекцию колажей
Вы знаете, что такое CRON? Это обычно на linux cистемах, используется для выполнения скриптов по расписанию. В Windows аналог - Windows Task Scheduler.

Пример использования:
- Tableau Tabcmd скрипт - обновления Tableau Extract и экспорт данных или PDF
- ETL Job (например для Pentaho) - запуск ETL
- Выполнение Python и Shell скрипта и многое другое

Когда работаете с данными, важно стараться минимизировать ручную работу и по возможности все автоматизировать. Самый простой вариант это поставить на расписание простые задачи с помощью Cron или Windows Task Scheduler. А дальше, уже думать, как все это интегрировать вместе.

Хороший помщник по CRON https://crontab.guru/#*_*_*_*
Студент в своих апартаментах наклеил “Hire ME”, а напротив была компания NCR, и ему ответили. Может вам так поселиться напротив компании мечты, желательно отдела кадров, и сообщения им передавать🤩
Интересные новости из индустрии. Компания Datameer, я про нее ещё читал в 2013/14 году, компанию которая решила принести Hadoop в массы, и использовала его в качестве backend для своего решения. Это была платформа, у который был интерфейс экселя для работы с большими данными. Они получили раунд инвестиций, и решили отказаться от идеи использовать Hadoop, и переключились на Spark. Компании cloudera, Hortonworks, mapR, переживают тяжёлые времена, а тем временем Data bricks (создатели spark), получили 400млн инвестиций. В общем если есть возможность выбирать, что изучать и внедрять, то вы точно знаете, что нужно учить в последнюю очередь. И все курсы по big data и data engineering явно можно считать устаревшими для современного рынка.
Как стать Инженером Данных? Миф vs Реальность (Инженером не рождаются, инженером становяться), ну или ML инженером? Или просто поставьте свою профессию😝
Всегда делюсь своим творчеством🙆‍♂️
Все привет, буду в Москве выступать на этой конференции🥳
Вот как раньше делали отчеты
А вот в этой книге, датированной 1919 годом, автор уже рассуждал про работу с данными:"Миллионы долларов ежегодно тратятся на сбор данных". А на фотографии вычислительная машина тех времен, которая могла могла работать с Big Data! (3000 записей в час).
Teradata CEO Oliver Ratzesberger speaks about the 5 Forces that are disrupting industries today. Хорошо выступил.
Happy Halloween
А это CTO Teradata Stephen Brobst, супер крутой дядька, всегда в гавайских рубашках, легенда, один раз я был на его выступлении в Москве, есть еще порох в пороховницах, если есть возможность посмотрите его свежие выступления, всегда говорит про тренды в индустрии. В общем Терадата активно двинулась в облака, и теперь все желающие могут использовать Teradata Vantage - платформа аналитики, полюбому очень дорого.

Писал я тут в Канаде в Терадату, типа привет, мы тут такие классные, спецы по терадате, но она сказали, что не интересны мы им, да и вообще походу Терадата в Канаде не очень популярна. Но безусловно есть компании, знаю одну лично - компания лотереи в провинции Манитоба “Western Canada Lottery Corporation”, используют Teradata и BI Cognos. А вот компания, WholeFoods, которую приобрел Амазон, тоже на Teradata, но мигрируют на Redshift. В общем так и живем, все куда-то мигрируют, как птицы перелетные.🐔
подходит на все случаи жизни