Если вам не сложно, большая просьба зайти в Linkedin и кликнуть Follow на Rock Your Data
Вчера я попросил подписаться на Rock Your Data, но не сказал почему это хорошо сделать. Так вот, это возможность узнавать о технологических и аналитических трендах, комментировать и общаться с коллегами, расширять нетворк, быть замеченными рекрутерами из ведущих компаний индустрии. Можно это рассматривать как выгодный вариант расширения нетворка и потенциального найма за рубежом.
Кстати, в качестве бонуса для вас есть бесплатный тренинг про Matillion ETL, дается доступ к матилион на 3 дня, и есть возможность выбрать инстанс для Redshift или Snowflake. Инструкция написана для Snowflake. Если вы пройдете этот короткий туториал, вы поймете про Cloud ETL. Если пройдете, напишите, как прошло. Так же это будет применимо для Google Big Query.
Этот отрывок из "Тао Те Цзин" Лао Цзы (в переводе Стивена Митчелла) передает положительную, конструктивную и замечательную сторону того, что значит соревноваться.
"Лучший спортсмен
хочет, чтобы его оппонент был в лучшей форме.
Лучший генерал
входит в сознание его врага.
Лучший бизнесмен
служит общественному благу.
Лучший лидер
следует воле народа.
Все они воплощают в себе
добродетель неконкурентности.
Не то чтобы они не любят соревноваться,
но они делают это в духе игры.
В этом они как дети.
и в гармонии с Дао."
"Лучший спортсмен
хочет, чтобы его оппонент был в лучшей форме.
Лучший генерал
входит в сознание его врага.
Лучший бизнесмен
служит общественному благу.
Лучший лидер
следует воле народа.
Все они воплощают в себе
добродетель неконкурентности.
Не то чтобы они не любят соревноваться,
но они делают это в духе игры.
В этом они как дети.
и в гармонии с Дао."
Я сейчас читаю книгу – “Everything I needed to know about business… I learned from a Canadian”. Книга не свежая (2005 года) и там интересная информация про крупнейшие мировые компании, которые были созданы или преобразованы канадцами.
Хотел поделиться выпиской из книги. Brian Fetherstonhaugh (не смог фамили на русский первести), в работал в Ogilvy & Mather Canada, это маркетинговое агентство. Именно он занимался продвижением бренда IBM, придумывал и реализовывал стратегию. Короче говоря, он «бог» маркетинга, и изменил IBM, придумав “The Big Idea” и правильно ее коммуницировал через различные каналы и кастомизировал для каждой аудитории.
Он много говорил про персональный брендиг. В 2004 году он выступал в MIT Sloan School of Management. Он говорил про важность развития карьеры и о том, что это занимает время. Мне особенно понравилась его фраза, что мы должны учиться и развиваться, чтобы создавать "rocket fuel for the latter part” То есть весь наш опыт, каждодневные усилия мы тратим на то, чтобы подготовить топливо для мощного скачка. Вы готовите ракетное топливо для своей карьеры? Теперь на вопрос почему я работаю без выходных, я могу сказать, «I am building rocket fuel for the latter part»🚀
Хотел поделиться выпиской из книги. Brian Fetherstonhaugh (не смог фамили на русский первести), в работал в Ogilvy & Mather Canada, это маркетинговое агентство. Именно он занимался продвижением бренда IBM, придумывал и реализовывал стратегию. Короче говоря, он «бог» маркетинга, и изменил IBM, придумав “The Big Idea” и правильно ее коммуницировал через различные каналы и кастомизировал для каждой аудитории.
Он много говорил про персональный брендиг. В 2004 году он выступал в MIT Sloan School of Management. Он говорил про важность развития карьеры и о том, что это занимает время. Мне особенно понравилась его фраза, что мы должны учиться и развиваться, чтобы создавать "rocket fuel for the latter part” То есть весь наш опыт, каждодневные усилия мы тратим на то, чтобы подготовить топливо для мощного скачка. Вы готовите ракетное топливо для своей карьеры? Теперь на вопрос почему я работаю без выходных, я могу сказать, «I am building rocket fuel for the latter part»🚀
Как-то тут не понятно по цене на курсы, но вроде много чего бесплатно https://cognitiveclass.ai/courses
Вы знаете, что такое CRON? Это обычно на linux cистемах, используется для выполнения скриптов по расписанию. В Windows аналог - Windows Task Scheduler.
Пример использования:
- Tableau Tabcmd скрипт - обновления Tableau Extract и экспорт данных или PDF
- ETL Job (например для Pentaho) - запуск ETL
- Выполнение Python и Shell скрипта и многое другое
Когда работаете с данными, важно стараться минимизировать ручную работу и по возможности все автоматизировать. Самый простой вариант это поставить на расписание простые задачи с помощью Cron или Windows Task Scheduler. А дальше, уже думать, как все это интегрировать вместе.
Хороший помщник по CRON https://crontab.guru/#*_*_*_*
Пример использования:
- Tableau Tabcmd скрипт - обновления Tableau Extract и экспорт данных или PDF
- ETL Job (например для Pentaho) - запуск ETL
- Выполнение Python и Shell скрипта и многое другое
Когда работаете с данными, важно стараться минимизировать ручную работу и по возможности все автоматизировать. Самый простой вариант это поставить на расписание простые задачи с помощью Cron или Windows Task Scheduler. А дальше, уже думать, как все это интегрировать вместе.
Хороший помщник по CRON https://crontab.guru/#*_*_*_*
crontab.guru
Crontab.guru - The cron schedule expression generator
An easy to use editor for crontab schedules.
Интересные новости из индустрии. Компания Datameer, я про нее ещё читал в 2013/14 году, компанию которая решила принести Hadoop в массы, и использовала его в качестве backend для своего решения. Это была платформа, у который был интерфейс экселя для работы с большими данными. Они получили раунд инвестиций, и решили отказаться от идеи использовать Hadoop, и переключились на Spark. Компании cloudera, Hortonworks, mapR, переживают тяжёлые времена, а тем временем Data bricks (создатели spark), получили 400млн инвестиций. В общем если есть возможность выбирать, что изучать и внедрять, то вы точно знаете, что нужно учить в последнюю очередь. И все курсы по big data и data engineering явно можно считать устаревшими для современного рынка.
TechCrunch
Datameer announces $40M investment as it pivots away from Hadoop roots
Datameer, the company that was born as a data prep startup on top of the open-source Hadoop project, announced a $40 million investment and a big pivot away from Hadoop, while staying true to its big data roots.
А вот в этой книге, датированной 1919 годом, автор уже рассуждал про работу с данными:"Миллионы долларов ежегодно тратятся на сбор данных". А на фотографии вычислительная машина тех времен, которая могла могла работать с Big Data! (3000 записей в час).
Teradata CEO Oliver Ratzesberger speaks about the 5 Forces that are disrupting industries today. Хорошо выступил.