Инжиниринг Данных – Telegram
Инжиниринг Данных
23.4K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Приходилось ли вам делать дашборды для мобильного телефона? Вот статья у табло учит нас как лучше это сделать.

Я уже больше 10 лет работаю с BI, и всегда хотел построить дашборд, чтобы менеджеры меня по головке погладили и сказали, ну какой же я молодец, подумал о них и сделал превосходный отчёт для телефона, они же жить без метрик не могут.

Так я всегда скачивал мобильную версию SAP Business objects, MicroStrategy, Tableau, Power BI и ТП. Но ни разу так и не сделал ничего путного и полезного. Обычно все упиралось в вопрос, а как доступ давать? VPN или ещё как-то, а что скажет служба безопасности и ИТ? Или куча других важных вещей. Поэтому я не фанат этих мобильных прибамбасов для аналитики.
Оказывается Cloudera вместе с IBM предлагают свое решение для озера данных и их сравнивают с Amazon Elastic Map Reduce (Hadoop). Логично если вы в облаке, то удобней использовать решение от того провайдера, услугами которого вы пользуетесь. Меня одно радует во всей это BigData всё движется к упрощению процесса развертывания. Быстрее развернули решение, быстрее получили результат и не надо париться с настройкой хадупа. Хотя, джава программисты, которые не плохо на этом зарабатывают со мной не согласиться.
Оракл сократил 300 человек, направление, которое занималось создание on-premise решением. Когда-то Лари (босс Оракл) говорил,. Что все это фигня ваше облако. А теперь все ресурсы направлены на создание облачной инфраструктуры.
И напоследок опять про Snowflake, о том как он забирает бизнес у всех конкурентов и растет с дикой скоростью. У нас в Канаде пока все на шкафах как на картинке выше, но я создал уже митап по Snowflake User Group в Ванкувере. Пока 23 человека записалось. В Бостоне тут было 500!
Австралийцы создали новый BI инструмент и он доступен бесплатно как open source.
Попался вводный курс по инжинирингу данных, по описанию это просто ETL разработчик, что в принципе почти одно и тоже.
Нашел в интернете пост про DevOps для инжиниринга данных. Идея главная в том, чтобы не было подхода "%уяк №уяк и в продакшн", это несомненно быстро, но какова цена ошибки? Если у вас маленькое решение и мало пользователей, то ничего страшного, а если у вас много пользователей, система взаимодействует с другими системами, то вам просто нельзя рисковать!

До сих пор вспоминаю свой опыт подхода выше, когда я обновлял сервер SAP BO в Lamoda и в середине процесса кабель с интернетом случайно выдернул... В Амазоне так же с Табло было... Да что там, на своем первом месте работы в BNP Paribas, я вообще грохнул всю отчетность на несколько дней. За то есть свои плюсы, в экстремальных условия можно очень хорошо разобраться что, как и почему работает😎 На своих ошибках всегда лучше учиться, да еще за чужой счет...
Вот примерно так будет выглядеть решение на AWS. Конечно мы можем заменить любой элемент системы на Native AWS или наоборот использовать стороннее коммерчесекое решение или открытое ПО.
Работаете с маркетинговой аналитикой? Вот вам 7 уроков от модного вендора - Segment. Прям такой хайповый продукт, у многих он есть, особенно стартапы его любят.

Вообще вне зависимости от инструмента, можно просто посмотреть, что они делают с данным, какие бизнес кейсы, какие проблемы хотят решить, ну и потом на следующем собеседовании выдать за свое😉 #faketillyoumakeit
Каждый из облачных провайдеров будет вам рассказывать о их надёжности и безопасности. Но это больше маркетинг. А в результате страдает бизнес. Вот статья, в которой СТО компании принял решение перейти с Гугл на Амазон из-за сбоев. Готовы ли облака к бизнес критикал процессам? Возможно, если это заложить в архитектуру решения.
23 Октября будет онлайн конференцию по аналитике https://content.dataversity.net/2019EAORegistration.html
Еще один интересный тренд, согласно иследованию Макинзи, которое они провели среди директоров, показывает, что организации уже не хватает одно облачного вендора, и чтобы быть более гибкими, компанию используют несколько вендоров. То есть уже можно мыслить шире, когда мы создаем решение в облаке.
Привет! от лица Rock Your Data буду выступать на конференции про построение решения для маркетинговой аналитике в облаке в эти выходные https://conference.smartpayment.pro/marketing-funnel/