#целина2019

Есть ли у вас цель на следующий год? Осуществили ли вы цели на это год? Прочитали достаточно книг? Когда я был в Москве, у меня была одна цель, жить у океана и работать в лучшей компании Google, Facebook, Amazon. Я рад, что эти цели достигнуты, и рад, что наконец у меня появились новые цели. Это год был простой и успешной с точки зрения основной работы, но очень тяжелый с точки зрения расстановки приоритетов, было потрачено много сил не туда, но был получен колоссальный опыт. Теперь я спокоен, у меня есть следущая большая цель, как и до этого.

В Амазон “Think Big” это ключевой атрибут успешности, поэтому ваши цели должны быть BIG, я мне кажется, что когда у нас есть цель, вселенная нам помогает и мысли визуализируются, очень часто были ситуации, когда не знаешь, что делать, но как-то само все организовывается в лучшем виде.

Я точно знаю, возможно все, как пример, моя фотография с моей первой работы фрезеровщика, ГКПНЦ им Хруничева, где я работал с 2008 по 2010. Так что все возможно. Это так же, как в истории, когда мужчина съел САМОЛЕТ, как он это сделал? Ел по маленьким кусочками. https://en.wikipedia.org/wiki/Michel_Lotito

Моя первая профессия 2008-2010 на ГКНПЦ им Хруничева.

#datalake

11 декабря будет вебинар посвященный созданию безопасного озера данных - " How to Build a Governed Data Lake".
http://info.matillion.com/governed-data-lake-webinar?utm_content=80814842&utm_medium=social&utm_source=rockyourdata

#modernanalyticssolution

Еще один пример современного аналитического решения, но уже на Google Cloud.

🍾BigQuery - аналитическое хранилище данных от Google
🍷Matillion ETL - облачный ETL
🕺🏻SuperQuery AI - углубленная аналтитика для Big Query
🥃Striim - загрузка данных в реальном времение в BigQuery
🤪Looker - облачный BI. Кстати если хотите его попробовать или научиться, напишите мне, у меня есть инстанс свой, к сожалению в РФ не используется, но в Европе и Северной Америке такой же популярный как Tableau, так что может пригодиться
https://gweb-cloudblog-publish.appspot.com/products/data-analytics/finding-data-insights-faster-with-bigquery-and-gcp-marketplace-solutions/amp/?utm_content=80693342&utm_medium=social&utm_source=rockyourdata

#bigdata

Ниже ссылка на запись AWS re:invent Big Data Analytics Architectural Patterns and Best Practices. (Примеры архитектуры для кейсов Big Data и лучшие практики).
https://www.youtube.com/watch?v=ovPheIbY7U8
Любая система аналитики представляет собой следующую систему: Сырые данные -> Запись в область хранения -> Обработка-> Запись в область хранения -> Аналитика -> Инсайты

Согласно презентации, современные технологии, в частности AWS и его аналоги, позволяют нам для каждого элемента системы выбрать наиболее подходящую технологию. Выделяют следующие архитектурные принципы:
🙈Разделение системы – отдельно область хранения, отдельно вычислительные мощности
🙊Каждой задаче свой инструмент
🙉Максимально использовать managed или serverless сервисы, то есть сервисы, где нужна минимальная поддержка
🙊Храним все историю изменений и данных (озеро данных)
🙈Экономность – мы платим только за использование ресурса
🙉Машинное обучение – используем по возможности

В презентации хорошо видно можно подобрать подходящий инструмент в зависимости от задачи, типа данных, объема, частоты использования и других вводных.

Например, у меня сейчас есть задача, предоставить логи веб сервера маркетингу для аналитики. Вроде бы все просто, вот логи, и я могу взять один лог файл (access combined) и загрузить в Redshift. Время загрузки одного файла 1 минута. Но мне нужно загрузить 3 года данных, при этом за один день, у меня несколько тысяч файлов, то есть я только один день буду грузить несколько тысяч минут.

Поэтому мне необходимо воспользоваться системой класса Big Data, которая сможет быстро сделать эту работу. В данном случае это EMR (Hadoop)+Spark. Spark – задает логику для вычислительных мощностей Hadoop (EMR), а данные хранятся в S3 (файловое хранилище), то есть моя система разделена (хранение данных и вычислительные мощности). Это всего лишь один из вариантов решения задачи. Так же я могу использовать Redshift Spectrum и создать внешние таблицы поверх S3, или использовать serverless ETL AWS Glue, и загрузить и обработать файлы.

Выводов 3
1)Технологии так быстро развиваются, что мы не поспеваем за ними
2)Если у нас не получается решить задачу обычным способом с классическим ETL/DW, тогда мы можем смотреть в сторону Big Data решений
3)Cloud serverless and managed services are future for analytics.

#jobhunt

Хотел поделиться интересным лайфхаком, про оформление резюме. Цель резюме понятна. Мы хотим найти работу, желательно получше и где повыше зарплата. В любом случае, потолок нам не перепрыгнуть (мой пост про зп был про это).

Обычно на хорошие вакансии большой спрос, то есть нам надо привлечь к себе внимание. Так же, как и в бизнесе, мы боремся за внимание аудитории. Когда я искал работу за границей, то я решил сделать презентацию про себя в качестве cover letter.

Как и в аналитике, визуальная информация воспринимается лучше, поэтому я решил максимально визуализировать свой опыт (впервые я увидел такой подход в одном из TED Talk). Я много экспериментировал с презентациями. В итоге, стал использовать slideshare, чтобы отправлять ссылку на мою презентацию. В slideshare можно сделать приватную ссылку, и отслеживать веб аналитику по ним, кол-во кликов, страна, реферал и тп. То есть когда мы откликаемся на вакансию и отправляем ссылку на презентацию, мы сможешь отслеживать интерес к своей кандидатуре.

Другой важный элемент презентации, сделать ее интересной, почти как история (опять же из аналитики данных, нужно создавать истории, а не сухие цифры). Обычно опыт и резюме — это очень скучно. Из него не понятно какую ЦЕННОСТЬ вы несете для компании, поэтому нужно раскрыть тему своей ЦЕННОСТИ, попробовать указать проблемы индустрии, показать, что вы с ними знакомы и знаете решение.

Как минимум, ваше презентация может оказаться свежим глотком воздуха для уставших рекрутеров и значит, у вас больше шансов.

Кстати, когда я искал работу в Канаде из Москвы (я нашел ее), я создал себе канадский норме через IP телефонию и написал левый адрес в резюме, и так хотя бы просматривали мой опыт и со мной связались. Как результат, по приезду в Канаду, я выше на работу сразу. А обычно, вы будете искать работу несколько месяцев, просто все так медленно. Вот ссылка на презентацию https://www.slideshare.net/secret/JB5eHCWBW4i2fp

А это мое резюму, с которым я попал на собеседование в Амазон, может быть использовано как шаблон

#datagovernace

Вы наверно слышали термин Data Governace? Мне до си сих пор не доконца понятно, что с этим делать и я стараюсь избегать этого, но особенно в больших организациях от этого не убежать и приходиться заниматься скучной, но важной работой.

Data Goverance - процесс управления данными, состоит из множество элементов, как безопасность данных, доступ к данным, качество данных, жизненный цикл данных и тп. Обычно этим занимается Enterprise Data Architect или Chief Data Officer, но если такого нет, то это падает на плечи BI/Data разработчиков.

Сегодня пришло приглашение на онлайн конференцию по этому топику, которое будет в январе, вот ссылка, кому интересно записываейтесь:

http://datagovernanceonline.com/

Data Governance Elements

Нашел классный ресурс https://www.hackerrank.com. Вы решаете задачки и получаете балы. Можно выбрать языка программирования, можно выбрать разделы Databases, AI, Statistics. Есть различные tutorials. В общем оказался очень классный ресурс внутри. Чтобы решить задачку, нужно подумать. За задачки вы получаете балы, и можете посмотреть рейтинг. А работадатель, будет вас оценивать по вашим оценкам и скилам. Я порешаю SQL и Python задачки, а еще есть 10ти дневный курс по статистике, нужно освежить знания😎

#statistics Если у вас есть задачи находить инстайты в данных, не нужно все бросать и учить Data Science или Machine Learning, просто изучите статистические методы анализа данных, и попробойту применить их к вашим данным. Кстати в Амазон, если вы хотите работать в обслати ML, вам необходимо соответствовать уровню Software Development Engineer Level 1 (это программист примерно с 1-2 года опыта работы). Тоже самое и для Data Engineer, но bar ниже. https://www.khanacademy.org/math/statistics-probability

Случайно увидел статью от Nikita Shirobokov, я был на их презентации на матемаркетинг. Статья огонь!😭 https://www.facebook.com/acidcmo/posts/2068637749825734

#dataengineering

В приложение книжка Apache NiFi for Dummies (то есть для чайников). Это open source продукт для интеграции и трансформации - ETL, с возможностью загрузки данные в реальном времени.

Интересная статья про Revolut (финтех стартап). Для меня была интерсна вторая часть, как Николай создает команды и управляет бизнесом. https://vc.ru/finance/53106-nikolay-storonskiy-revolut-bank-slishkom-starinnoe-slovo-dlya-nas

#черныйлебедь
Ссылка на книгу: http://indbooks.in/mirror4.ru/?page_id=156384
Недавно я скидывал список книг, которые рекомендуются к прочтению в Амазон. Сейчас я читаю “Черный лебедь” и одна часть мне особенно понравилась:

Жирный Тони — это приятель Ниро, который жутко раздражает Евгению Краснову. Пожалуй, ему больше подошло бы прозвище Нескладный Тони, поскольку он не столько толст, сколько до того непропорционален, что никакая одежда на нем не сидит. Тони носит только вещи, которые специально для него кроятся в Риме и шьются на заказ, но все они смотрятся на нем так, будто он покупал их через интернет, без примерки. У него толстые руки, волосатые пальцы, золотой браслет, и от него вечно пахнет лакричными конфетками, которые он поглощает в промышленных количествах с тех пор, как бросил курить. Он не против наименования Жирный Тони, но предпочитает, разумеется, чтобы его называли просто Тони. Ниро же окрестил его Бруклинцем Тони за его акцент и бруклинский образ мышления, хотя Тони — один из тех процветающих дельцов, что перебрались в Нью-Джерси уже двадцать лет назад.
Тони — преуспевающий не-«ботаник» с веселым характером. У него куча друзей и приятелей. Кажется, что у него вообще нет проблем, кроме лишнего веса и вызванных этим подтруниваний семьи, дальних родственников и друзей, которые то и дело напоминают ему об опасности раннего инфаркта. Все средства тут бессильны: часто Тони отправляется в Аризону, в клинику для похудения, чтобы не есть, и даже теряет несколько фунтов, но снова набирает их уже по пути домой, в самолете, в кресле салона первого класса. Удивительно, что всегдашний строгий самоконтроль и самодисциплина изменяют Тони, когда дело касается обхвата его талии.

Начинал он в ранние восьмидесятые, клерком в отделе аккредитивов одного из нью-йоркских банков — перекладывал бумажки и занимался кое-какой рутинной работой. Потом ему поручили оформлять кредиты для малого бизнеса, и он понемногу разобрался в тонкостях игры: как устроен механизм финансирования в крупнейших банках, как работает их бюрократический аппарат и как это желательно отражать на бумаге. Тогда же он начал приобретать собственность обанкротившихся предприятий, скупая ее через финансовые учреждения. Тони верно подметил, что, покупая дом, проще иметь дело не с владельцем, а с банковским служащим, которому по большому счету все равно — ведь дом-то не его. Он быстро научился вести переговоры и маневрировать. Позже он также научился покупать и перепродавать автозаправки, беря кредиты в небольших районных банках.

У Тони есть замечательное обыкновение делать деньги без усилий, забавы ради, без напряжения, без офисной рутины, без совещаний, мешая сделки с частной жизнью. Девиз Тони: «Найти лоха». Ясно, что таковыми часто оказываются банки: «клеркам ни до чего нет дела». Найти лоха Тони умеет играючи: у него на них особый нюх. Пройдите с ним пару кварталов, болтая обо всем и ни о чем, и почувствуете, что узнали много нового о том, как устроен мир.

Тони обладает удивительной способностью доставать не внесенные в справочники номера телефонов, билеты на самолет в первом классе без доплаты или место на стоянке для вашей машины, даже если официально мест нет, — и все это благодаря нужным знакомствам и неотразимому обаянию.

А вот пример абсолютного антибруклинца, я назову его Доктор Джон. Он бывший инженер, а ныне работает статистиком в страховой компании. Это худой, жилистый человек, он ходит в очках и носит темный костюм. Живет он в Нью-Джерси, недалеко от Жирного Тони, но они, разумеется, почти никогда не встречаются. Тони не ездит на электричке (он водит «кадиллак», а иногда итальянский кабриолет жены — при этом шутит, что за ним не сразу разглядишь машину) и вообще не ездит на работу к определенному времени. Доктор Джон живет по графику, он предсказуем, как часы. По пути на Манхэттен он вдумчиво читает в вагоне газету, затем аккуратно складывает ее, чтобы продолжить чтение в обеденный перерыв. Если Тони обогащает владельцев ресторанов (не удивительно, что те встречают его лучезарной улыбкой и шумными объятиями), то Джон каждое утро педантично заворачивает свой сэндвич и упаковывает фруктовый салат в пластиковый контейнер. На нем тоже плохо сидит костюм, только Джон действительно заказал его по интернету.

Доктор Джон — ответственный, рассудительный и мягкий человек. Он серьезно относится к своей работе, настолько серьезно, что в отличие от Тони строго разграничивает рабочее время и частную жизнь. У него докторская степень по электротехнике и электронике, полученная в Техасском университете в Остине. Так как он разбирается в компьютерах и знает статистику, его пригласили на работу в страховую компанию, где он занимается компьютерным моделированием, пользуясь в основном программами для «управления рисками», и эта работа ему очень нравится.
Представьте, что я встретил Джона и Тони в баре. Понятно, что Джон и Тони вряд ли дышат одним и тем же воздухом, не говоря уж о том, чтобы зайти в один бар. Поэтому считайте все нижеописанное чистым мысленным экспериментом. Я задам каждому из них вопрос и сравню их ответы.
Н.Н.Т.: Предположим, у нас имеется абсолютно «честная» (идеальной формы) монета, то есть вероятность выпадения орла или решки для нее одинакова. Я подбросил ее девяносто девять раз подряд, и каждый раз у меня выпадал орел. Какова вероятность того, что на сотый раз выпадет решка?
Доктор Джон: Тривиальный вопрос. Разумеется, пятьдесят процентов, если мы исходим из абсолютного равенства шансов и независимости отдельно взятого броска от всех прочих.
Н.Н.Т.: А ты что скажешь, Тони?
Жирный Тони: А я скажу, что не больше одного процента.
Н.Н.Т.: Но почему? Я же сказал, что монета абсолютно «честная», то есть распределение шансов — пятьдесят на пятьдесят.
Жирный Тони: Ты, блин, или пургу гонишь, или сам лох, если купился на эти «пятьдесят пра-ацентов». Монета утя порченая. Честной игрой тут и не пахнет. (Перевод: я скорее усомнюсь в идеальной форме монеты, чем поверю в то, что «честная» монета, подброшенная девяносто девять раз, ни разу не упала вверх решкой.)
Н.Н.Т.: А вот Доктор Джон говорит, пятьдесят процентов.
Жирный Тони (мне на ухо): Насмотрелся я еще в банке на этих ботанов. Медленно са-абражают, вот что. Слишком уж запрограммованные. Их обуть — как нечего делать.
А теперь вопрос: кого из этих двоих вы бы выбрали мэром Нью-Йорка (или города Улан-Батора в Монголии)? Доктор Джон всегда мыслит по схеме, причем уже заданной схеме; Жирный Тони почти всегда — не по схеме, то есть творчески.
Определимся с терминами: те, кого я называю «ботаниками», — это вовсе не обязательно неряшливые, нелепые очкарики, у которых на поясе постоянно болтается КПК, как у копа — его пушка. «Ботаник» — это любой человек, чье мышление донельзя стиснуто рамками.
Вы никогда не задумывались, почему так много круглых отличников ничего не добиваются в жизни, а те, кто в школе плелся в хвосте, гребут денежки, скупают бриллианты и ни в чем не знают отказа? А некоторые даже получают Нобелевскую премию в какой-нибудь прикладной области (например, в медицине). Конечно, здесь не обходится без удачи, но отчасти дело в выхолощенности и отвлеченности школьных знаний, которые мешают отличникам понимать, что происходит в реальной жизни. В тесте на коэффициент интеллекта (IQ) и в любых других академических играх (включая спортивное соревнование) Доктор Джон оставит далеко позади Жирного Тони. Но в любой «природной», житейской ситуации Жирный Тони обскачет Джона. Суть в том, что Тони, несмотря на его неотесанность, обладает двумя качествами: искренним интересом к тому, как устроена жизнь, и своеобразной эрудицией; на мой взгляд, он в большей степени человек науки (в истинном, а не общепринятом смысле этого слова), чем Доктор Джон.
Нам нужно глубоко, очень глубоко вникнуть в различие между ответами Тони и Джона: они отражают принципиальнейшее, на мой взгляд, расхождение между двумя разновидностями знания, которые мы назовем «платоническим» и «неплатоническим». Если коротко: люди, подобные Доктору Джону, могут спровоцировать появление Черного лебедя за пределами Среднестана, потому что их разум «закупорен». Это глобальная проблема, и одно из неприятнейших ее проявлений (я называю его игровой ошибкой) заключается в том, что неопределенность в реальной жизни имеет мало общего со стерильной неопределенностью, которую мы привыкли встречать в играх и на

экзаменах.

#whitepaper В приложение white paper от Looker - Модель Зрелости Аналитики. Looker выделяет 5 столпов зрелости аналитики: 1)Стратегия и Видение 2)Создание команды аналитики
3)Хранилище данных 4)Использование аналитики 5)Адоптация пользователей