к же они встраиваются в BI решений, чтобы опять же упростить жизнь конечных пользователей. Например, NLP (управление голосом или текстом), умные JOIN между таблицами, прогнозирование – все это возможности Tableau. Так же по опыту замечу, что часто обычная статистика может принести ощутимую пользу, поэтому прежде чем создавать нейронную сеть, попробуйте найти скрытые зависимости в ваших данных с помощью статстики.

Один из самых знаметых авторов, кто пишет о работе с данными и особенно о визуализации данных - это Стефан Фью (Stephen Few). Если у вас стоит задача создавать красивые и информативные дашборды (не важно где), то обязательно прочитайте его книгу ( у него их несколько). Иногда мне кажется, что он был консультантом Табло и помогал им создавать продукт. Хочу поделиться с вами интересной статьей, которая была написана 27 июня 2017 в его блоге - “Basta, Big Data: It’s Time to Say Arrivederci”, статья про хайп вокруг термина Big Data и о том как вендоры его используют, чтобы продавать свои решения подороже, но часто это все buzz words (маркетинг). https://www.perceptualedge.com/blog/?p=2670

26 ноября будет AWS re:Invent, это крупнейшая конференция в Северной Америке об облачных вычислениях, AWS продуктах, решениях, партнерсктх решения и многое другое. Очень интерсно смотреть Keynote сессии, по ним можно понять куда двигается рынок. Кстати, я планирую сдавать AWS Solution Associate экзамен, это такой вводный экзамен по AWS продуктам, не сложно получить, но говорит о том, что вы знакомы с облаком и AWS. https://reinvent.awsevents.com/learn/livestreams/

AWS klades znanii, vot naprimer AWS Online Tech Talks, tut mojno naiti na lubuu temu webinar i samoe glavnoe vse mojno besplatno poprobovat. Ja naprimer tak uchil Amazon Redshift (besplatno na 2 mesyaca) https://aws.amazon.com/about-aws/events/monthlywebinarseries/

#проанглийский
Все знают, что английский язык очень нуже в ИТ, так как практически все решения западные или часто мы работает в иностранных компаниях, где есть иностранцы, и наш рост завивисит от анлглийского. Недавно, читал статью в Harward Business Review, и оказалось, плохой английский один из барьевро для карьерного роста в западных компаниях. Этого нет в требования, просто так показывает практика.

Какие есть варианты учить английский?
-Курсы английского 2-3 раза в неделю по 1,5-2 часа
-Курсы английского онлайн
-Курсы английского с носителем языка онлайн, обычно 1 час, 2-3 раза в неделю
-Поехать в школу на 3-4 неделю в Англию или на Кипр
-Доп курсы английского на работе (2-3 раза в неделю по 1 часу)
-Курсы английского выходного дня
-Интенсивы
-Возможно некоторые, пользуются гипнозом.

Эти варианты, первое, что приходит на ум. Все зависит от уровня английского, и если у вас был английский в школе или в университете как обычный предмет, то значит ваш уровень английского не на высоте. Возможно вы уже приноровились читать документацию, но писать и говорить это не просто.

Как было у меня? У меня английский был в школе, потом в Университете. Я знал топики, например о России или достопримечательностях, но я не умел писать и говорил очень плохо. Вообще всем знакомо понятие языковой барьер и он действительно существует.

Я пользовался многими вариантами, которые сверху, но они давали очень низкий КПД, и главаня причина это отсутвия эффекта погружения. Когда мы занимаемся английским, мы все равно находимся мыслями в русско язычном прострастве, продолжаем думать на русском и отвлекаться. Отсюда и отсутствие результата.

Что я делал:
1)Самое крутое, что я когда либо делол, это волонтерство через http://world4u.ru/, я выбирал проект в Европе, и ехал на 1-2 месяца, жил в интернациональном лагере, где говорил на английском. Так я победил свой языковой барьер. Цена вопроса виза+билет на самолет. Друзья ездили в Штаты работать, тоже было эффективно.
2)Начиная с 2010 года я искал работу за границей, иногда случались собеседования и оттачивал терминологию и рассказ о своей профессиональной деятельности. Лучший сайт для поиска https://www.indeed.com/worldwide тут можно любую страну выбрать и вперед, так же можно посмотреть на предложения. Кстати возможно смотреть аналитику по ключевым словам, например Oracle vs Redshift и тп.
3)Банальные вещи как: Смотрел сериалы с субтитрами, слушал подкасты, читал проф литературу на англ, было 2 репититора по Skype носители языка (больше как подготовка к IELTS). То есть максимум языка.

Был показательный случай. Я сдал IELTS тест на 6-6.5. Мне нужно было 7 по всем предметам для Австралии. 4ре месяца я занимался 7 дней в неделю английским, у меня былы курсы на работа, просто курсы, 2 преподавателя носители языка. В таком режиме нон стоп, я был 4 месяца, и что вы думаете? Я сдал IELTS на теже балы, только письмо на пол бала выше. Это был финиш, тогда я окончально осознал важность погружения, а все остальное очень не эффективно. В итоге, подался в Канаду, там были ниже требования:)

Кстати, если кому нужно IELTS прокачать, лучший вариант на rutracker org скачать PDF учебники по IELTS, там экзамены прошлых лет, обычно 4 экзамена в одной книге, можете попробовать свои силы.

Поэтому мой вам совет, если вам нужен английский, старайтесь найти вариант с полным погружением, ни одна вечерняя школа или носитель языка по скайпу вам не поможет, нужно минимум месяц куда-нибудь уехать, где нет русскоговорящих, тогда вы заполните пробелы и выйдите на новый уровень. Кстати на Кипр, ехать тоже не вариант, так там больше тусовка, чем школа.

В приложении презентация - Best Practices for Migrating Big Data
Workloads to AWS (Про миграцию решения для больших данных в облако). Здесь имеют ввиду On-Premise Hadoop (то есть Hadoop кластер, который наодиться у вас в компании и вы тратите много ресурсов на его обслуживание). Не смотря на то, что презентация про AWS, такое же можно сделать в Azure и Google Cloud. В России есть Yandex/Mail Cloud, которые должны обеспечивать подобные решения. В целом презентация про подход.

Очень важный фактор - Разделение Вычислительных мощностей и Хранения данных. На воркшопе про Snowflake, я говорил про это в MPP базе данных, которое дает много преимущест, оно пришло из мира решений для Big Data

Если бы меня спросили, какой бы я дал 1 самый крутой совет, который подойдет всем, то это было бы Fake it, 'till you make it. Проверено, работает 100%)

Норм?

▪️ 82% (33) 🔥
🔸🔸🔸🔸🔸🔸🔸🔸

▫️ 7% (3) 😳


▪️ 7% (3) 🙊🙈🙉


▫️ 2% (1) 😭


▪️ 0% 😤🤬

👥 40 - всего голосов

Сегодня я увидел статью с заголовком "BI тренды 2019", давайте посмотрит, в каком направление движется индустрия BI (имеется ввиду BI инструменты):
1 Рассвет понятного AI - организации все больше используют AI и ML, но для многих это лишь черный ящик, и возникает вопрос, а можно ли доверять? AI, ML должны помогать, но не заменять. Если посмотреть топовые BI инструменты, они предлагают статистические методы, например прогноз есть у всех (даже у в мое подразделении, бизнес используюьт Tableau прогнозирование для автоматизации бюджетирования, потому что это быстро, но вот насколько точно, это вопрос). Надеюсь, у вендоров есть идеи, как сделать результат более понятным и прозрачным для конечных пользователей.

2 Использование речи для взаимодействия с данными - Power BI представил такую возможность еще давно, а вот Tableau лишь только недавно, вы можете попробовать это новой бете. Идея проста - зачем кликать мышкой, давайте просто спросим: "Сколько продали вчера?" и инструмент предложит варианты отчетов. Как вы понимаете, тут много нюансов, но, если заменить SQL запросы обычными фразами, может чего и получиться. Я пока не планирую это использовать, мне бы просто документацию сделать по тому, что есть.

3 Решения должны приниматься с использование данных (я думал это из 80х), все новое это хорошо забытое старое.

4 Данные и аналитика должны иметь положительный эффект на общество - вот, например известный кейс Tableau - борьба с Малярией в Африке при помощи визуализации данных, и это действительно работает.

5 Этика данных - всем видели новости про проблемы с персональными данными, GDPR. Без этого никуда, особенно сложно международному бизнесу, в каждой стране свои заморочки. Раньше были только с налогами, а теперь еще нужно шерстить все хранилище данных, чтобы соответствовать GDPR.

6 Процедуры по управления данными (data management and data goverance) - опять же это довольно старое понятие, но сейчас появляется много современных инструментов, которые позволяют управлять данными. Например Alation - это облачное решение, которое позводяет хранить информацию о ваших моделях жанных в DW и в Tableau. Помимо этого есть множество других процедур связанных с данными. Например, у меня до сих пор нет каталога данных, так как Excel или Confluence не эффективно, а автоматическое решение также требует кучу времени на внесение информации, так и живем.

7 Истории - все уже знаю насколько круто рассказать историю подкрепленную графиками (данными). Получается, что даже в закоренелых компанию осознали, что визуализация, интерактивных дашборды это не только красиво, но и эффективно. Ну конечно у Tableau всегда было опция Story Telling.

8 Корпорация стали умнее и легче адаптирубтся к аналитическим решениям - возможно это мы могли слышать каждый год с начала использования BI решений. Но факт, остается фактом, все крупные организации понимают ценность BI решений и готовы инвестировать в решения и специалистов (а вы попрсоили оплатить тренинг?)

9 Демократия данных позваляет аналитикам данных (data scientist) использовать данные, чтобы вносить изменения в бизнес процессы. Имеется ввиду, что данных мы собираем много, и може найти insights, и так же можем правильно донести информацию до руководителей, что они все поймут и действительно примут правильные решения. В моем случае, мне понадобилось 2 года, чтобы донести ценность BI до высших руководителей

10 Мое любимое - Облачные решения ускоряю процесс создания аналитического решения и его адоптацию и внедрение. #rockyourdata

Вот и сам отчет, красивый. Другие вендоры тоже делают такое, но в целом AI и NLP будут в топе.

Вчера была проезентация - Best Practices on Scaling Amazon Redshift (лучшие практики по масштабированию Редшифт). Вообще слово "масштабирование" очень хорошее, не стесняйтесь его использовать, оно подойдет для любой технической и бизнес темы👻

Редшифт был создан в феврале 2013, как конкурент ведущей MPP базы данны Терадата, но он был создан в облачной инфраструктуре (AWS), то есть вам не надо покупать железо (сервера) за млн долларов, вы платите за то, что используете. Я всегда вспоминаю свои проекты по внедрению аналитической системы в Сбербанке, проекты были убыточные, вместо 6 месяцев длились 2 года, зато все получали свой lean (бережливы).

Если вы еще не пробовали Amazmo Redshift, так попробуйте, это бесплатно, у них на сайте есть step by step tutorial (1й создание кластера, создание таблиц, загрузка данных в них, 2й создание таблиц и загрузка 250млн строк и дальнеяшая оптимизация). Опять же зная Redshift на простом уровне, вы будете знать про MPP архитектуру и понимать как работает Big Query, Azure DW и другие облачные или аналитические продукты.

Тут можно скачать бесплатно книги по Data Science от Pack Pub (я почти все технологии по их книгам изучал): https://www.datasciencecentral.com/profiles/blogs/free-ebooks-from-packt

Очень интересная мысль президента “Сколково”:

”Мы живём в мире VUCA (VUCA — это аббревиатура из английских слов volatility (нестабильность), uncertainty (неопределённость), complexity (сложность) и ambiguity (неоднозначность). Чтобы описать это состояние VUCA, лектор привёл несколько цифр:

— 90% информации в мире появились за последние 2 года;

— ожидается, что средняя продолжительность жизни детей, родившихся в 2007 году в США, Италии, Франции и Канаде, будет 104 года;

— стоимость хранения 1 Гб информации с 1980 года снизилась в 1 миллиард раз;

— стоимость секвенирования генома 1 человека снизилась в 100 тысяч раз;

— 75% населения планеты имеет доступ к мобильной связи, но не все из них имеют доступ к чистой воде;

— ещё 10 лет назад не существовало как минимум 10 профессий, которые сегодня входят в число самых востребованных и высокооплачиваемых (специалист по BIG DATA, APP-разработчик, оператор дрона и т.д.).

Нетрудно заметить, что мир VUCA связан с 4 промышленной революцией, но он затрагивает не только экономику или национальные интересы, но и людей, каждого из нас. Чтобы стать успешным в этой ситуации, нужно меняться. “

Статья тут: https://www.kantiana.ru/news/142/209523/

#началокарьерысданными

Я закончил МГТУ Станкин по специальности инженер конструктор. Я мечтал о работе в Германии на автозаводе. К сожалению, университету было неважно, о чем мечтают студенты. На 4 курсы я пошел на практику на ГКНПЦ им Хруничева и осел там на 3 года, работал инженером и мастером смены (по факту возил телеку с металлом). Уже тогда я решил создать выдуманное резюме, где у меня уже несколько лет опыта и аспирантура, разместить на HH и посмотреть отклик. Результата не было.

У меня был товарищ, он работал ассистентом проект менеджера в ИТ, у него зп была 50 тысяч (2010 год), а у меня была 15т (и по трудовой я значился как «начальник участка»), то есть очевидно, куда надо было двигаться. На заводе с горем пополам мы с товарищем перевились в отдел с компьютерами, где время остановилось в 86году, и мы слышали истории автоматизации того времени. В это время были освоены Counter Strike и Half-Life в совершенстве

Как пробиться из машиностроения в ИТ (или из X в Y индустрию)? Я открыл рейтинг РБК, выписал ТОП 40 компаний, и разослал письма, откликнулся на вакансии. Результат = 2 звонка и одно собеседование все мимо. Главная проблема, у меня не было «наставника», того, кто мог бы мне показать короткий путь.

Мне повезло, одно из моих резюме нашли на HH «Стажер ИТ» и предложили поработать 3 месяца бесплатно, в качестве BI разработчика в Франциском банке. Слова SQL и BI я слышал первый раз в жизни. На вопрос «Вам знаком SQL? Это единственное требование», я не растерялся и ответил «Конечно! У меня дипломный проект использует SQL и базы данных». Уточнять не стали. Вскоре было понятно, что SQL не мой конек, как и английский. И то и другое я подтягивал через учебные материалы SAP Business Objects.

Так я начал работать с Business Intelligence, мне всегда нравилось, что я на стыке бизнеса и ИТ, нужно понимать бизнес процессы и уметь руками создавать решения, для сбора данных, которые генерятся бизнесом.

Если вы чего-то не знаете, это не страшно. Всегда можно компенсировать не знание временем. Например, вам нужно выполнить задачу. Например, для опытного специалиста, нужно на задачу 4 часа, а вам нужно намного больше. У вас есть в запасе вечера и выходные. Даже если у вас будет все получатся медленно, но вы будете вкалывать, это заметят и вас оценят. Всем своим junior я всегда говорю, будьте готовы 24/7, вы будете работать много, но это принесет плоды.

В Канаде, это работало против меня. Я взял себе на стажировку студентка на 12 месяцев. Товарищ был и Индии. Я ему сразу сказал, что к чему и как нужно работать. В общем я его по привычке много напрягал и просил часто все переделать. Мне казалась, что я делаю лучше для него, он получит классный опыт и будет хорошим специалистом через 12 месяцев и сможет найти полноценную работу. Но он так не думал, он жаловался менеджерам. В итоге, мне сказали, что я не прав, и это повлияло на мое review. Поэтому, что работает у нас, не работает у них. Проблема в моем случает была, что я сильно на него давил, это могло плохо повлиять на долгосрочные отношения с сотрудником и компанией. Необходимо создавать благоприятною атмосферу для всех, давать свободу действий (он сделает лучше то, что ему нравиться, чем то, что я его прошу).

Самый популярный ответ, который я слышал от бизнес: “This isn’t in my job denoscription”. Каждый раз, когда я пытался сделать Self-Service BI и перекладывал часть обязанностей на бизнес пользователей. В Москве я никогда не читал свои обязанности, а в Канаде это святое

Выводы:
1) Совершенно не важно какое у вас образование, вы можете создать карьеру в любой области. Чтобы сэкономить время, спросите у эксперта, как достигнуть результата наикратчайшим путем.
2) Если вы чего-то не знаете или не справляетесь, у вас всегда есть в запасе куча времени, включая выходные, чтобы все успеть и сделать. А во 2-х, усердный труд всегда заметят.
3) Одного «сухого резюме» не достаточно, вы просто один из множества, нужно постараться, чтобы привлечь внимания, желательно, делать то, что не делают другие кандидаты.

4) Что работает в России, может совершенно не работать за границей.

Все виды графиков, которые вам могу понадобиться:)