Инжиниринг Данных – Telegram
Инжиниринг Данных
23.4K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Интересно, когда у нас тоже будут анлитическую рекламу на билбордах размещать.
Про резюме
Если вы еще не знаете, что такое Матемаркетинг, то вам обязательно нужно сходить. Это не реклама, это действительно крутая конференция, где можно многому научиться.


А вот и описание:
Главная конференция для маркетинговых и продуктовых аналитиков, data-инженеров, стратегов - Матемаркетинг-2019

80 докладов, 10 мастер-классов, 100 докладчиков, 2 полных дня
Докладчики летят со всего мира - от Сан-Франциско до Токио.
Ключевые темы: алгоритмический маркетинг, a/b-тестирование, маркетинговая аналитика, маркетинг микро- и малого бизнеса, трек игровой аналитики и секция полностью зарубежная секция по user acquisition.

Подробнейшая программа Матемаркетинга на двух вкладках google sheets: http://bit.ly/33SYfe0

Все решения, о которых пойдет речь, можно имплементировать у себя в компании и учитывать при планировании сервисов.

Конференция пройдет 14 и 15 ноября (четверг и пятница) в центре Москвы.
Билеты: http://bit.ly/2SEBSUJ
Все подробности на сайте: matemarketing.ru
Нашел интересную матрицу, которая показывает, сколько времени загружать при какой скорости интернета. Скорость загрузки лимитирована законами физики и пропускной способностью сети. Средняя скорость в организации - 100 Mbps. Чтобы загрузить 100TB данных, нам потребуется 4 месяца.
История ML
Архитерктура решений Machine Learning от Gartner. Как вы видете ML будет использоваться повсеместно и очень важно понимать, какие задачи в бизнесе он может решать. Вам не обязательно знать, как запилить модель, но вы должны понимать, для чего он используется, какие требования и тп. Тоже самое Big Data, врятли вы Map Reduce на Java будете писать, но вы понимаете в каком случае можно использовать Hadoop. Например в Amazon, множество внутренних курсов по AI/ML для не технический специальностой. Не важно, вы аналитик, Product Manager, вам нужно знать о пользе ML/AI для бизнеса, а польза действительно большая. Наглядный пример - это недавная инвестиция в Element AI, они решают конкретные задачи и бизнес за это платит.

Курсов много - coursera, edx, AWS, GCP, Azure. У последних даже есть специализации.
Из новостей про Element AI: "Элемент AI был запущен с интересной предпосылкой, которая заключается в чем-то вроде этого: AI - это следующий серьезный трансформационный сдвиг не только в области вычислений, но и в том, как работают компании. Не каждая компания является технологической, и это создает своего рода цифровой разрыв между компаниями, которые могут определить проблему и решить ее с помощью AI, и теми, которые не могут это сделать." То есть, компанию хочет демократизировать решения AI и уровнять шансы технологических и не технологических компаний. Достойная цель для инвестиций.
Я тут вспомнил, что не расшарил презентацию с McKinsey Boston, вот она.

Сегодня я еще подался на 2 конференции в 2020 году:
- Data Summit - проходит в Бостоне, в прошлом году меня взяли, но это уже был перебор по деньгам опять лететь за свой счет.
- Big Data Canada 2020 - в прошлом году я не успел податься.
- Зато подался на Big Data Toronto, но не ответили.
- До этого подался на Enterprise Data World 2020. Я там уже выступал в 2018 и 2019.

Хотелось бы конечно попасть на Tableau Conference, Re Invest и Gartner Analytics Summit, но пока не сложилось. И думаю про Сингапур и Лондон. Все по классике, #fakeittillyoumakeit

Теперь я уже стал проводить A/B тестирование, на Big Data Canada откликнулся как Rock Your Data, а на Data Summit как Alexa AI, тем более в Бостоне вся моя команда. В целом я пытаюсь понять, что ценней для организаторов консалтинг, который входит в TOP 20 Big Data Consulting Firms in North America и Top 10 Big Data Analytics companies in Canada или Amazon Alexa AI. И в целом, пока все эти конференции - это большая статья расходов. Но работаем на будущее.

Вообще конференции это здорово, к сожалению часто бывает, что конкуренция крутая, очень много сессий, и в итоге ничего толком не посмотрел, а толку от записей нет, так как времени на них нет. У меня так было с Табло конференцией, там одновременно сессий 20-30 идет и еще воркшопы на половину дня, поэтому вроде как и весело, а вроде и бесполезно. Но что-то в них есть, ты попадаешь в другой мир, много новый идей и людей, и чувствуешь как развиваешься.

Если вы знаете классные мировые конференции (только не про AI) про Big Data, Cloud, то делитесь, попробую зааплится с #покерфеис
Я кстати тоже искал репетитора по математике в 2015, я пытался объясниить, что я хочу учить все что нужно для Data Science, но репетитор по скайпу так меня и не понял
Возможности Power BI
Я не один в Канаде топлю за облачную аналитику
Cloud Data Warehouse in a Day - Agenda (2).pdf
91.4 KB
Практически закончили подготовку к Workshop в Ванкувере про облачное хранилище данных на Azure. Я прикрепил содержание, если интересно.

Это был нон стоп марафон последние 2 недели, пришлось с 0 изучать Azure DW, но знания AWS очень помогли, посути все тоже самое. В целом от Azure SQL DW ожидал большего, но оказалась, что тут много настроек - индексы, партиции. Это вам не Snowflake.

А еще, получили серебряный статус партнера Майкрософт по ” Платформе Данных”, это позволило добавить услуги на маркетплейс, вот пример курса для США https://azuremarketplace.microsoft.com/en-us/marketplace/consulting-services/rockyourdata.clouddw8hoursworkshopus но можно добавить все, что угодно. Посмотрим как работает.
Tableau выпустила новую верси 2019.3, много классных фич. Один из трендов - BI вендоры добавляют AI элементы в их продукты. Это можно увидеть и в Power BI, Tableau, QuickSight, да и другие. Другой важный элемент - это Data Catalog и Data Lineage. Это не новые слова, но раньше существовали отдельные решения Enterprise класса, а теперь мы может все это найти в BI решении.

Data Catalog - поможет нам иметь общий список показателей и измерений и их описание. Я знаю хороший продукт - Alation, но достаточно дорогой.

Data Lineage сможет вам показать всю трансформацию показателя сверху вниз. Такое было много лет назад у SAP BusinessObjects (BI) и SAP Data Services (ETL), я видел дело еще в 2011 но не впечатлило.

Кстати в августе в Амазоне была внутренняя конференция по аналитике и одним из трендов было - Data Catalog и Data Lineage, но для более сложный кейсов, когда у нас и озеро данных, и Spark и Redshift и ML