Порция постов для оголодавших гиков и прочих причастных к Big Data, ML и Python разработке:
Speaking of Spark Mllib
Modern Big Data architectures
Testing and validation in ML

Если вам интересно то и то, то вы можете подписаться на канал

PS автор поста закинул денежку vsevsevmeste.ru🤗

Вот и подошла к концу самая эпичная битва зимы!

Финал чемпионата для дата-сайентистов Alfa Battle 2.0.
Присоединяйтесь на утренний кофе с победителями и всеми причастными к громкому событию в it-индустрии 💥

Мы собрали для вас содержательный и яркий видеоподкаст:
- Победители поведали секреты эффективного подхода к решению задач чемпионата
- Организаторы поделились инсайтами “Как создавать задачи со звездочками”
- Жюри выбрало лучшие открытые решения
- Раскрыли карты “Как попасть на стажировку в компании Альфа-Групп”

📍Ссылка на трансляцию - https://www.youtube.com/watch?v=A7ha6mRUnhc

Заваривайте свой любимый напиток и готовьтесь погрузиться в самое технологичное утро февраля ☕️

PS тоже поддержали vsevsevmeste.ru😋

Хорошо нарисовали, что во что можно конвертировать в power query

Из историй про Power BI. Опять же, может кто подскажет. Задача была простая - использовать Power BI API, чтобы выгружать PDF и обновлять дашборды. Результат сохранять в Shared Folder. Этим больше занимался мой коллега.

Тема интеграции ETL и BI моя любимая! Так как нельзя доверять расписанию BI, так как оно сработает независимо от того, ETL готов или нет. Всегда одни и те же проблема. В 9 утра отчеты уже обновились, все ковыряются в данных и к обеду находят, что данные кривые - оказывается ETL упал ночью😵 Я настраивал так для Microstrategy и SAP BusinessObjects. И даже в tableau делал через Pentaho.

В Tableau я всегда использовал tabcmd (клиент для CLI). Мы можешь его установить на машину с ETL и дергать Tableau Server, как только ETL готов, если что-то сломалось, просто получим уведомление по email и в messenger. Есть еще библиотека для Python, делает тоже самое. В общем очень элегантно и работает безотказно. Можно еще добавить для Windows Febooti CLI email клиент, он будет отправлять отчеты, а можно и в AWS S3 складывать или AWS SES, чтобы отправлял приложение. Много сценариев. Мой пример для Matillion+Redshift;

А вот если гуглить похожий сценарий по Power BI, получается не так все просто. На словах просто, на деле нет. У нас это работает через Power BI Embedded. Там цены в месяц за среднюю машину под 3к$. К ней можно через API подключиться и она может все сделать, но embedded дорогой, потому что он для приложений, где может быть много пользователей, например личный кабинет. То есть это как из пушки по воробьям. С помощью Azure Data Factory мы запускаем весь pipeline, берем credentials из Azure Key Vault, через API Call аунтифицируемся, обновляем модель и скачиваем PDF. Там у товарища компонентов 10-15 pipeline. И куча сложностей с аунтификацией, поэтому он через Embedded зашел.

Может есть более простое решение?

Про Snowflake я писал не раз и даже общался с компаниями в Москве, кто хочет внедрять технологию. Приходили и рекрутеры, кто хочет специалистов по Snowflake. Так что наш следующий вебинар очень в тему. И он в тему модуля 6 #datalearn про современные аналитические DW. Я бы даже отнес его к Lakehouse.

https://youtu.be/XJa3gGWidg0

Из нашего slack:

Мальчишки, девчонки, а также их родители, про Snowflake историю в понедельник 8 февраля в 20:00 по мск послушать не хотите ли? Николай Голов подготовил отличный доклад. Ему есть чего рассказать и чему поучить!

Как всегда всем быть, те кто смотрит лекции будущие Олимпийские чемпионы в дата мире 😊
🔔 Что нужно сделать:
📌 Перейти по ссылке и поставить колокольчик, чтобы в понедельник не пропустить
📌 Отложить все дела на понедельник
📌 В понедельник в 20:00 быть на вебинаре

И ПОДПИШИТЕСЬ НА НАШ ЮТУБ

Хорошая книга, наверно в pdf появится скоро.

Из нашего slack

У Microsoft есть блог на medium - Data Science at Microsoft. Недавно они сравнивали framework для ML - Tensorflow и Pythorch.

Alibaba Cloud не отстает от своих собратьев в Северной Америке. Свежая статья про Data Lake.

Начало через 12 минут! Кстати Николай еще выступит на Vancouver Snowflake User Group (для Канадских сообществ) и расскажет более детально про использование Snowflake и его особенности, возможно начало марта/конец апреля https://youtu.be/XJa3gGWidg0

Так позиционирует себя Plotly (Dash) среди BI инструментов

Новая книга по Табло. Серьезный труд - обещают 800 страниц.

❗️Друзья приветствую всех!
Завтра на нашем ютуб канале вебинар (10.02.2021) в 19:00 по МСК
Название вебинара: Путь Инженера Аналитики: Решение для Маркетинга на Azure SQL + dbt + Github Actions + Metabase

Описание:
Меня зовут Артемий Козырь. Расскажу про ниндзя-проект по сбору Сквозной Аналитики для Performance-маркетинга:
- Бизнес-цели проекта
- ELT и пылесосинг данных из источников
- Организация Хранилища на dbt
- Open Source BI на Metabase
- Нюансы Dev & Ops
Отвечу на вопросы: облака, выбор инструментов, обучение, карьера, пути развития

Ссылка: https://youtu.be/SoOcvYPSm7o

Как всегда всем быть, те кто смотрит лекции будущие Олимпийские чемпионы в дата мире :blush:
🟢 Что нужно сделать:
➡️ Перейти по ссылке и поставить колокольчик, чтобы в среду не пропустить
➡️ Отложить все дела на вечер среды
➡️ В среду в 19:00 быть на вебинаре
Всех обнял, до встречи в эфире ☺️
И ПОДПИШИТЕСЬ НА НАШ ЮТУБ

❗️❗️❗️Важные обновления на DataLearn в 2021 (январь - начало февраля):
1️⃣ Напоминаю, что мы запустили курс по Getting started with Machine Learning and Data Science
Вход в профессию.
Уже вышло целых 3 видео и видео выходят по средам ну или четвергам.
Там есть домашние задания и лабораторные работы, найти вы сможете их на гите.
По моему мнению самый крутой курс для старта Data Science, просто, интересно и актуально.
Даже если вы не хотите идти в Data Science, курс обязателен для общего развития, вы же чемпионы.
Преподаватель - Анастасия Риццо
Да кстати у нас в слаке есть отдельный канал по этой группе и там вы смело можете задавать Насте вопросы.
Канал в Слаке называется ml-101-общий-чат-курса для тех, кто не нашел ту дверь, в которую вошел))
Записаться на курс: https://datalearn.ru/kurs-po-ml-ds

2️⃣ Мы запустили курс по поиску работы для аналитических специальностей в России и зарубежом
Уже вышло 3 видео, есть группа в слаке: jh-101
Преподаватель Анастасия Дробышева - консультант по рынку труда и карьерному развитию, проекта Job2Joy.
Как же вы чемпионы и без работы то. Именно Настя подготовит вам ту удочку, на которую вы сможете поймать свою золотую рыбку.
Записаться на курс:
https://datalearn.ru/kurs-po-poisku-raboty-dlya-analiticheskikh-spetsialnostey-v-rossii-i-za-rubezhom

🟢 За последнее время у нас было несколько крутых вебинаров:
1)ДАТА КОМАНДА: ЦЕЛИ, СТРУКТУРА И УПРАВЛЕНИЕ
ссылка:https://youtu.be/NLOq7GC7zA8

2)GIT / GITHUB / GITLAB / ДЕНИС ВОЛК
ссылка:https://youtu.be/-CPiOe9rnh0

3)SNOWFLAKE ИЛИ КАК БД ВЫБИРАЛИ / НИКОЛАЙ ГОЛОВ / MANYCHAT
Ссылка:https://youtu.be/XJa3gGWidg0

Да, кстати к ним ко всем я добавил обещанные ссылки от спикеров, дополнительные материалы находятся в описании под видео на ютубе

4) Павел Новичков - активный член сообщества DataLearn начал записывать видео по Pentaho.
Вот ссылка на первое видео:https://youtu.be/RL-EZCi51gc

В ближайшем будущем планируется полномасштабный курс по SQL, он должен был выйти в феврале, но еще ведутся работы по модернизации

Ах да и мы все же запустим комьюнити для женщин уже скоро, даже в течение недели, но это так новость на затравку для прекрасного пола🙄

Столько обновлений было за месяц, что забыл еще про одно:
У нас был очень крутой вебинар - РАЗВИТИЕ АНАЛИТИЧЕСКОГО МЫШЛЕНИЯ
Для тех, кто хочет прокачать свое серое вещество, просто обязательно к просмотру, если что, то большая часть команды DataLearn его посмотрело.
Специалисту в области данных очень полезно иногда отвлечся от технических штук и понимать как устроен окружающий мир, так что рекомендуем к просмотру
ссылка: https://youtu.be/7qVJO0-XdL4