Миграция в Yandex DataLens за 3 месяца: 36 дашбордов для 400 пользователей

Перед «Ренессанс Страхованием» стояла амбициозная задача — найти альтернативу зарубежной BI-системе и переехать в кратчайшие сроки. Благодаря cервису анализа и визуализации данных Yandex DataLens компании удалось сократить расходы на аналитику и ускорить работу с данными.

Читайте подробнее на сайте ➡️

#реклама

через 5 минут начинаем

Хороший наглядный пример, как простой документ имеет больше пользы чем красивый PDF. Не надо соревноваться в красоте ваших резюме, сделайте простой и понятный google doc/ word doc.

А если хотите красоты и креатива - сделайте github, tableau public, blog, personal website.

Всем привет!
Сегодня в 20:00 по мск вебинар!
Тема: Гринкарта
Спикер: Roman Gailit
Ссылка: https://youtube.com/live/KGx2Ldn_lRI?feature=share

О чем поговорим:
Роман расскажет как получал гринкарту, даст советы, тем кто получил, расскажет про US.
Бонусом обсудим GPT в целом и вскользь, технический опыт работы с ним (пролог к следующему вебинару)

Канал Ромы:
https://news.1rj.ru/str/roma_reporting

#datalearn #вебинар

через 15 минут начинаем

Очень понятное и простое объяснение про Биткоин. Я так же могу вам про дата инжиниринг или машинное обучение рассказать. Кратко и по делу😎

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.

Теперь дни быстрого найма будут проходить регулярно. Чтобы вам было удобно следить за расписанием, собрали его на отдельной странице.

Ближайшее мероприятие:

• 24-28 апреля — Fast Track для аналитиков и разработчиков метрик. Офер за 5 дней в отдел аналитики и метрик Поиска.

Зарегистрироваться

#реклама

Свежее обсуждение резюме на позицию Data Engineer для западной компании. Мероприятие было на linkedin.

Почему бы и нет!

Скоро будет интересное событие - Starship Flight Test. Для меня оно втройне интересное, потому что:
1. В школе, я ездил 2 года на кружок ракетомоделирования в настоящий Дворец Пионеров (он еще существует), даже участвовал в соревнованиях по запуску ракет.
2. Я 3 года проработал на ГКНПЦ им Хруничева, который строит отечественные ракеты Протон.
3. Недавно был забавный случай, которые был мне на руку. В компании, в которой я staff data engineer, я уже достаточно известный персонаж, потому что это первая компания, когда при знакомстве со мной коллеги начинают с того, что я авто 7 книг по аналитике. Но они решили пойти дальше. Когда у нас был offsite, то была организована Data Jeopardy (в России это аналог Своя Игра, это где дядя Вассерман в жилетке знает все ответы). Организаторы добавили секцию people и задолго до события нужно было каждому желающему заполнить анкету о себе. Я как обычно указал на факт работы на космическом заводе. В итоге в одном вопросе на "people 300" был вопрос "Who was rocket scientist in the past?" Никто не угадал, но ответ был Dmitry Anoshin. Теперь я не просто автор 7 "бестселлеров", но и настоящий Rocket Scientist. Все люди потом подходили ко мне познакомиться, ну пришлось говорить им, что я был Rocket Engineer.

И тут я заметил насколько важно, как вас представят в новой компании. Я уже привык, что всем все равно на книги, на мой опыт. А тут получилось наоборот. В общем очень важно какой вам introduction сделают в компании. Получается - "Как корабль назовешь, так он и поплывет"😊

Ну вы теперь поняли как ко мне обращаться - Дмитрий, кандидат технических наук, автор 7 бестселлеров, rocket scientist, создатель успешного консалтинга Rock Your Data и далее по списку😂

Традиционная рубрика для меня начиная с 2011 года - магический квадрат Хартнера для БиАй .

Power BI конечно непобедим. Но я так и не смог его полюбить🥴 Толи еще будет, ждем анонсов от Microsoft уже в мае о новом продукте (бете).🤐

Табло внедрах SalesForce как-то ушло в тень. Печаль. 😭

Вместо Looker, теперь Google.

А где же data lens от яндекса!? вы там денег занесите кому следует🙃

Вот такие вот дела. AI пока не может помогать по дому, мыть посуду и сортировать носки (может кончено подсказать как это делать и даже различать носки, но это еще не то пока что). Зато можно уже менеджеру писать ответы, мониторить зум встречи и помогать по работе.

PS вернул комменты, но только решил себя отключить от них и сделал Романа админом комментариев, а себя заблокировал, чтобы не повторять ошибок молодости, когда в день мог зависать по 4 часа в телеге.

Вы можете посмотреть запись моего доклада про Инжиниринг данных в «Майкрософт»
Среди тем доклада:
собеседование и начало работы;
создание Delta Lake с нуля и модернизация аналитического решения;
software engineering в работе инженера данных;
специфика «Майкрософт»;
плюсы и минусы работы в «Майкрософт»;
отличие культур Amazon и «Майкрософт» по мнению спикера;
типовые аналитические решения «Майкрософт».

Насколько я понял при регистрации на сайт, доклад доступен к просмотру бесплатно.

Если вам интересно как работает Майкрософт или посмотреть на типовое аналитическое решение в западной компании (кстати для собеседований норм контент), то вам подойдет.

Мы уже в прошлом говорили о GitHub Copilot (1-2 поста) и ChatGPT(много постов) и как они могут помогают в работе. А вот еще один продукт от AWS Amazon CodeWhisprerer. Сейчас на одном большом проекте для телекома я работаю с AWS Serverless Data Lake, в котором много сервисов типа AWS Lambda, CloudWatch Events, и для каждой job запускается свой EMR кластер. А так же для каждой job есть огромный конфигурационный файл YAML.

В качестве репозитория используется продукт Confluence - Bitbucket и он подключен к AWS CodeDeploy/Commit/Build. И недавно подключили CodeWhisprerer. Каждый раз когда вы делать git push, CodeWhisprerer сканирует ваш код и выдает очень хорошие комментарии по улучшению кода, в моем случае Python. Так же от товарищей слышал, что помогает писать код.

Задача инженера данных очень узкоспециализированная, использовать существующий framework, чтобы клепать jobы (data pipelines):
- мигрировать Teradata в Snowflake
- Забирать данные с публичных API
- Мигрировать старые Hive jobs на EMR Spark

EMR это главный ETL движок для всего. А вся документация, которая устарела еще в 2020 году создана на Sphinx - что выглядит неплохо и можно сразу интегрировать операционные дашборды туда. Но как и любая "ручная" документация устаревает очень быстро.

После 2х лет на Databricks такой setup для меня конечно ахтунг. Но что есть, то есть. Это я еще только про Batch часть проекта упомянул, а есть еще Streaming. Теперь я чувствую себя классическим Big Data Developer, хотя моя позиция называется ETL Developer🙈

Школа анализа данных Яндекса вновь открыла приём заявок — он продлится до 7 мая. Успейте зарегистрироваться, чтобы получить возможность учиться у топовых учёных и IT-специалистов.

Программа длится 2 года, обучение бесплатное. Можно выбрать одно из направлений: data science, инфраструктура больших данных, разработка машинного обучения или анализ данных в прикладных науках.

Чтобы учиться в ШАДе, важно интересоваться машинным обучением, обладать хорошей математической подготовкой и владеть одним из языков программирования. Заполните анкету уже сейчас: https://clck.ru/344mCA

🤙 Софт скиллы: разбираемся раз и навсегда

Написал заметочку о том, как я лично для себя определяю софт скиллы. Я пытался найти что-то подобное в интернетах, но нашел в основном какие-то раковые статьи про важность «коммуникабельности» и «стрессоустойчивости». Из такой корпоративной каши даже я бы ничего не понял, чо тут удивляться.

Даю своё, возможно неканоничное, зато работающее на практике определение.

https://vas3k.blog/notes/softskills/

Практический вебинар VK Cloud: Погружение в MLflow API. Готовые рецепты и сценарии использования

⏰ Когда: 4 мая, 16:00 по Москве
📍 Регистрация

На вебинаре спикеры покажут основные этапы работы с ML-моделями в MLflow. Вы узнаете, как оценивать и сравнивать модели и выводить их в production.

В программе:

🔹 Принципы работы с MLflow на Jupyter в облаке и решение основных задач: логирования метрик, моделей и параметров.
🔹Сравнение различных ML-моделей и экспериментов с помощью извлеченных метрик.
🔹 Разбор большинства методов MLflow API.
🔹 Деплой ML-модели и демонстрация основных сценариев использования на практике.

Спикеры:

— Александр Волынский, технический менеджер продукта Cloud ML Platform, VK Cloud
— Сергей Артюхин, преподаватель курса «Симулятор ML», karpov.courses

Вебинар будет полезен дата-сайентистам, MLOps- и DevOps-инженерам и аналитикам данных.

Зарегистрироваться

#реклама

Очень классно видеть как Power BI продвигает практики BI больше как код на примере Azure DevOps. Достаточно много информации как использовать git репозиторий и автоматические deploy изменения в production.

Я полностью поддерживаю подход git, CI/CD для профессий связанных с аналитикой. Хотя за 5 лет в Амазоне ниразу его не применял. То есть можно и без него обойтись, тогда вы недоинженер😛

Я зарегистрировался на Snowflake Summit 26-29 июня в Лас Вегасе. Цена удовольствия 2000$ + отель + билеты. Но я сам не платил. Если кто еще отправится, сделайте чатик и в комментарии напишите, чтобы уже на месте встретиться и выпить за здоровье data🤠