Кто такой Analytics Engineer – E2E-решение с использованием bash + dbt + Looker

Привет! Меня зовут Артемий Козырь, и я Analytics Engineer в Wheely.

Мы могли бы долго и нудно обсуждать, кто такой Analytics (Data / Backend) Engineer, какими инструментами он должен владеть, какие buzzwords в тренде и ценятся в CV, однако, на мой взгляд, гораздо интереснее рассмотреть процесс и результаты его деятельности в рамках конкретной прикладной задачи.

В этой публикации:


Читать: https://habr.com/ru/post/665642/

Data Engineering Weekly #86

Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-86

7 элементов продуманной стратегии развития ИИ: опыт Salesforce

Искусственный интеллект перестал быть вотчиной исключительно крупных компаний. Он становится мейнстримом для бизнеса, однако, по словам президента и исполнительного директора Salesforce Брета Тейлора, успех способствует ему не всегда. Продуманная стратегия развития ИИ должна в первую очередь учитывать интересы клиента и чётко определять результаты для бизнеса, а ключевым аспектом для всего этого являются данные.

В своём докладе на конференции Scale TransformX 2021 Тейлор рассказал об основных вопросах, которые компании любого размера должны учитывать, чтобы выполнять задачи клиентов и достигать стабильных результатов.

В этой статье мы вкратце изложим семь основных выводов из презентации Тейлора. Более подробную информацию можно посмотреть в видео.


Читать: https://habr.com/ru/post/663112/

Reading Statistical Analytics Illustrated

Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/05/reading-statistical-analytics-illustrated.html

Federate access to Amazon Redshift query editor V2 with Active Directory Federation Services (AD FS): Part 3

Read: https://aws.amazon.com/blogs/big-data/federate-access-to-amazon-redshift-query-editor-v2-with-active-directory-federation-services-ad-fs-part-3/

Видео докладов потока Big Data. Конференция BeeTech 2.0

Привет! Мы продолжаем публиковать видео с конференции BeeTech 2.0.  Поток Engineering тут, Management тут.

В этой статье я поделюсь выступлениями спикеров потока Big Data. Вот ссылка на весь поток, внутри статьи ссылки на каждое видео с его описанием + презентация спикера.
Посмотреть видео

Читать: https://habr.com/ru/post/665896/

The Musk sampling plan, thought through

Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/05/the-musk-sampling-plan-thought-through.html

Federate single sign-on access to Amazon Redshift query editor v2 with Okta

Read: https://aws.amazon.com/blogs/big-data/federate-single-sign-on-access-to-amazon-redshift-query-editor-v2-with-okta/

Deep dive into Amazon EMR Kerberos authentication integrated with Microsoft Active Directory

Read: https://aws.amazon.com/blogs/big-data/deep-dive-into-amazon-emr-kerberos-authentication-integrated-with-microsoft-active-directory/

Как улучшить архитектуру озера данных: два уровня прокачки

Lake city by arsenixc

Построение озера данных на основе облачных сервисов предполагает активное использование объектного хранилища S3. Команда VK Cloud Solutions перевела статью, которая раскрывает тонкости Cloud Native Data Lake.


Читать: https://habr.com/ru/post/665870/

Новости из мира Data Science — дайджест от МТС

Публикуем свежие новости о Data Science: новые проекты, модель, которая пишет симфонию и база кода от Google Research

Читать: «Новости из мира Data Science — дайджест от МТС»

Use a linear learner algorithm in Amazon Redshift ML to solve regression and classification problems

Read: https://aws.amazon.com/blogs/big-data/use-a-linear-learner-algorithm-in-amazon-redshift-ml-to-solve-regression-and-classification-problems/

Coming June 2022: An updated Amazon QuickSight dashboard experience

Read: https://aws.amazon.com/blogs/big-data/coming-june-2022-an-updated-amazon-quicksight-dashboard-experience/

Ingest Stripe data in a fast and reliable way using Stripe Data Pipeline for Amazon Redshift

Read: https://aws.amazon.com/blogs/big-data/ingest-stripe-data-in-a-fast-and-reliable-way-using-stripe-data-pipeline-for-amazon-redshift/

Use Amazon Redshift RA3 with managed storage in your modern data architecture

Read: https://aws.amazon.com/blogs/big-data/use-amazon-redshift-ra3-with-managed-storage-in-your-modern-data-architecture/

Analyze Amazon Ion datasets using Amazon Athena

Read: https://aws.amazon.com/blogs/big-data/analyze-amazon-ion-datasets-using-amazon-athena/

Ускоряем dplyr: бекенды dtplyr, multidplyr и dbplyr (видео урок + конспект)

dplyrодин из наиболее популярных пакетов для языка R, основным преимуществом которого является удобочитаемый и понятный синтаксис. Из недостатков данного пакета можно отметить, что при работе с данными большого объёма он значительно уступает в скорости вычислений например data.table.

В этом видео уроке мы разберёмся с тем, как можно ускорить вычисления на dplyr, за счёт бекендов dtplyrи multidplyr, а так же узнаем о том, как и зачем можно использовать бекенд dbplyr, предназначенный для работы с базами данных.


Читать: https://habr.com/ru/post/665680/

Почему в «Северсталь Диджитал» сделали свою библиотеку для организации кода в машинном обучении и к чему это привело

Привет! Меня зовут Кирилл Трибунский, я ведущий разработчик отдела архитектуры и разработки “Северсталь Диджитал”. Сегодня я расскажу про нашу библиотеку Typed Blocks, задача которой — снизить порог входа в разработку с машинным обучением и избавить дата-сайентистов от рутины при переносе проектов в продуктив. Библиотека появилась на свет, как водится, через боль команд «Северсталь Диджитал» от решения однотипных задач при выводе кода в продакшен. Она позволяет разбивать код на независимые блоки и вести однотипную разработку вне зависимости от типа используемого транспорта. Статья, как и сама Typed Blocks, будет интересна дата-сайентистам, которые не хотят много кодить. А также программистам, неравнодушным к опциональной статической типизации в Python, которую вовсю использует Typed Blocks. Автор идеи и создатель библиотеки — Даниил Зубакин, за что ему большое спасибо!
Работаем!

Читать: https://habr.com/ru/post/666642/

Big Data и логистика: чем большие данные полезны участникам отрасли

Привет, Хабр! Мы – сервис для оптимизации внутригородской логистики Relog. Наш продукт целиком построен вокруг аналитики. И сегодня мы расскажем пользователям Habr, какие возможности для логистических компаний открывает Big Data.

Для начала несколько слов об анатомии TMS Relog. Это комплекс ПО, который отвечает за полную систематизацию данных логистической компании с высокой частотой обновления. В этом участвуют два ключевых механизма: валидация данных и автоматизация процессов по доставке последней мили.

Информация о статусе заказов мгновенно поступает из ERP-систем клиента в аналитическую систему Relog BI. Мы построили свой продукт на базе решения Microsoft Power BI (которое, к слову, продолжает работать на территории России без сбоев). Также мы интегрировали решения, связанные с сенсус-аналитикой и геоаналитикой. Пространственный анализ позволил расширить возможности системы.


Читать: https://habr.com/ru/post/663470/

Are 81 percent of Elon Musk's twitter followers fake?

Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/05/are-81-percent-of-elon-musks-twitter-followers-fake.html

Decision Intelligence Framework — Принятие решений на основе данных

Какое место в организации занимает Decision Intelligence? Как вы принимаете решения на основе данных? Что делать если вы хотите принимать решения на основе данных, но не знаете с чего начать?

В своем дебютном посте на Towards Data Science Эрик Балодис излагает новую концепцию, которая выходит за рамки традиционного подхода к принятию решений на данных, и направлена на то, чтобы дать представление о том, какие процессы лежат в основе концепции Decision Intelligence.

Читать по диагонали - 5 минут, читать вдумчиво - 15 минут.


Читать: https://habr.com/ru/post/666874/