Deep dive into Amazon EMR Kerberos authentication integrated with Microsoft Active Directory

Read: https://aws.amazon.com/blogs/big-data/deep-dive-into-amazon-emr-kerberos-authentication-integrated-with-microsoft-active-directory/

Как улучшить архитектуру озера данных: два уровня прокачки

Lake city by arsenixc

Построение озера данных на основе облачных сервисов предполагает активное использование объектного хранилища S3. Команда VK Cloud Solutions перевела статью, которая раскрывает тонкости Cloud Native Data Lake.


Читать: https://habr.com/ru/post/665870/

Новости из мира Data Science — дайджест от МТС

Публикуем свежие новости о Data Science: новые проекты, модель, которая пишет симфонию и база кода от Google Research

Читать: «Новости из мира Data Science — дайджест от МТС»

Use a linear learner algorithm in Amazon Redshift ML to solve regression and classification problems

Read: https://aws.amazon.com/blogs/big-data/use-a-linear-learner-algorithm-in-amazon-redshift-ml-to-solve-regression-and-classification-problems/

Coming June 2022: An updated Amazon QuickSight dashboard experience

Read: https://aws.amazon.com/blogs/big-data/coming-june-2022-an-updated-amazon-quicksight-dashboard-experience/

Ingest Stripe data in a fast and reliable way using Stripe Data Pipeline for Amazon Redshift

Read: https://aws.amazon.com/blogs/big-data/ingest-stripe-data-in-a-fast-and-reliable-way-using-stripe-data-pipeline-for-amazon-redshift/

Use Amazon Redshift RA3 with managed storage in your modern data architecture

Read: https://aws.amazon.com/blogs/big-data/use-amazon-redshift-ra3-with-managed-storage-in-your-modern-data-architecture/

Analyze Amazon Ion datasets using Amazon Athena

Read: https://aws.amazon.com/blogs/big-data/analyze-amazon-ion-datasets-using-amazon-athena/

Ускоряем dplyr: бекенды dtplyr, multidplyr и dbplyr (видео урок + конспект)

dplyrодин из наиболее популярных пакетов для языка R, основным преимуществом которого является удобочитаемый и понятный синтаксис. Из недостатков данного пакета можно отметить, что при работе с данными большого объёма он значительно уступает в скорости вычислений например data.table.

В этом видео уроке мы разберёмся с тем, как можно ускорить вычисления на dplyr, за счёт бекендов dtplyrи multidplyr, а так же узнаем о том, как и зачем можно использовать бекенд dbplyr, предназначенный для работы с базами данных.


Читать: https://habr.com/ru/post/665680/

Почему в «Северсталь Диджитал» сделали свою библиотеку для организации кода в машинном обучении и к чему это привело

Привет! Меня зовут Кирилл Трибунский, я ведущий разработчик отдела архитектуры и разработки “Северсталь Диджитал”. Сегодня я расскажу про нашу библиотеку Typed Blocks, задача которой — снизить порог входа в разработку с машинным обучением и избавить дата-сайентистов от рутины при переносе проектов в продуктив. Библиотека появилась на свет, как водится, через боль команд «Северсталь Диджитал» от решения однотипных задач при выводе кода в продакшен. Она позволяет разбивать код на независимые блоки и вести однотипную разработку вне зависимости от типа используемого транспорта. Статья, как и сама Typed Blocks, будет интересна дата-сайентистам, которые не хотят много кодить. А также программистам, неравнодушным к опциональной статической типизации в Python, которую вовсю использует Typed Blocks. Автор идеи и создатель библиотеки — Даниил Зубакин, за что ему большое спасибо!
Работаем!

Читать: https://habr.com/ru/post/666642/

Big Data и логистика: чем большие данные полезны участникам отрасли

Привет, Хабр! Мы – сервис для оптимизации внутригородской логистики Relog. Наш продукт целиком построен вокруг аналитики. И сегодня мы расскажем пользователям Habr, какие возможности для логистических компаний открывает Big Data.

Для начала несколько слов об анатомии TMS Relog. Это комплекс ПО, который отвечает за полную систематизацию данных логистической компании с высокой частотой обновления. В этом участвуют два ключевых механизма: валидация данных и автоматизация процессов по доставке последней мили.

Информация о статусе заказов мгновенно поступает из ERP-систем клиента в аналитическую систему Relog BI. Мы построили свой продукт на базе решения Microsoft Power BI (которое, к слову, продолжает работать на территории России без сбоев). Также мы интегрировали решения, связанные с сенсус-аналитикой и геоаналитикой. Пространственный анализ позволил расширить возможности системы.


Читать: https://habr.com/ru/post/663470/

Are 81 percent of Elon Musk's twitter followers fake?

Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/05/are-81-percent-of-elon-musks-twitter-followers-fake.html

Decision Intelligence Framework — Принятие решений на основе данных

Какое место в организации занимает Decision Intelligence? Как вы принимаете решения на основе данных? Что делать если вы хотите принимать решения на основе данных, но не знаете с чего начать?

В своем дебютном посте на Towards Data Science Эрик Балодис излагает новую концепцию, которая выходит за рамки традиционного подхода к принятию решений на данных, и направлена на то, чтобы дать представление о том, какие процессы лежат в основе концепции Decision Intelligence.

Читать по диагонали - 5 минут, читать вдумчиво - 15 минут.


Читать: https://habr.com/ru/post/666874/

Habr: Как поменялось шифрование: от спартанского скитейла до смартфонов и компьютеров

Человечество на протяжении тысячелетий стремилось сохранить приватность своих личных данных или засекретить особенно важную информацию: будь то военные тайны или пароли к персональным аккаунтам. Но задолго до современной криптографии, существовали механические устройства вроде цилиндров да Винчи или шифровальные машины, подобные «Энигме».


Читать: https://habr.com/ru/post/666844/

Data Engineering Weekly #87

Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-87

Enable Amazon QuickSight federation with Google Workspace

Read: https://aws.amazon.com/blogs/big-data/enable-amazon-quicksight-federation-with-google-workspace/

Explore data with filters (Part 2)

Filters are a powerful interaction paradigm for users to explore data and perform analysis. Filters enable users to get from data to insights, to reduce noise in the data, and to slice and dice data by different dimensions. This article highlights filter capabilities in Oracle Analytics.

Read: https://blogs.oracle.com/analytics/post/explore-data-with-filters-part-2

Как мы классифицировали товары при разработке СDP-платформы

Привет, хабр!

Меня зовут Марк Порошин вместе с моим коллегой Артемом Шнайдером в DV Group мы занимаемся Data Science. Сейчас мы активно развиваем собственную платформу клиентских данных (CDP) DV Platform. Коротко расскажу, зачем вообще она нужна. Платформа обрабатывает данные из маркетплейсов и позволяет создавать и передавать сегменты пользователей, которые с наибольшей вероятностью совершат покупки конкретной категории или товара. Это позволяет оптимизировать маркетинговые бюджеты и увеличивать онлайн-продажи брендов.


Читать: https://habr.com/ru/post/667474/

Как аудиобейджи помогают повышать качество обслуживания клиентов

Привет!

В этом посте мы расскажем про аудиобейджи и их роль в налаживании коммуникации между сотрудником магазина и покупателями. Мы проводили этот пилот совместно с VocaTech и одним крупным ритейлером электроники: выбрали 15 магазинов, раздали 355 сотрудникам аудиобейджи, а затем проанализировали результаты и новые уровни продаж.

За 6 месяцев пилота в 15 магазинах у 355 сотрудников мы получили 66 243 часов аудиозаписей, которые были переведены системой VocaTech в 321 353 эпизода обслуживания (транскрипции речи сотрудника во время консультаций). Параметры анализа речи — 70 метрик, включающие более 1000 уникальных фраз и их вариаций (метрика здесь — стандарт речи, например, стандарт речи «Приветствие» фиксируется фразами «Доброе утро», «Добрый день» или «Добрый вечер»).

Спойлер: при всех ключевых словах и улучшенных скриптах для продавцов личная харизма конкретного специалиста всё ещё продолжает играть значительную роль.


Читать: https://habr.com/ru/post/667486/

Интерпретируемость в машинном обучении: итоги 2021 г

В 2021-2022 годах уже ни для кого не секрет, что понимать логику работы моделей машинного обучения важно и нужно. Иначе можно насобирать множество проблем: от того, что модель не будет принята конечным пользователем, потому что непонятна, до того, что она будет работать неправильно, а поймем мы это уже слишком поздно.

Для интерпретируемости в машинном обучении устоялись термины Interpretable ML и Explainable AI (XAI). Объединяет их одно - стремление сделать модели машинного обучения понятными для конечного пользователя.

Под катом поговорим о том, что интересного произошло в интерпретируемости в 2021 г.


Читать: https://habr.com/ru/post/667492/