Data Analysis / Big Data – Telegram
Data Analysis / Big Data
2.81K subscribers
570 photos
3 videos
2 files
2.93K links
Лучшие посты по анализу данных и работе с Big Data на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels
Download Telegram
Как аудиобейджи помогают повышать качество обслуживания клиентов

Привет!

В этом посте мы расскажем про аудиобейджи и их роль в налаживании коммуникации между сотрудником магазина и покупателями. Мы проводили этот пилот совместно с VocaTech и одним крупным ритейлером электроники: выбрали 15 магазинов, раздали 355 сотрудникам аудиобейджи, а затем проанализировали результаты и новые уровни продаж.

За 6 месяцев пилота в 15 магазинах у 355 сотрудников мы получили 66 243 часов аудиозаписей, которые были переведены системой VocaTech в 321 353 эпизода обслуживания (транскрипции речи сотрудника во время консультаций). Параметры анализа речи — 70 метрик, включающие более 1000 уникальных фраз и их вариаций (метрика здесь — стандарт речи, например, стандарт речи «Приветствие» фиксируется фразами «Доброе утро», «Добрый день» или «Добрый вечер»).

Спойлер: при всех ключевых словах и улучшенных скриптах для продавцов личная харизма конкретного специалиста всё ещё продолжает играть значительную роль.


Читать: https://habr.com/ru/post/667486/
👍1
Интерпретируемость в машинном обучении: итоги 2021 г

В 2021-2022 годах уже ни для кого не секрет, что понимать логику работы моделей машинного обучения важно и нужно. Иначе можно насобирать множество проблем: от того, что модель не будет принята конечным пользователем, потому что непонятна, до того, что она будет работать неправильно, а поймем мы это уже слишком поздно.

Для интерпретируемости в машинном обучении устоялись термины Interpretable ML и Explainable AI (XAI). Объединяет их одно - стремление сделать модели машинного обучения понятными для конечного пользователя.

Под катом поговорим о том, что интересного произошло в интерпретируемости в 2021 г.


Читать: https://habr.com/ru/post/667492/
👍1
Что под капотом у Умного Ташкента?

Привет, Хабр! Вот, прошли майские праздники, и я готов поделиться с вами подробностями нашего проекта по цифровизации Ташкента. В конце концов, наша референсная модель может помочь в цифровизации других городов. И в этом посте мы подробнее разберем вопросы интеграции между различными компонентами, механику взаимодействия с Visiology BI и Геоинтеллект, а также ряд интересных на мой взгляд технических вопросов. Я покажу, как в нашей системе реализована поддержка процессов укладки асфальта, аналитики по видео, загрузки огромных массивов данных из различных ведомств.


Читать: https://habr.com/ru/post/667450/
👍2
Что такое Brain2Logic: Data Science без кода для юниоров

Современное машинное обучение не только перенимает крутые математические методы, но и подстраивается под стремление человека автоматизировать управление процессами. Природа явления остаётся загадкой. То ли мы добиваемся лаконичности, то ли убиваемся собственной ленью — неважно, если результат оправдывает затраты.

Одним из таких результатов стала AutoML-платорма Brain2Logic стартапа Mavericka, которая недавно была пропилотирована в песочнице Ассоциации больших данных. Платформу помог протестировать Билайн, поставив задачу построить модели для рекомендаций фильмов. В этой статье представлен общий взгляд на современные AutoML-решения с акцентом на проект Brain2Logic (B2L).

Если вам интересно, что смогли придумать в Mavericka, посмотреть на тестирование и почитать наши рассуждения про AutoML — добро пожаловать под кат.


Читать: https://habr.com/ru/post/667788/
Объединение данных с датчиков и интерполяция для Autonomous Vehicles

Товарищи, рассказываю о нюансах сбора и работы с данными для Autonomous Vehicles. Как правило, для создания обучающего датасета используют данные с датчиков LIDAR и камер. Но полученные данные в сыром виде очень разрознены ,и чтобы решить эту проблему, их нужно правильно объединить и интерполировать. И только после этого приступать к 3D Point Cloud разметке.


Читать: https://habr.com/ru/post/667842/
Зачем бизнесу data science

Встретились как-то продакт с дата-сайентистом в одном офисе и стали выяснять, кто для бизнеса нужнее. Об этом в нашем видеоблоге вышел огромный выпуск, который я решил переделать в статью. Если интересно послушать полный диалог со всеми подробностями – добро пожаловать.

Всем привет! Меня зовут Игорь Уткин, я – дата-сайентист в hh.ru.  В этой статье разбираемся: когда компании может понадобиться дата-сайентист, имеет ли собранная модель право на ошибку и как вообще люди уходят в data science.


Читать: https://habr.com/ru/post/667856/
👍2
Setting up a local development environment for python data projects using Docker

Read: https://www.startdataengineering.com/post/local-dev/
Preview of Semantic Modeler in Oracle Analytics Cloud

Oracle analytics has a seasoned, rich Semantic Model which has been used by thousands of analytics customers over the past two decades. Today, I'm excited to share with you the next generation modeling tool and a modeling language to create those semantic models.

Read: https://blogs.oracle.com/analytics/post/preview-of-semantic-modeler-in-oracle-analytics-cloud
«Ваша сезонность, сэр!»: ищем тренд и прогнозируем спрос с помощью временных рядов, SARIMA и Python. Ч.1

Как вы можете помнить по первой статье "Маркетинговая аналитика на Python. Пишем код для RFM-сегментации", более 8 лет я работаю в сфере маркетинга для B2B и примерно столько же бешусь от дилетантского подхода к аналитике, который тянет за собой ряд проблем с определением ключевых метрик эффективности для компании (и, как следствие, с мотивацией сотрудников):


Читать: https://habr.com/ru/post/668186/
Big Data for big thing

Или великий китайский социальный рейтинг. Что это вообще такое, как он возник, что получилось в итоге, а главное — зачем?
Мы привыкли считать Китай страной весьма далёкой от нашей цивилизации — как в географическом, так и в ментальном смысле. Я бы даже сказал, что во многом её до сих пор считают «отсталой». У неё нет высоты американских технологий или мощи российских сил ядерного сдерживания, их Шекспиры нам неизвестны, а их Лувры, в общем-то кажутся не такими интересными. А ещё их полтора (а может, два?) миллиарда человек. И мне кажется, мы прозевали момент, когда Китай единственный на планете сдал суровый экзамен на мастерство инфраструктурного манёвра. Я говорю про времена ковидного поветрия, по итогам которого только одна страна (угадайте, какая) вышла с положительными показателями экономического роста.


Читать: https://habr.com/ru/post/667432/
👍2
Tips to Convert Text Columns to Dates in Oracle Analytics Dataset Editor - Part Two

This blog is the second of a two-part series that helps you deal with dates not being recognized in datasets. Date columns might not be recognized during the dataset creation process for various reasons. We classified these cases into "The Good, The Bad, and The Ugly" as described in the first article in the series. This article helps you work with more complex (The Ugly) cases, where you need to use a formula and when the text needs wrangling before conversion.

Read: https://blogs.oracle.com/analytics/post/tips-to-convert-text-columns-to-dates-in-oracle-analytics-dataset-editor-part-two
Работа в Data Science: что важно знать и как этому научиться

Сегодня словосочетания вроде Data Science, Machine Learning, Artificial Intelligence очень популярны. При этом нередко под ними понимаются довольно разные вещи. Это зачастую смущает и запутывает людей, желающих войти в специальность: трудно разобраться, с чего начать, что действительно нужно, а что необязательно для начала. Не претендуя на общность, расскажем, как это видится на основе десятка лет опыта c решением такого рода задач для крупных клиентов со всего мира (сервис / заказная разработка / аутсорс – подставьте термин по вкусу).


Читать: https://habr.com/ru/post/668428/
👍1
Oracle Analytics Server Best Practices Series: Deployment

Oracle Analytics Server Best Practices Series: Deployment

Read: https://blogs.oracle.com/analytics/post/oracle-analytics-server-best-practices-series-deployment
Enable End-to-End SSL Configuration for Oracle Analytics Server on Oracle Cloud Marketplace

Enable End-to-End SSL Configuration for Oracle Analytics Server on Oracle Cloud Marketplace

Read: https://blogs.oracle.com/analytics/post/oas-mp-end-to-end-ssl
Строим тепловые карты в Apache Zeppelin

Привет!

В этой статье я бы хотел поделиться с теми, кто использует Apache Zeppelin в сочетании со Spark на Scala возможностями по визуализации полученных данных.

Как самим построить такое "северное сияние", как на картинке, какие преимущества имеют тепловые карты, какие процессы легко пропустить, не используя их для анализа - обо всём этом в статье
Әйдә, укы!

Читать: https://habr.com/ru/post/668468/