Как мы в СИБУРе делаем дашборды для людей. Часть 1: закупки и производство
На наших предприятиях множество данных — от постоянно обновляющихся цен и технологических условий до логистических отчетов, графиков доставки и многое, много другое. Не говоря уже о чисто внутренней информации.
При должной сноровке все эти данные можно использовать с пользой, а не просто собирать где-то ради пары годовых отчётов. Но тут есть проблема.
Данные разные, как и их источники. Где-то речь идет об огромных монструозных таблицах в Excel с кучей переменных и подвязок, где-то используются внутренние CRM, в общем, тут кто во что горазд и кому где удобнее работать. То есть информация вроде есть, ее много, на ее основе можно делать выводы и принимать решения, но вот наглядности — никакой.
И тут мы переходим к решению, так что самое время представиться. Меня зовут Марина Коробейникова, я отвечаю за дашборды в закупках и производстве СИБУРа. Именно дашборды помогают нам вырваться из описанного выше порочного круга, предоставляя возможность просто посмотреть на экран и понять, что вообще сейчас происходит. Ну то есть, в компании.
В СИБУРе дашборды применяются для самых разных департаментов – логистики, продаж, закупок, маркетинга, топ-менеджмента, и тд. И о каждом из этих направлений мы расскажем подробнее.
Но начнём, пожалуй, с закупок и производства.
Читать: https://habr.com/ru/post/665144/
На наших предприятиях множество данных — от постоянно обновляющихся цен и технологических условий до логистических отчетов, графиков доставки и многое, много другое. Не говоря уже о чисто внутренней информации.
При должной сноровке все эти данные можно использовать с пользой, а не просто собирать где-то ради пары годовых отчётов. Но тут есть проблема.
Данные разные, как и их источники. Где-то речь идет об огромных монструозных таблицах в Excel с кучей переменных и подвязок, где-то используются внутренние CRM, в общем, тут кто во что горазд и кому где удобнее работать. То есть информация вроде есть, ее много, на ее основе можно делать выводы и принимать решения, но вот наглядности — никакой.
И тут мы переходим к решению, так что самое время представиться. Меня зовут Марина Коробейникова, я отвечаю за дашборды в закупках и производстве СИБУРа. Именно дашборды помогают нам вырваться из описанного выше порочного круга, предоставляя возможность просто посмотреть на экран и понять, что вообще сейчас происходит. Ну то есть, в компании.
В СИБУРе дашборды применяются для самых разных департаментов – логистики, продаж, закупок, маркетинга, топ-менеджмента, и тд. И о каждом из этих направлений мы расскажем подробнее.
Но начнём, пожалуй, с закупок и производства.
Читать: https://habr.com/ru/post/665144/
👍1
How Paytm modernized their data pipeline using Amazon EMR
Read: https://aws.amazon.com/blogs/big-data/how-paytm-modernized-their-data-pipeline-using-amazon-emr/
Read: https://aws.amazon.com/blogs/big-data/how-paytm-modernized-their-data-pipeline-using-amazon-emr/
Какой у вас опыт работы в IT?
Anonymous Poll
38%
Ещё нет опыта
18%
Менее 1 года
10%
1-2 года
10%
2-4 года
5%
4-6 лет
2%
6-10 лет
4%
10-15 лет
10%
Более 15 лет
4%
Посмотреть результаты
Кто такой Analytics Engineer – E2E-решение с использованием bash + dbt + Looker
Привет! Меня зовут Артемий Козырь, и я Analytics Engineer в Wheely.
Мы могли бы долго и нудно обсуждать, кто такой Analytics (Data / Backend) Engineer, какими инструментами он должен владеть, какие buzzwords в тренде и ценятся в CV, однако, на мой взгляд, гораздо интереснее рассмотреть процесс и результаты его деятельности в рамках конкретной прикладной задачи.
В этой публикации:
Читать: https://habr.com/ru/post/665642/
Привет! Меня зовут Артемий Козырь, и я Analytics Engineer в Wheely.
Мы могли бы долго и нудно обсуждать, кто такой Analytics (Data / Backend) Engineer, какими инструментами он должен владеть, какие buzzwords в тренде и ценятся в CV, однако, на мой взгляд, гораздо интереснее рассмотреть процесс и результаты его деятельности в рамках конкретной прикладной задачи.
В этой публикации:
Читать: https://habr.com/ru/post/665642/
👍1
7 элементов продуманной стратегии развития ИИ: опыт Salesforce
Искусственный интеллект перестал быть вотчиной исключительно крупных компаний. Он становится мейнстримом для бизнеса, однако, по словам президента и исполнительного директора Salesforce Брета Тейлора, успех способствует ему не всегда. Продуманная стратегия развития ИИ должна в первую очередь учитывать интересы клиента и чётко определять результаты для бизнеса, а ключевым аспектом для всего этого являются данные.
В своём докладе на конференции Scale TransformX 2021 Тейлор рассказал об основных вопросах, которые компании любого размера должны учитывать, чтобы выполнять задачи клиентов и достигать стабильных результатов.
В этой статье мы вкратце изложим семь основных выводов из презентации Тейлора. Более подробную информацию можно посмотреть в видео.
Читать: https://habr.com/ru/post/663112/
Искусственный интеллект перестал быть вотчиной исключительно крупных компаний. Он становится мейнстримом для бизнеса, однако, по словам президента и исполнительного директора Salesforce Брета Тейлора, успех способствует ему не всегда. Продуманная стратегия развития ИИ должна в первую очередь учитывать интересы клиента и чётко определять результаты для бизнеса, а ключевым аспектом для всего этого являются данные.
В своём докладе на конференции Scale TransformX 2021 Тейлор рассказал об основных вопросах, которые компании любого размера должны учитывать, чтобы выполнять задачи клиентов и достигать стабильных результатов.
В этой статье мы вкратце изложим семь основных выводов из презентации Тейлора. Более подробную информацию можно посмотреть в видео.
Читать: https://habr.com/ru/post/663112/
Reading Statistical Analytics Illustrated
Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/05/reading-statistical-analytics-illustrated.html
Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/05/reading-statistical-analytics-illustrated.html
Federate access to Amazon Redshift query editor V2 with Active Directory Federation Services (AD FS): Part 3
Read: https://aws.amazon.com/blogs/big-data/federate-access-to-amazon-redshift-query-editor-v2-with-active-directory-federation-services-ad-fs-part-3/
Read: https://aws.amazon.com/blogs/big-data/federate-access-to-amazon-redshift-query-editor-v2-with-active-directory-federation-services-ad-fs-part-3/
Видео докладов потока Big Data. Конференция BeeTech 2.0
Привет! Мы продолжаем публиковать видео с конференции BeeTech 2.0. Поток Engineering тут, Management тут.
В этой статье я поделюсь выступлениями спикеров потока Big Data. Вот ссылка на весь поток, внутри статьи ссылки на каждое видео с его описанием + презентация спикера.
Посмотреть видео
Читать: https://habr.com/ru/post/665896/
Привет! Мы продолжаем публиковать видео с конференции BeeTech 2.0. Поток Engineering тут, Management тут.
В этой статье я поделюсь выступлениями спикеров потока Big Data. Вот ссылка на весь поток, внутри статьи ссылки на каждое видео с его описанием + презентация спикера.
Посмотреть видео
Читать: https://habr.com/ru/post/665896/
The Musk sampling plan, thought through
Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/05/the-musk-sampling-plan-thought-through.html
Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/05/the-musk-sampling-plan-thought-through.html
Federate single sign-on access to Amazon Redshift query editor v2 with Okta
Read: https://aws.amazon.com/blogs/big-data/federate-single-sign-on-access-to-amazon-redshift-query-editor-v2-with-okta/
Read: https://aws.amazon.com/blogs/big-data/federate-single-sign-on-access-to-amazon-redshift-query-editor-v2-with-okta/
Deep dive into Amazon EMR Kerberos authentication integrated with Microsoft Active Directory
Read: https://aws.amazon.com/blogs/big-data/deep-dive-into-amazon-emr-kerberos-authentication-integrated-with-microsoft-active-directory/
Read: https://aws.amazon.com/blogs/big-data/deep-dive-into-amazon-emr-kerberos-authentication-integrated-with-microsoft-active-directory/
Как улучшить архитектуру озера данных: два уровня прокачки
Lake city by arsenixc
Построение озера данных на основе облачных сервисов предполагает активное использование объектного хранилища S3. Команда VK Cloud Solutions перевела статью, которая раскрывает тонкости Cloud Native Data Lake.
Читать: https://habr.com/ru/post/665870/
Lake city by arsenixc
Построение озера данных на основе облачных сервисов предполагает активное использование объектного хранилища S3. Команда VK Cloud Solutions перевела статью, которая раскрывает тонкости Cloud Native Data Lake.
Читать: https://habr.com/ru/post/665870/
Новости из мира Data Science — дайджест от МТС
Публикуем свежие новости о Data Science: новые проекты, модель, которая пишет симфонию и база кода от Google Research
Читать: «Новости из мира Data Science — дайджест от МТС»
Публикуем свежие новости о Data Science: новые проекты, модель, которая пишет симфонию и база кода от Google Research
Читать: «Новости из мира Data Science — дайджест от МТС»
Use a linear learner algorithm in Amazon Redshift ML to solve regression and classification problems
Read: https://aws.amazon.com/blogs/big-data/use-a-linear-learner-algorithm-in-amazon-redshift-ml-to-solve-regression-and-classification-problems/
Read: https://aws.amazon.com/blogs/big-data/use-a-linear-learner-algorithm-in-amazon-redshift-ml-to-solve-regression-and-classification-problems/
Coming June 2022: An updated Amazon QuickSight dashboard experience
Read: https://aws.amazon.com/blogs/big-data/coming-june-2022-an-updated-amazon-quicksight-dashboard-experience/
Read: https://aws.amazon.com/blogs/big-data/coming-june-2022-an-updated-amazon-quicksight-dashboard-experience/
Ingest Stripe data in a fast and reliable way using Stripe Data Pipeline for Amazon Redshift
Read: https://aws.amazon.com/blogs/big-data/ingest-stripe-data-in-a-fast-and-reliable-way-using-stripe-data-pipeline-for-amazon-redshift/
Read: https://aws.amazon.com/blogs/big-data/ingest-stripe-data-in-a-fast-and-reliable-way-using-stripe-data-pipeline-for-amazon-redshift/
Use Amazon Redshift RA3 with managed storage in your modern data architecture
Read: https://aws.amazon.com/blogs/big-data/use-amazon-redshift-ra3-with-managed-storage-in-your-modern-data-architecture/
Read: https://aws.amazon.com/blogs/big-data/use-amazon-redshift-ra3-with-managed-storage-in-your-modern-data-architecture/
Analyze Amazon Ion datasets using Amazon Athena
Read: https://aws.amazon.com/blogs/big-data/analyze-amazon-ion-datasets-using-amazon-athena/
Read: https://aws.amazon.com/blogs/big-data/analyze-amazon-ion-datasets-using-amazon-athena/
Ускоряем dplyr: бекенды dtplyr, multidplyr и dbplyr (видео урок + конспект)
В этом видео уроке мы разберёмся с тем, как можно ускорить вычисления на
Читать: https://habr.com/ru/post/665680/
dplyrодин из наиболее популярных пакетов для языка R, основным преимуществом которого является удобочитаемый и понятный синтаксис. Из недостатков данного пакета можно отметить, что при работе с данными большого объёма он значительно уступает в скорости вычислений например data.table.В этом видео уроке мы разберёмся с тем, как можно ускорить вычисления на
dplyr, за счёт бекендов dtplyrи multidplyr, а так же узнаем о том, как и зачем можно использовать бекенд dbplyr, предназначенный для работы с базами данных.Читать: https://habr.com/ru/post/665680/
Почему в «Северсталь Диджитал» сделали свою библиотеку для организации кода в машинном обучении и к чему это привело
Привет! Меня зовут Кирилл Трибунский, я ведущий разработчик отдела архитектуры и разработки “Северсталь Диджитал”. Сегодня я расскажу про нашу библиотеку Typed Blocks, задача которой — снизить порог входа в разработку с машинным обучением и избавить дата-сайентистов от рутины при переносе проектов в продуктив. Библиотека появилась на свет, как водится, через боль команд «Северсталь Диджитал» от решения однотипных задач при выводе кода в продакшен. Она позволяет разбивать код на независимые блоки и вести однотипную разработку вне зависимости от типа используемого транспорта. Статья, как и сама Typed Blocks, будет интересна дата-сайентистам, которые не хотят много кодить. А также программистам, неравнодушным к опциональной статической типизации в Python, которую вовсю использует Typed Blocks. Автор идеи и создатель библиотеки — Даниил Зубакин, за что ему большое спасибо!
Работаем!
Читать: https://habr.com/ru/post/666642/
Привет! Меня зовут Кирилл Трибунский, я ведущий разработчик отдела архитектуры и разработки “Северсталь Диджитал”. Сегодня я расскажу про нашу библиотеку Typed Blocks, задача которой — снизить порог входа в разработку с машинным обучением и избавить дата-сайентистов от рутины при переносе проектов в продуктив. Библиотека появилась на свет, как водится, через боль команд «Северсталь Диджитал» от решения однотипных задач при выводе кода в продакшен. Она позволяет разбивать код на независимые блоки и вести однотипную разработку вне зависимости от типа используемого транспорта. Статья, как и сама Typed Blocks, будет интересна дата-сайентистам, которые не хотят много кодить. А также программистам, неравнодушным к опциональной статической типизации в Python, которую вовсю использует Typed Blocks. Автор идеи и создатель библиотеки — Даниил Зубакин, за что ему большое спасибо!
Работаем!
Читать: https://habr.com/ru/post/666642/