Использование Kudu для решения задач в реальном времени в окружении Hadoop
В предыдущей статье я поделился нашим опытом создания аналитического хранилища полного цикла на базе экосистемы Hadoop. Одним из тезисов той статьи стало утверждение о том, что аналитическую систему можно спроектировать, не прибегая к федерализации разных технологических платформ, предназначенных для решения локальных задач.
В этом материале я попробую подробнее раскрыть, как в нашей системе реализован подход обработки и загрузки данных в реальном времени с использованием технологии Kudu, при котором эти данные сразу доступны для анализа.
Читать: https://habr.com/ru/post/664698/
В предыдущей статье я поделился нашим опытом создания аналитического хранилища полного цикла на базе экосистемы Hadoop. Одним из тезисов той статьи стало утверждение о том, что аналитическую систему можно спроектировать, не прибегая к федерализации разных технологических платформ, предназначенных для решения локальных задач.
В этом материале я попробую подробнее раскрыть, как в нашей системе реализован подход обработки и загрузки данных в реальном времени с использованием технологии Kudu, при котором эти данные сразу доступны для анализа.
Читать: https://habr.com/ru/post/664698/
Securing Oracle Analytics Server on Oracle Cloud by Enforcing OCI WAF on Flexible Load Balancers
Securing Oracle Analytics Server on Oracle Cloud by Enforcing OCI WAF on Flexible Load Balancers
Read: https://blogs.oracle.com/analytics/post/oas-oci-waf
Securing Oracle Analytics Server on Oracle Cloud by Enforcing OCI WAF on Flexible Load Balancers
Read: https://blogs.oracle.com/analytics/post/oas-oci-waf
В каком направлении анализа данных вы развиваетесь?
Anonymous Poll
38%
Ещё только начинаю, не выбрал конкретное направление
9%
BI-аналитика
5%
Продуктовая аналитика
1%
Маркетинговая аналитика
18%
Работа с большими данными
28%
ИИ, нейронные сети, машинное обучение
1%
Управление командами / проектами
2%
Другое / не IT (пожалуйста, напишите в комментариях ваш вариант)
Настройка в OpenSearch аутентификации и авторизации пользователей через Active Directory по протоколу LDAP
В этой статье я расскажу о том, как я настраивал аутентификацию и авторизацию доменных пользователей Active Directory в OpenSearch. В домене я не обладаю правами администратора домена и не могу влиять на структуру каталогов Active Directory. А сценарий настройки Active Directory в OpenSearch, предлагаемый на официальном сайте, применить к домену с разветвленной структурой каталогов оказалось не так просто, как хотелось бы.
Читать: https://habr.com/ru/post/664874/
В этой статье я расскажу о том, как я настраивал аутентификацию и авторизацию доменных пользователей Active Directory в OpenSearch. В домене я не обладаю правами администратора домена и не могу влиять на структуру каталогов Active Directory. А сценарий настройки Active Directory в OpenSearch, предлагаемый на официальном сайте, применить к домену с разветвленной структурой каталогов оказалось не так просто, как хотелось бы.
Читать: https://habr.com/ru/post/664874/
Проведение совместных экспериментов c DVC
Вы можете использовать удаленные хранилища DVC для совместного использования экспериментов и их данных через машины.
Читать: https://habr.com/ru/post/664946/
Вы можете использовать удаленные хранилища DVC для совместного использования экспериментов и их данных через машины.
Читать: https://habr.com/ru/post/664946/
Build a big data Lambda architecture for batch and real-time analytics using Amazon Redshift
Read: https://aws.amazon.com/blogs/big-data/build-a-big-data-lambda-architecture-for-batch-and-real-time-analytics-using-amazon-redshift/
Read: https://aws.amazon.com/blogs/big-data/build-a-big-data-lambda-architecture-for-batch-and-real-time-analytics-using-amazon-redshift/
Top tips for enhancing performance of Oracle® Analytics Server (OAS)
The following white paper describes techniques for monitoring and optimizing the performance of Oracle Analytics Server (OAS) components.
Read: https://blogs.oracle.com/analytics/post/oracle-analytics-server-infrastructure-tuning-guide
The following white paper describes techniques for monitoring and optimizing the performance of Oracle Analytics Server (OAS) components.
Read: https://blogs.oracle.com/analytics/post/oracle-analytics-server-infrastructure-tuning-guide
Oracle
Top tips for enhancing performance of Oracle Analytics Server (OAS)
Read this short post to learn about our updated white paper, attached, which describes techniques for monitoring and optimizing the performance of Oracle Analytics Server (OAS) components.
More case-counting puzzles
Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/05/more-case-counting-puzzles.html
Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/05/more-case-counting-puzzles.html
Analyze Amazon SES events at scale using Amazon Redshift
Read: https://aws.amazon.com/blogs/big-data/analyze-amazon-ses-events-at-scale-using-amazon-redshift/
Read: https://aws.amazon.com/blogs/big-data/analyze-amazon-ses-events-at-scale-using-amazon-redshift/
Power your data applications with a Semantic Model using Oracle Analytics Cloud
With Oracle Analytics Cloud (OAC) and our new Semantic Modeling Markup Language (SMML), you can now create a powerful semantic model which acts as a translation layer between your application and your underlying data structures. This semantic model exposes a metrics-oriented data layer that can be used directly in your application via APIs, with embedded visualizations, or in other analytics tools.
Read: https://blogs.oracle.com/analytics/post/power-your-data-applications-with-a-semantic-model-using-oracle-analytics-cloud
With Oracle Analytics Cloud (OAC) and our new Semantic Modeling Markup Language (SMML), you can now create a powerful semantic model which acts as a translation layer between your application and your underlying data structures. This semantic model exposes a metrics-oriented data layer that can be used directly in your application via APIs, with embedded visualizations, or in other analytics tools.
Read: https://blogs.oracle.com/analytics/post/power-your-data-applications-with-a-semantic-model-using-oracle-analytics-cloud
Oracle
Power your data applications with a semantic model using Oracle Analytics Cloud
With Oracle Analytics Cloud and our new Semantic Modeling Markup Language, you can now create a powerful semantic model which acts as a translation layer between your application and your underlying data structures. This semantic model exposes a metrics-oriented…
👍2
Data Engineering Project for Beginners - Batch edition
Read: https://www.startdataengineering.com/post/data-engineering-project-for-beginners-batch-edition/
Read: https://www.startdataengineering.com/post/data-engineering-project-for-beginners-batch-edition/
Orchestrate big data jobs on on-premises clusters with AWS Step Functions
Read: https://aws.amazon.com/blogs/big-data/orchestrate-big-data-jobs-on-on-premises-clusters-with-aws-step-functions/
Read: https://aws.amazon.com/blogs/big-data/orchestrate-big-data-jobs-on-on-premises-clusters-with-aws-step-functions/
Explore Data with Filters (Part 1)
Filters are a powerful interaction paradigm for users to explore data and perform analysis. Filters enable users to get from data to insights, reduce noise in the data, and slice and dice data by different dimensions. This article explains the different filter capabilities available in Oracle Analytics along with best practices.
Read: https://blogs.oracle.com/analytics/post/explore-data-using-filters
Filters are a powerful interaction paradigm for users to explore data and perform analysis. Filters enable users to get from data to insights, reduce noise in the data, and slice and dice data by different dimensions. This article explains the different filter capabilities available in Oracle Analytics along with best practices.
Read: https://blogs.oracle.com/analytics/post/explore-data-using-filters
Как искать данные в пространстве невероятно быстро? R*-tree в Go
Как использовать R*-tree, чтобы обновлять данные об игроках на сервере даже при онлайне в 1000 человек и выше.
Читать: «Как искать данные в пространстве невероятно быстро? R*-tree в Go»
Как использовать R*-tree, чтобы обновлять данные об игроках на сервере даже при онлайне в 1000 человек и выше.
Читать: «Как искать данные в пространстве невероятно быстро? R*-tree в Go»
Как мы в СИБУРе делаем дашборды для людей. Часть 1: закупки и производство
На наших предприятиях множество данных — от постоянно обновляющихся цен и технологических условий до логистических отчетов, графиков доставки и многое, много другое. Не говоря уже о чисто внутренней информации.
При должной сноровке все эти данные можно использовать с пользой, а не просто собирать где-то ради пары годовых отчётов. Но тут есть проблема.
Данные разные, как и их источники. Где-то речь идет об огромных монструозных таблицах в Excel с кучей переменных и подвязок, где-то используются внутренние CRM, в общем, тут кто во что горазд и кому где удобнее работать. То есть информация вроде есть, ее много, на ее основе можно делать выводы и принимать решения, но вот наглядности — никакой.
И тут мы переходим к решению, так что самое время представиться. Меня зовут Марина Коробейникова, я отвечаю за дашборды в закупках и производстве СИБУРа. Именно дашборды помогают нам вырваться из описанного выше порочного круга, предоставляя возможность просто посмотреть на экран и понять, что вообще сейчас происходит. Ну то есть, в компании.
В СИБУРе дашборды применяются для самых разных департаментов – логистики, продаж, закупок, маркетинга, топ-менеджмента, и тд. И о каждом из этих направлений мы расскажем подробнее.
Но начнём, пожалуй, с закупок и производства.
Читать: https://habr.com/ru/post/665144/
На наших предприятиях множество данных — от постоянно обновляющихся цен и технологических условий до логистических отчетов, графиков доставки и многое, много другое. Не говоря уже о чисто внутренней информации.
При должной сноровке все эти данные можно использовать с пользой, а не просто собирать где-то ради пары годовых отчётов. Но тут есть проблема.
Данные разные, как и их источники. Где-то речь идет об огромных монструозных таблицах в Excel с кучей переменных и подвязок, где-то используются внутренние CRM, в общем, тут кто во что горазд и кому где удобнее работать. То есть информация вроде есть, ее много, на ее основе можно делать выводы и принимать решения, но вот наглядности — никакой.
И тут мы переходим к решению, так что самое время представиться. Меня зовут Марина Коробейникова, я отвечаю за дашборды в закупках и производстве СИБУРа. Именно дашборды помогают нам вырваться из описанного выше порочного круга, предоставляя возможность просто посмотреть на экран и понять, что вообще сейчас происходит. Ну то есть, в компании.
В СИБУРе дашборды применяются для самых разных департаментов – логистики, продаж, закупок, маркетинга, топ-менеджмента, и тд. И о каждом из этих направлений мы расскажем подробнее.
Но начнём, пожалуй, с закупок и производства.
Читать: https://habr.com/ru/post/665144/
👍1
How Paytm modernized their data pipeline using Amazon EMR
Read: https://aws.amazon.com/blogs/big-data/how-paytm-modernized-their-data-pipeline-using-amazon-emr/
Read: https://aws.amazon.com/blogs/big-data/how-paytm-modernized-their-data-pipeline-using-amazon-emr/
Какой у вас опыт работы в IT?
Anonymous Poll
38%
Ещё нет опыта
18%
Менее 1 года
10%
1-2 года
10%
2-4 года
5%
4-6 лет
2%
6-10 лет
4%
10-15 лет
10%
Более 15 лет
4%
Посмотреть результаты
Кто такой Analytics Engineer – E2E-решение с использованием bash + dbt + Looker
Привет! Меня зовут Артемий Козырь, и я Analytics Engineer в Wheely.
Мы могли бы долго и нудно обсуждать, кто такой Analytics (Data / Backend) Engineer, какими инструментами он должен владеть, какие buzzwords в тренде и ценятся в CV, однако, на мой взгляд, гораздо интереснее рассмотреть процесс и результаты его деятельности в рамках конкретной прикладной задачи.
В этой публикации:
Читать: https://habr.com/ru/post/665642/
Привет! Меня зовут Артемий Козырь, и я Analytics Engineer в Wheely.
Мы могли бы долго и нудно обсуждать, кто такой Analytics (Data / Backend) Engineer, какими инструментами он должен владеть, какие buzzwords в тренде и ценятся в CV, однако, на мой взгляд, гораздо интереснее рассмотреть процесс и результаты его деятельности в рамках конкретной прикладной задачи.
В этой публикации:
Читать: https://habr.com/ru/post/665642/
👍1
7 элементов продуманной стратегии развития ИИ: опыт Salesforce
Искусственный интеллект перестал быть вотчиной исключительно крупных компаний. Он становится мейнстримом для бизнеса, однако, по словам президента и исполнительного директора Salesforce Брета Тейлора, успех способствует ему не всегда. Продуманная стратегия развития ИИ должна в первую очередь учитывать интересы клиента и чётко определять результаты для бизнеса, а ключевым аспектом для всего этого являются данные.
В своём докладе на конференции Scale TransformX 2021 Тейлор рассказал об основных вопросах, которые компании любого размера должны учитывать, чтобы выполнять задачи клиентов и достигать стабильных результатов.
В этой статье мы вкратце изложим семь основных выводов из презентации Тейлора. Более подробную информацию можно посмотреть в видео.
Читать: https://habr.com/ru/post/663112/
Искусственный интеллект перестал быть вотчиной исключительно крупных компаний. Он становится мейнстримом для бизнеса, однако, по словам президента и исполнительного директора Salesforce Брета Тейлора, успех способствует ему не всегда. Продуманная стратегия развития ИИ должна в первую очередь учитывать интересы клиента и чётко определять результаты для бизнеса, а ключевым аспектом для всего этого являются данные.
В своём докладе на конференции Scale TransformX 2021 Тейлор рассказал об основных вопросах, которые компании любого размера должны учитывать, чтобы выполнять задачи клиентов и достигать стабильных результатов.
В этой статье мы вкратце изложим семь основных выводов из презентации Тейлора. Более подробную информацию можно посмотреть в видео.
Читать: https://habr.com/ru/post/663112/
Reading Statistical Analytics Illustrated
Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/05/reading-statistical-analytics-illustrated.html
Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/05/reading-statistical-analytics-illustrated.html