Как мы предсказывали поломки нефтяных насосов: когда big data – это в прямом смысле нефть

Привет, меня зовут Сергей Алямкин, я CTO компании Expasoft. В сфере моих профессиональных интересов: ML/DL, нейросети, квантизация, компьютерное зрение (полный список). В своей первой статье на Хабре хочу поделиться нашим пилотным проектом – как мы разрабатывали модель предиктивного обслуживания нефтедобывающих насосов для компаний из Северной Америки и России.


Читать: https://habr.com/ru/post/658597/

Как выбрать правильный тип палитры для шкалы

Цвет — мощное средство визуализации данных, его неумеренное или неправильное применение губит всю работу и сбивает с толку, поэтому цвет следует подбирать тщательно, не забывая об особенностях восприятия.

О типах палитр цветов и о том, как выбрать правильную палитру, рассказываем к старту курса по анализу данных.


Читать: https://habr.com/ru/post/658507/

Без «Табла» и жизнь не та…

Кадр из фильма «The Shining», 1980 г.
В рядах аналитиков началась тихая паника. Заплатить в Google BigQuery в облачном варианте сейчас невозможно без иностранной банковской карты, Tableau и Microsoft «приостанавливают» свою активность в РФ, многие вендоры ушли, многие в низком старте.
Появляются материалы с вопросами «Пора менять Tableau, Power BI, Qlik? Как выбрать российский BI? Или не российский? Или не BI?» которые даже неприлично было задавать пару месяцев назад.
Но это прекрасный момент остановить ковейерное тиражирование шаблонов, выдохнуть и подумать «А что нам реально надо то?». И тут все становится не совсем очевидно.
Дальше картинок мало (0), по большей части текст и ссылки.


Читать: https://habr.com/ru/post/658657/

Build data lineage for data lakes using AWS Glue, Amazon Neptune, and Spline

Read: https://aws.amazon.com/blogs/big-data/build-data-lineage-for-data-lakes-using-aws-glue-amazon-neptune-and-spline/

Bridging the gap: How citizen data scientists can turn data into actionable information

Learn how modern data management and analytics platforms enable citizen data scientists with the capabilities they need, without resorting to a complex architecture of expensive and loosely integrated tools?

Read: https://blogs.oracle.com/analytics/post/bridging-the-gap-citizen-data-scientists-can-turn-data-into-actionable-information

ChemCorp Segmentation Analysis

Case Study Overview:
Chemcorp recently lost clients causing a 10% decrease in sales revenue.If this continues ChemCorp’s market share and potential customer base could gradually erode and possibly risk the company’s ability to make dividend payments ...

Read: https://nicoletalkstech.hashnode.dev/chemcorp-segmentation-analysis

ChemCorp Customer Segmentation Analysis

Chemcorp recently lost clients causing a 10% decrease in sales revenue.If this continues ChemCorp’s market share and potential customer base could gradually erode and possibly risk the company’s ability to make dividend payments to shareholders. ​
I...

Read: https://nicoletalkstech.hashnode.dev/chemcorp-customer-segmentation-analysis

Data Engineering Weekly #81

Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-81

Embed Astrato App in Notion and WordPress Website

In this post, I’ll cover a few packages for embedding Astrato App in Notion and WordPress.
In a world of fast technology and immense investment in data, analyzing data, getting quick insight, and presenting it in a more readable and graphical format ...

Read: https://andyjazz.hashnode.dev/embed-astrato-app-in-notion-and-wordpress-website

Understanding the JVMMemoryPressure metric changes in Amazon OpenSearch Service

Read: https://aws.amazon.com/blogs/big-data/understanding-the-jvmmemorypressure-metric-changes-in-amazon-opensearch-service/

New features from Apache Hudi 0.9.0 on Amazon EMR

Read: https://aws.amazon.com/blogs/big-data/new-features-from-apache-hudi-0-9-0-on-amazon-emr/

15 Open Source библиотек для повышения качества данных

Автор этого материала — программист и ML-инженер — собрала Open Source библиотеки Python, которые помогут вам сделать данные лучше, чтобы избежать траты времени и упростить анализ данных. Подборкой делимся к старту курса по анализу данных.


Читать: https://habr.com/ru/post/659075/

WETIN BE DATABASE (NGN Pidgin)

WETIN BE DATABASE?
Database na group of data wey dey well arranged and stored for inside computer.
This Database, dem dey use am store plenty type of different different data, like users information (anybody wey dey use a website, app or software s...

Read: https://hashnode.com/post/wetin-be-database-ngn-pidgin-cl1lvvmsp01cv4pnv081j7uhj

Семантическая сегментация изображений в CVAT

Товарищи, я начинаю цикл статей-туториалов по разметке данных с помощью разного ПО. Начать решил с самого знаменитого из всех бесплатных инструментов - Computer Vision Annotation Tool. Им может воспользоваться буквально любой желающий, достаточно только зарегистрироваться.

Предупреждаю: это вводная статья для новичков, призванная решить самые главные вопросы "как это работает и куда тыкать". Экспертов прошу поправить или дополнить написанное.

На русском языке не встречал настолько подробных гайдов. Думаю он будет очень полезен.
Ну посмотрим, что там у тебя...

Читать: https://habr.com/ru/post/659251/

Run AWS Glue crawlers using Amazon S3 event notifications

Read: https://aws.amazon.com/blogs/big-data/run-aws-glue-crawlers-using-amazon-s3-event-notifications/

Introducing Protocol buffers (protobuf) schema support in Amazon Glue Schema Registry

Read: https://aws.amazon.com/blogs/big-data/introducing-protocol-buffers-protobuf-schema-support-in-amazon-glue-schema-registry/

Oracle Analytics Server 2022 (v6.4) is available!

Oracle announces the availability of our customer-managed analytics platform: Oracle Analytics Server 2022 (version 6.4). This is the next generation of Oracle Business Intelligence Enterprise Edition (OBIEE) and a great path to modernization for anyone needing to deploy analytics on-premises or customer-managed in the cloud.

Read: https://blogs.oracle.com/analytics/post/oracle-analytics-server-2022-v64-is-available

Hudi, Iceberg и Delta Lake: сравнение табличных форматов для озера данных

Lake Berryessa by chateaugrief

Выбор формата хранения данных при создании Data Lake влияет на производительность озера, удобство его использования и совместимость с другими инструментами.

Команда разработки Cloud Big Data от VK Cloud Solution перевела статью — сравнение трех форматов данных: Apache Hudi, Apache Iceberg и Delta Lake. Посмотрим, какие в них применяются подходы к производительности обновлений, параллелизму и совместимости, и разберем, какой формат больше подойдет под ваши задачи.


Читать: https://habr.com/ru/post/658563/

Применение онтологии к решению практических задач ИБ (часть 1)

В мире каждый день появляется много нового, все чаще возникают новые предметные области, о возможности появления которых мы даже не задумывались еще несколько лет назад. При этом старые предметные области уходят, не выдержав конкуренции. Каждая предметная область характеризуется прежде всего специальными знаниями, описывающими объекты этой области и их свойства. Практическое использование таких знаний является уделом экспертов. Собственно, в обладании такими знаниям и состоит профессиональная компетентность эксперта. Однако оставаться всезнающим экспертом в наши дни становится все сложнее...
Познакомиться с онтологиями

Читать: https://habr.com/ru/post/659425/

The Data Founder Story: The Subtle Difference

Read: https://www.dataengineeringweekly.com/p/the-data-founder-story-the-subtle

Mastering Excel Functions

Microsoft Excel is one of Microsoft's awesome technologies used for data analysis, visualization, processing, and many database functions. It uses spreadsheets to organize, store and track data sheets with formulas and functions.
Throughout this tut...

Read: https://elevio.hashnode.dev/mastering-excel-functions