Data Analysis / Big Data – Telegram
Data Analysis / Big Data
2.81K subscribers
570 photos
3 videos
2 files
2.93K links
Лучшие посты по анализу данных и работе с Big Data на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels
Download Telegram
JavaScript редактор диаграмм, который открывает диаграммы из PNG картинок (open source)

dgrm.net | GitHub

dgrm.net - это редактор диаграмм, с прицелом на трансформацию в карту знаний.

Отличительные особенности:
- аскетичность,
- работает на телефонах (одно из немногих web-решений),
- открытый исходный код.

В процессе разработки появляются интересные моменты. Статья про один из таких моментов: чтение данных из PNG.
Исходный код для использования в своих проектах прилагается.


Читать: https://habr.com/ru/post/658109/
Docker Everything Bagel: как развернуть локальный стек данных

Container au Havre pour les 500 ans by 0Lifea.

При разработке Open-source-проекта важно помогать пользователям и оставлять рекомендации. Но чтобы это делать, иногда нужно буквально «прочувствовать их боль»: воссоздать их рабочую среду, запустить тот же код и посмотреть на ту же ошибку. А учитывая сложность современных стеков данных, это бывает непросто.

Команда Kubernetes aaS VK Cloud Solutions перевела статью об инструменте Everything Bagel, который позволяет эффективнее работать с локальными стеками данных.


Читать: https://habr.com/ru/post/657207/
👍2
Циклы и функционалы в языке R (бесплатный видео курс)

Одним из лучших и правильных инвестиций времени в кризис является обучение. В этой статье я расскажу о новом, бесплатном курсе по языку R.

В данной публикации вы найдёте ссылку на курс, подробное описание курса и программу.


Читать: https://habr.com/ru/post/651979/
Scrape Google Scholar Metrics Results to CSV with Python

What will be scraped


📌Note: you have an option to save CSV file from public access mandates but there will be no funder link. This blog post shows how to scrape funder link.
If you don't need an explanation:

try the code in the online IDE.


Pre...

Read: https://serpapi.hashnode.dev/scrape-google-scholar-metrics-results-to-csv-with-python
Маркетинговая аналитика на Python. Пишем код для RFM-сегментации

RFM - классический инструмент маркетинга для сегментации вашей клиентской базы. Я использую ее для работы в В2В, В2G сегменте. В основе него - понятные управленцу ценности: LTV и Purchase Frequency. Как можно строить сегменты с помощью Python - читайте в материале.


Читать: https://habr.com/ru/post/658225/
The Data Founder Story: Time to Zingg! By Sonal Goyal

Read: https://www.dataengineeringweekly.com/p/the-data-founder-story-time-to-zingg
Date range query on partitioned date columns on pyspark

In the recent past I have been working on spark. One of the fundamental requirements which you will come across on spark is to filter the data on a partitioned date range. If you are lucky and the data is a flat partition using date, then the query i...

Read: https://sharathmysore.hashnode.dev/date-range-query-on-partitioned-date-columns-on-pyspark
Основные тренды ЦОД в 2022 году и примеры проектов

Привет, Хабр! Компания Acer снова с вами! Мы планируем рассказывать об интересных продуктах: как своих, так и других участников рынка. В первую очередь речь пойдет о серверах и соответствующих корпоративных решениях.

Сегодня же публикуем первый свой пост – это аналитика наиболее заметных трендов на рынке ЦОД в 2022 году. Главный принцип, по которому мы отбирали тренды – наличие примеров практического внедрения. Кроме того, мы расскажем о необычных разновидностях дата-центров, которых становится все больше.


Читать: https://habr.com/ru/post/658357/
Use Amazon CodeGuru Profiler to monitor and optimize performance in Amazon Kinesis Data Analytics applications for Apache Flink

Read: https://aws.amazon.com/blogs/big-data/use-amazon-codeguru-profiler-to-monitor-and-optimize-performance-in-amazon-kinesis-data-analytics-applications-for-apache-flink/
👍1
Oracle Analytics platform for both business and IT-led analytics

Learn about mode 1 and mode 2 analytics, and why every organization needs both.

Read: https://blogs.oracle.com/analytics/post/oracle-analytics-platform-for-both-business-and-it-led-analytics
Tableau Resume

I really enjoyed creating this interactive resume via Tableau. I never used Tableau prior to this week. I just set my intentions to do my very best and pushed through. In this project, I used a Gannt chart, treemap, and a donut chart to measure my sk...

Read: https://nicoletalkstech.hashnode.dev/tableau-resume
👍4
Statistical Analysis

For this project I used Denoscriptive and inferential statistical methodologies to help create a proactive ‘alarm’, to accurately identify Pump Failures with Horse Power (HP) and Pump Efficiency (PE) emerging as key variables of interest with deviatio...

Read: https://nicoletalkstech.hashnode.dev/statistical-analysis
Как построить систему аналитики на open-source — туториал по cube.js

Сube (до недавнего времени cube.js) относительно молодой проект (первый релиз март 2019) - реализация концепции OLAP-куб. Несмотря на отличную документацию, в интернете пока что мало информации на русском языке. Если вы выбираете систему аналитики, приверженец open-source или просто хотите узнать об альтернативах Power BI и Tableau, то это статья для вас. Обзор платформы и применение на реальном примере.


Читать: https://habr.com/ru/post/658581/
Как мы предсказывали поломки нефтяных насосов: когда big data – это в прямом смысле нефть

Привет, меня зовут Сергей Алямкин, я CTO компании Expasoft. В сфере моих профессиональных интересов: ML/DL, нейросети, квантизация, компьютерное зрение (полный список). В своей первой статье на Хабре хочу поделиться нашим пилотным проектом – как мы разрабатывали модель предиктивного обслуживания нефтедобывающих насосов для компаний из Северной Америки и России.


Читать: https://habr.com/ru/post/658597/
Как выбрать правильный тип палитры для шкалы

Цвет — мощное средство визуализации данных, его неумеренное или неправильное применение губит всю работу и сбивает с толку, поэтому цвет следует подбирать тщательно, не забывая об особенностях восприятия.

О типах палитр цветов и о том, как выбрать правильную палитру, рассказываем к старту курса по анализу данных.


Читать: https://habr.com/ru/post/658507/
Без «Табла» и жизнь не та…

Кадр из фильма «The Shining», 1980 г.
В рядах аналитиков началась тихая паника. Заплатить в Google BigQuery в облачном варианте сейчас невозможно без иностранной банковской карты, Tableau и Microsoft «приостанавливают» свою активность в РФ, многие вендоры ушли, многие в низком старте.
Появляются материалы с вопросами «Пора менять Tableau, Power BI, Qlik? Как выбрать российский BI? Или не российский? Или не BI?» которые даже неприлично было задавать пару месяцев назад.
Но это прекрасный момент остановить ковейерное тиражирование шаблонов, выдохнуть и подумать «А что нам реально надо то?». И тут все становится не совсем очевидно.
Дальше картинок мало (0), по большей части текст и ссылки.


Читать: https://habr.com/ru/post/658657/
Build data lineage for data lakes using AWS Glue, Amazon Neptune, and Spline

Read: https://aws.amazon.com/blogs/big-data/build-data-lineage-for-data-lakes-using-aws-glue-amazon-neptune-and-spline/
Bridging the gap: How citizen data scientists can turn data into actionable information

Learn how modern data management and analytics platforms enable citizen data scientists with the capabilities they need, without resorting to a complex architecture of expensive and loosely integrated tools?

Read: https://blogs.oracle.com/analytics/post/bridging-the-gap-citizen-data-scientists-can-turn-data-into-actionable-information
ChemCorp Segmentation Analysis

Case Study Overview:
Chemcorp recently lost clients causing a 10% decrease in sales revenue.If this continues ChemCorp’s market share and potential customer base could gradually erode and possibly risk the company’s ability to make dividend payments ...

Read: https://nicoletalkstech.hashnode.dev/chemcorp-segmentation-analysis
ChemCorp Customer Segmentation Analysis

Chemcorp recently lost clients causing a 10% decrease in sales revenue.If this continues ChemCorp’s market share and potential customer base could gradually erode and possibly risk the company’s ability to make dividend payments to shareholders. ​
I...

Read: https://nicoletalkstech.hashnode.dev/chemcorp-customer-segmentation-analysis