Build a data pipeline to automatically discover and mask PII data with AWS Glue DataBrew

Read: https://aws.amazon.com/blogs/big-data/build-a-data-pipeline-to-automatically-discover-and-mask-pii-data-with-aws-glue-databrew/

Best practices to optimize data access performance from Amazon EMR and AWS Glue to Amazon S3

Read: https://aws.amazon.com/blogs/big-data/best-practices-to-optimize-data-access-performance-from-amazon-emr-and-aws-glue-to-amazon-s3/

Develop and test AWS Glue version 3.0 jobs locally using a Docker container

Read: https://aws.amazon.com/blogs/big-data/develop-and-test-aws-glue-version-3-0-jobs-locally-using-a-docker-container/

ИИ для прогнозирования тренда стоимости Bitcoin на данных Twitter. ч.1

ИИ для предсказания тренда цены BTC на данных Twitter


Читать: https://habr.com/ru/post/661141/

12 актуальных вакансий для аналитиков

— Младший инженер-аналитик SOC
— Junior Data Аналитик
— Системный аналитик
— Продуктовый аналитик
— Аналитик
— Системный аналитик
— Продуктовый аналитик
— Middle Бизнес Аналитик
— Ведущий системный аналитик
— Ведущий аналитик
— Старший аналитик данных
— Старший системный аналитик

#вакансии #работа

Data Engineering Weekly #83

Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-83

BI заместитель: Как сейчас быстро и недорого зарезервировать BI

Статья о том, как в нынешних условиях снизить критичность влияния санкций и прочих катаклизмов на пользователей данных в компании.
, про способ резервирования BI

Читать: https://habr.com/ru/post/661417/

Do better

Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/04/do-better.html

Write prepared data directly into JDBC-supported destinations using AWS Glue DataBrew

Read: https://aws.amazon.com/blogs/big-data/write-prepared-data-directly-into-jdbc-supported-destinations-using-aws-glue-databrew/

Датацентрический и моделецентрический подходы в машинном обучении

Код и данные — фундамент ИИ-системы. Оба эти компонента играют важную роль в разработке надёжной модели, но на каком из них следует сосредоточиться больше? В этой статье мы сравним методики, ставящие в центр данные, либо модель, и посмотрим, какая из них лучше; также мы поговорим о том, как внедрять датацентрическую инфраструктуру.


Читать: https://habr.com/ru/post/661457/

What is the difference between a data lake and a data warehouse?

Read: https://www.startdataengineering.com/post/data-lake-warehouse-diff/

Share data securely across Regions using Amazon Redshift data sharing

Read: https://aws.amazon.com/blogs/big-data/share-data-securely-across-regions-using-amazon-redshift-data-sharing/

Automate notifications on Slack for Amazon Redshift query monitoring rule violations

Read: https://aws.amazon.com/blogs/big-data/automate-notifications-on-slack-for-amazon-redshift-query-monitoring-rule-violation/

Amazon Redshift continues its price-performance leadership

Read: https://aws.amazon.com/blogs/big-data/amazon-redshift-continues-its-price-performance-leadership/

Четыре хитрости в работе с пайплайнами данных, о которых знают не все

Dust-n-Rust by Spiritofdarkness

Команда разработки Cloud Big Data от VK Cloud Solution перевела статью с советами, которые касаются общих понятий работы с пайплайнами. Неважно, какую систему управления рабочими процессами вы используете, эти идеи можно применять везде. Сам автор пользуется Apache Airflow и приводит примеры кода на ее основе.

Эта статья будет полезна не только дата-инженерам, но и дата-сайентистам, так как хороший дата-сайентист тоже понимает принципы работы пайплайнов данных.


Читать: https://habr.com/ru/post/659389/

Умный город Ташкент: как Visiology BI и Геоинтеллект помогли создать современный ситуационный центр

Привет, Хабр! Меня зовут Ахрор, и я занимаю должность управляющего проектами в Департаменте Цифрового Развития Ташкента. Сегодня я хочу рассказать вам о том, как мы создавали систему управления Smart City для столицы Узбекистана на базе российских решений — ПО для бизнес-аналитики и визуализации Visiology и платформы “Геоинтеллект”. Новая система объединила более 60 ведомств и стала основой для работы диспетчерского ситуационного центра. В этом посте я подробно расскажу о том, как создавалась и проектировалась платформа, а также о том, какие возможности Геоинтеллекта и Visiology мы использовали.


Читать: https://habr.com/ru/post/662019/

All else is never equal

Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/04/all-else-is-never-equal.html

Управление предпочтениями людей через социальные сети



Читать: https://habr.com/ru/post/319596/

Scale Amazon Redshift to meet high throughput query requirements

Read: https://aws.amazon.com/blogs/big-data/scale-amazon-redshift-to-meet-high-throughput-query-requirements/

Enhance analytics with Google Trends data using AWS Glue, Amazon Athena, and Amazon QuickSight

Read: https://aws.amazon.com/blogs/big-data/enhance-analytics-with-google-trends-data-using-aws-glue-amazon-athena-and-amazon-quicksight/

The Data Founder Story: Joining as a Cofounder after being an Advisor

Read: https://www.dataengineeringweekly.com/p/the-data-founder-story-joining-as