Хранение данных, опыт Oxygen: профессиональные СХД становятся еще более востребованными

Проблема эффективного хранения данных стоит сегодня перед многими компаниями, и поэтому сегодня я подготовил текст о том, как именно мы решаем задачу хранения в облаке Oxygen. В этом посте речь пойдет о преимуществах виртуализации хранилищ NetApp, о том, что дают нам СХД Huawei, как организовано подключение пользователей к виртуальному хранилищу облака Oxygen. Также мы рассмотрим несколько примеров, когда преимущества профессиональных СХД остаются неоспоримыми.


Читать: https://habr.com/ru/post/679574/

Как мы в Brand Analytics разработали Детектор сбоев и как вы можете помочь его улучшить

Привет, Хабр! Мы тут решили выйти из тени, на этот раз по-настоящему, технически, без маркетинговых текстов. А раз без маркетинга, то почитать про сам Brand Analytics можно на сайте или очень кратко под катом.

Меня зовут Островский Григорий, я CTO Brand Analytics. Сегодня расскажу, как за 4 недели мы запускали Детектор сбоев взамен ушедшему из рунета Downdetector: на какие задачки напоролись, как с ними боролись и как пришла идея — дать возможность сообществу улучшить определение сбоев на больших данных в нашем первом контесте.

Так как статью пишу здесь впервые, буду крайне признателен фидбеку, чтобы понять, на чём сделать больше акцент, нужно ли больше технических подробностей, какие темы остались не раскрыты и что ещё подкорректировать на будущее.


Читать: https://habr.com/ru/post/679580/

Accelerate your data warehouse migration to Amazon Redshift – Part 6

Read: https://aws.amazon.com/blogs/big-data/part-6-accelerate-your-data-warehouse-migration-to-amazon-redshift/

Schedule email reports and configure threshold based-email alerts using Amazon QuickSight

Read: https://aws.amazon.com/blogs/big-data/schedule-email-reports-and-configure-threshold-based-email-alerts-using-amazon-quicksight/

Implementing Data Level Security for Oracle Analytics Using Database Proxy User and Analytics Session Variables

This article demonstrates the functionality of enabling data level security in reports in Oracle Analytics by passing the single sign-on user name to an Oracle Database proxy user.

Read: https://blogs.oracle.com/analytics/post/implementing-data-level-security-for-oracle-analytics-cloud-using-database-proxy-user-analytics-session-variable

Глубокое погружение в Data Quality

Забота о качестве данных часто кажется малопривлекательной, но, по иронии, именно на нее мы тратим большую часть времени. Возможно, Data Quality — важнейший компонент пайплайна данных, ведь дашборд и аналитика, сгенерированные на основе недостоверных и ненадежных данных, окажутся бесполезными. Команда VK Cloud Solutions перевела статью о том, что такое Data Quality на самом деле и как обеспечивать его на разных уровнях пайплайна.


Читать: https://habr.com/ru/post/674876/

Подборка актуальных вакансий

— Аналитик DWH
Где: Москва, можно удалённо
Опыт: от 3 лет

— Системный аналитик
Где: Москва, можно удалённо
Опыт: от 3 лет

— Ведущий системный аналитик
Где: Москва, можно удалённо
Опыт: от 3 лет

— Главный специалист Группы сопровождения аналитических систем
Где: Москва, можно удалённо
Опыт: от 3 лет

— Аналитик в Центр Компетенций R&D
Где: Москва
Опыт: от 3 лет

— Младший инженер-аналитик SOC (1-ая линия)
Где: Краснодар
Опыт: от 1 года

#вакансии #работа

CDP для бизнеса, или Как эффективно подружиться с клиентом

Всем привет, мы – одна из команд GlowByte, специализируемся на клиентской аналитике и автоматизации маркетинга. В этом материале мы рассмотрим класс продуктов CDP (Customer data platform) – функциональные возможности, решаемые с их помощью задачи, назовем несколько распространенных на российском рынке решений и расскажем о базовых маркетинговых коммуникациях. В этот раз не будет глубокого погружения в технику и внутреннюю архитектуру систем, поэтому материал в первую очередь будет интересен для конечных бизнес-пользователей, которые хотят получить возможность лучше узнать своих клиентов и проводить с ними более эффективные коммуникации.


Читать: https://habr.com/ru/post/679890/

Use SQL queries to define Amazon Redshift datasets in AWS Glue DataBrew

Read: https://aws.amazon.com/blogs/big-data/use-sql-queries-to-define-amazon-redshift-datasets-in-aws-glue-databrew/

​Sportmaster Lab ищет аналитиков

В компанию нужен системный аналитик, аналитик данных, Middle Data / ML Engineer и старший аналитик 1С. 

#вакансии #работа

Data Engineering Weekly #95

Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-95

Переход от Платформы работы с данными к Платформе конфиденциальных вычислений

Привет, Хабр! Меня зовут Александр, в компании oneFactor я являюсь руководителем платформенных продуктов, и одна из моих целей — это развитие платформы конфиденциальных вычислений. Именно о них мы и будем говорить в данной статье, пройдя путь по преобразованию Платформы работы с данными в Платформу конфиденциальных вычислений над данными, где основной целью является – обеспечить нераскрытие информации, загружаемой в Платформу, даже для администратора Платформы.

1      Введение

2      Статья

2.1       Поставка данных

2.2       Контроль качества данных

2.3       Обработка данных

2.4       Обеспечение конфиденциальности данных

1.1.1     Технология конфиденциальных вычислений

1.1.2     Защищенное приложение

1.1.3     Как доказать владельцу сохранность данных?

2.5       Заключение


Читать: https://habr.com/ru/post/678794/

How Epos Now modernized their data platform by building an end-to-end data lake with the AWS Data Lab

Read: https://aws.amazon.com/blogs/big-data/how-epos-now-modernized-their-data-platform-by-building-an-end-to-end-data-lake-with-the-aws-data-lab/

FAW–Cross Functional Subject Area Analysis & 'explain' metrics on the combined dataset

The following document describes steps, how a FAW analytics user can go about doing a cross Subject Area between two or more subject areas and also use OAC pre-built explain functionality on all the measures available on cross-subject Areas.

Read: https://blogs.oracle.com/analytics/post/cf-sa

Нейросетевой подход к кредитному скорингу на данных кредитных историй

В Альфа-Банке естественным образом накапливаются разнообразные последовательные данные: истории транзакций клиентов, кредитные истории, истории коммуникаций. Одно из двух направлений Лаборатории машинного обучения Альфа-Банка занимается построением нейросетевых моделей на таких данных для решения разных задач. Одна из них — задача кредитного скоринга. Любой прирост в качестве скоринга платежеспособности клиентов на входе может быстро принести большой прирост в прибыли на выходе за счет увеличения числа выдач при неизменном риске.

Мы уже рассказывали о построении моделей на последовательностях карточных транзакций и транзакций расчетного счета для решения задачи кредитного скоринга. В обоих случаях вместо классических подходов – логистической регрессии и градиентного бустинга – использовались настоящие «черные ящики»: рекуррентные нейронные сети. Теперь же мы хотим рассказать о применении этого неклассического подхода на другом источнике данных – кредитных историях.

Появление модели на данных КИ стало переломной точкой, когда совокупный вес нейронок на последовательных данных при принятии решений превысил вес бустинговой модели на табличных данных. В этой статье мы опустим некоторые технические детали, о которых уже рассказывали в предыдущих. Вместо этого расскажем, как звучала постановка задачи, какие данные использовали, какие применяли модели, с какими сложностями столкнулись и как с ними справились. От этого рассказ, может быть, станет чуть менее техническим, но при этом не менее интересным.


Читать: https://habr.com/ru/post/680346/

11 августа состоится Alfa Data Science MeetUp в стиле кибер-футуризма

Если вы в Москве, регистрируйтесь на сайте и приезжайте в офис Альфа-Банка по адресу: проспект Андропова 18, корп. 6. Также есть возможность подключиться к онлайн трансляции.

Темы и спикеры:
— Развитие клиентской базы: моделирование LTV и прогноз будущих доходов. Спикер: Сергей Королёв, Middle Data Scientist Альфа-Банк.
— Uplift-моделирование в ценообразовании кредитных продуктов. Спикер: Максим Коматовский, Junior Data Scientist Альфа-Банк.
— Совершенный код расчёт. Спикер: Максим Cтаценко, Team Lead/Senior DWH Developer в Яндекс.
— Побеждаем смещение распределения в задаче нейросетевого кредитного скоринга. Спикер: Алексей Фирстов, Senior Data Scientist Альфа-Банк.

Мероприятие пройдет в необычном формате. У вас будет время вспомнить «Бегущего по лезвию» или «Cyberpunk 2077», вдохновиться, поучаствовать в конкурсе и получить призы за креативность.

Регистрируйтесь на сайте, приходите в гости, будет интересно!

#ивент

Машинное обучение как новая революция

Интеллектуальные алгоритмы машинного обучения уже умеют распознавать голос и изображения, занимаются аналитикой бизнес-процессов и используются в решении массы других задач.

Их внедрение позволило не просто облегчить процесс программирования, но и совершило настоящую революцию во многих отраслях человеческой деятельности. Сегодня предлагаем обсудить, что представляет собой машинное обучение и его алгоритмы и как заставить технику выполнять обязанности людей.


Читать: https://habr.com/ru/post/680436/

Develop an Amazon Redshift ETL serverless framework using RSQL, AWS Batch, and AWS Step Functions

Read: https://aws.amazon.com/blogs/big-data/develop-an-amazon-redshift-etl-serverless-framework-using-rsql-aws-batch-and-aws-step-functions/

Feature Engineering или стероиды для ML моделей



Привет, чемпион!

Часто при построении ML моделей мало просто взять сильную модель. Оказывается, иногда грамотная предобработка данных существенно важнее. Речь пойдем про feature engineering.

Рассмотрим несколько кейсов на эту тему более подробно. Данные будут упрощённые, но обещаю, от этого примеры не станут менее интересными 😉.


Читать: https://habr.com/ru/post/680498/

Ускоряем кластеризацию больших векторов, анализируя страны Центральной Азии

Любите ли вы задачи кластеризации? Лично я — да. Они хорошо поддаются визуализации, понятны людям, далеким от математики, и зачастую оказывают быстрое влияние на бизнес процессы. Однако, при решении задач кластеризации мы можем столкнуться с рядом проблем. Среди которых может быть:

— большая размерность вектора признаков,
— отсутствие данных на подмножестве фичей,
— зашумленность значений / выбросы и т.д.

В случае, если количество объектов небольшое (и увеличить их естественным образом невозможно), то при неблагоприятном стечении обстоятельств мы можем столкнуться с серьезными проблемами в качестве нашей кластеризации.

Но если количество объектов достаточно большое, возникают вычислительные проблемы, такие как: нехватка ресурсов, скорость выполнения и т.д.


Читать: https://habr.com/ru/post/680724/

Manage data transformations with dbt in Amazon Redshift

Read: https://aws.amazon.com/blogs/big-data/manage-data-transformations-with-dbt-in-amazon-redshift/