SDS vs традиционные СХД: почему мы редко применяем программно-определяемые хранилища?

Хранение данных — непростая задача, особенно когда к ним нужно обеспечить бесперебойный доступ. И сегодня мне хотелось бы поговорить о гиперконвергентных системах и связанных с ними программно-определяемых хранилищах, позволяющих использовать накопители в стандартных серверах х86 из того же кластера, что и вычислительные узлы. Чтобы не разводить холивара, сразу скажу, что в этом посте не будет глубокого технического разбора той или иной системы. Мы поговорим об архитектуре и особенностях ее применения в ЦОДе.

Итак, используем ли мы гиперконвергенцию в ЦОД Oxygen? Да, конечно. Будем ли мы рекомендовать ее для широкого спектра задач? Нет, не будем. Почему — подробнее разбираемся под катом.
Узнать, кто победил в неравном бою

Читать: https://habr.com/ru/post/680782/

Data flows behind "secure" debit cards

Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/08/data-flows-behind-secure-debit-cards.html

Рецепт готовки Apache Kafka: как создавался Data Lake на 80 Тb

Kafka позволит вам грамотно организовать работу с большим массивом данных, но в процессе может подкинуть проблем. Иногда придется устроить танцы с бубном, чтобы программа продолжила работать, а не рухнула в момент запуска.

О не очень стандартном использовании Apache Kafka и лайфхаках по созданию Data Lake на его основе нам рассказал Михаил Кобик, директор департамента инфраструктурных решений в SMART Technologies SOFT. В 2017 году перед командой Михаила встала непростая задачка - создать хранилище данных на 80 Tb. В распоряжении был спек, примерные нагрузки и абсолютное непонимание, что с этим делать со стороны заказчика.


Читать: https://habr.com/ru/post/681070/

Design patterns to manage Amazon EMR on EKS workloads for Apache Spark

Read: https://aws.amazon.com/blogs/big-data/design-patterns-to-manage-amazon-emr-on-eks-workloads-for-apache-spark/

FAW - Extensibility with data from Fusion via Data Aug & Semantic Modelling

Oracle Fusion Analytics Warehouse (FAW) caters to most prominent use cases on analytics for underlying Fusion source . There are times when this is insufficient for detailed operation reporting needs .This is an easily achievable objective, we have published a case study FAW - Extensibility using Custom PVO via Data Aug & Semantic Modelling

Read: https://blogs.oracle.com/analytics/post/faw---extensibility-with-data-from-fusion-via-data-aug-semantic-modelling

​Как работают А/В-тесты на примере онлайн-кинотеатра KION

A/B тесты — это простой способ проверить идею и её влияние на метрики продукта. В этой статье на примере фичи Autoplay Александр Труфанов, Руководитель направления Продуктовой аналитики МТС Медиа/KION, разбирается в том, как проводится A/B-тестирование:

https://tprg.ru/YkjF

Как продажа виниловых пластинок сделала из режиссёра монтажа аналитика данных

Рассказываем, как вдохновиться на переход в новую профессию во взрослом возрасте и не бросить всё на полпути.

Читать: «Как продажа виниловых пластинок сделала из режиссёра монтажа аналитика данных»

Forwood Safety uses Amazon QuickSight Q to extend life-saving safety analytics to larger audiences

Read: https://aws.amazon.com/blogs/big-data/forwood-safety-uses-amazon-quicksight-q-to-extend-life-saving-safety-analytics-to-larger-audiences/

Introducing AWS Glue Flex jobs: Cost savings on ETL workloads

Read: https://aws.amazon.com/blogs/big-data/introducing-aws-glue-flex-jobs-cost-savings-on-etl-workloads/

Fusion Analytics Warehouse –Salesforce Data Extraction using OAC Dataflows

Salesforce is a leading CRM software application with a wide customer base, Hence often Oracle FAW customers like to compliment the analytical capabilities provided by Oracle Fusion cloud data with the custom data sourced from Salesforce.com ( Commonly referred to as SFDC).

Read: https://blogs.oracle.com/analytics/post/oac-salesforce-datamodel

#1 Нейронные сети для начинающих. Решение задачи классификации Ирисов Фишера



На хабре было множество публикаций по данной теме, но все они говорят о разных вещах. Решил собрать всё в одну кучку и рассказать людям.

Это первая статья серии введения в нейронные сети, «Нейронные сети для начинающих». Здесь и далее мы постараемся разобраться с таким понятием — как нейронные сети, что они вообще из себя представляют и как с ними «подружиться», на практике решая простые задачи.


Читать: https://habr.com/ru/post/679988/

There is no such thing as objective data

Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/08/there-are-no-objective-data.html

Перезагрузка хранилищ данных в будущем

Команда Netflix Cloud Data Engineering с радостью открывает исходный код s3-flash-bootloader, нашего инструмента для выполнения обновления образа ОС на месте на государственных облачных инстансах, подставляя новый AMI вместо старого. В этом посте я расскажу о некоторых моментах, побудивших нас разработать этот инструмент, и обсужу, как он на порядок ускорил обновление Cassandra и Elasticsearch.


Читать: https://habr.com/ru/post/681694/

How NerdWallet uses AWS and Apache Hudi to build a serverless, real-time analytics platform

Read: https://aws.amazon.com/blogs/big-data/how-nerdwallet-uses-aws-and-apache-hudi-to-build-a-serverless-real-time-analytics-platform/

How to easily and quickly create an automated and governed data standardization process in Oracle Analytics

This article describes a way to leverage the hidden power of Custom Reference Knowledge to easily and quickly create an automated and governed data standardization process to improve the quality and accuracy of a data analysis.

Read: https://blogs.oracle.com/analytics/post/how-to-easily-and-quickly-create-an-automated-and-governed-data-standardization-process-in-oracle-analytics

Fusion Analytics Warehouse: Creating a Custom Data Model using Semantic Model Extensions Framework

Oracle Fusion Analytics Warehouse (FAW) is highly customizable and allows you to create custom data models using the semantic model and any externally sourced data. Read this blog to understand how you can easily extend your reporting using this approach.

Read: https://blogs.oracle.com/analytics/post/fusion-analytics-warehouse-creating-a-custom-data-model-using-semantic-model-extensions-framework

​​Актуальные вакансии от Яндекс.Практикума

Компания предлагает 6 вакансий:

— Код-ревьюер на курсе «Middle Python-разработчик»: https://tprg.ru/5P2U

— Наставник на курсе «Middle Python-разработчик»: https://tprg.ru/lLTv

— Ревьюер Python-разработчик: https://tprg.ru/bSEP

— Наставник на факультет тестирования: https://tprg.ru/eCvo

— Наставник на курсе «Системный аналитик»: https://tprg.ru/xz1I

— Код-ревьюер на курсе «Системный аналитик»: https://tprg.ru/6Hzs

#вакансии #работа

Наблюдай и властвуй — дашборды для бизнеса

Привет! В рамках нашего цикла постов про дашборды в СИБУРе и их практическую пользу для компании не смогли обойти стороной M2F – это обслуживание и ремонты, туда входит множество метрик из различных направлений бизнеса. Это могут быть метрики, которые показывают загруженность ремонтного персонала на предприятии или метрики затрат, например, «Поддержание основных фондов», а также имеется большой блок «Надежность».

В общем и целом, это широкий спектр метрик, выделенных в качестве наиболее приоритетных, с точки зрения влияния на бизнес. Анализ этих метрик помогает бизнесу наиболее эффективно управлять имеющимися ресурсами, а также «подсвечивать» проблемы в самом бизнес-процессе.

Чуть не забыл представиться! Меня зовут Миша Делендик, и я как раз отвечаю в СИБУРе за разработку дашбордов по сквозным процессам M2F. В этом материале подробнее расскажу о том, как мы анализируем различные части процесса, чтобы оборудование работало без, кхм, нештатных ситуаций.


Читать: https://habr.com/ru/post/681622/

Andrew screaming about professional fouls

Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/08/andrew-screaming-about-professional-fouls.html

Leverage Data Flow Tools to Prepare Garmin Activity Data

Learn about data flow tools through a wearable device use case.

Read: https://blogs.oracle.com/analytics/post/leverage-data-flow-tools-to-prepare-garmin-activity-data

Как не перестать быть data driven из-за data driften, или Пару слов о дрейфе данных

Нестабильная экономическая ситуация значительно влияет почти на все сферы жизни общества и бизнеса. Меняется потребительское поведение, производственные и логистические цепочки, закупочные цены, доступность огромного количества товаров и услуг и даже состав конкурентов на рынке. Конечно, это не может не сказаться на качестве многих моделей машинного обучения, поскольку они были обучены на исторических данных, которые уже не актуальны. Это явление известно как дрейф данных или дрейф концепции и оно является основной причиной деградации модели с течением времени. Сейчас особенно полезно знать о методах детекции дрейфа и борьбы с его последствиями, ведь когда данные дрейфуют, прогнозы будут ошибочными, а решения, принятые на основе этих прогнозов, могут негативно влиять на бизнес.

В статье мы – команда Advanced Analytics GlowByte – поговорим о типах и причинах дрейфа, а также разберём на примере основные методы детекции дрейфа.


Читать: https://habr.com/ru/post/681772/