How Plugsurfing doubled performance and reduced cost by 70% with purpose-built databases and AWS Graviton

Read: https://aws.amazon.com/blogs/big-data/how-plugsurfing-doubled-performance-and-reduced-cost-by-70-with-purpose-built-databases-and-aws-graviton/

Process Apache Hudi, Delta Lake, Apache Iceberg datasets at scale, part 1: AWS Glue Studio Notebook

Read: https://aws.amazon.com/blogs/big-data/part-1-integrate-apache-hudi-delta-lake-apache-iceberg-datasets-at-scale-aws-glue-studio-notebook/

Best Practices for Administering Fusion Analytics Warehouse

Oracle Fusion Analytics Warehouse provides analytics for Oracle Fusion Cloud applications. This blog details several best practices that are important to follow while administering Fusion Analytics Warehouse as of Release 22.R2.

Read: https://blogs.oracle.com/analytics/post/fusion-analytics-warehouse-best-practice-series---administering-faw

Статистический анализ по картинке

Название звучит как "приворот по фото", но я о чём - захотел я как-то проанализировать пару графиков, найти корреляции и столкнулся с парой сложностей:

I. У меня был только график - картинка, самих данных (значений) не было. Принялся я по нему вычислять хотя бы наиболее важные точки - в итоге получилось ужасно долго и просто ужасно (человеский глаз и осознанный мозг не может предоставить точность больше 10% деления):

Поэтому представляю Вам программу для оцифровки значений графика из картинки, а также...


Читать: https://habr.com/ru/post/677636/

Все Telegram-каналы от Tproger теперь собраны в одном месте: @tproger_channels

Каналы по конкретным направлениям разработки, подборки полезных ресурсов, канал для начинающих, новости, мемы — всего около двух десятков каналов разного формата. Точно найдёте что-нибудь для себя.

Промышленный мониторинг качества данных в Feature Store. Предпосылки и реализация

Привет, Хабр! Меня зовут Алексей Лямзин, я работаю аналитиком в финтех направлении Big Data МТС. Мы с коллегами разрабатываем предиктивные модели на данных крупнейшего телеком-оператора и сегодня я расскажу вам о том, как мы строили автоматизированный контроль за качеством данных в нашем Feature Store.

Добро пожаловать под кат!


Читать: https://habr.com/ru/post/677516/

Предсказание временных рядов с помощью Keras

Привет, Хабр!

Сегодня хотелось бы поговорить о задаче предсказания временных рядов методами машинного обучения. В каком виде зачастую используются данные для задачи предсказания? Что такое LSTM-архитектура рекуррентных нейронных сетей? Как справляются модели RNN и CNN c поставленной задачей?


Читать: https://habr.com/ru/post/677714/

Как мы построили систему онбординга для аналитиков-новичков: подводные камни и полезные приёмы

Привет, я Галина Вакулина, лидер аналитиков в Точке.

В новой компании аналитик тратит много времени на изучение данных, с которыми ему предстоит работать. В этой статье я рассказываю, как мы построили процесс онбординга, чтобы погружение новичка проходило эффективно и безболезненно.


Читать: https://habr.com/ru/post/677748/

[recovery mode] Как IoT-технологии и эксперты по оборудованию помогают внедрять предиктивную аналитику: опыт Factory5

Всем привет, на связи Алексей Ершов и Максим Зотов, эксперты Factory5. Сейчас наша компания разрабатывает ПО для анализа промышленных данных, а начинали когда-то с предиктивной аналитики промышленного оборудования. В этой статье расскажем о том, как IoT-технологии и эксперты по оборудованию помогают внедрять её на предприятиях.


Читать: https://habr.com/ru/post/677788/

Enable federated governance using Trino and Apache Ranger on Amazon EMR

Read: https://aws.amazon.com/blogs/big-data/enable-federated-governance-using-trino-and-apache-ranger-on-amazon-emr/

Как мы обучали категоризатор фискальных чеков DataCheckEngine

Задача актуальна для фин. организаций и ретейла. Расскажем, как мы подошли к ней и почему выбрали для обучения уменьшенную версию модели DistilBert.


Читать: https://habr.com/ru/post/677858/

Data Quality: новые правила

В нашем мире проблемы с данными делятся на два типа: предсказуемые (известные неизвестные) и непредсказуемые (неизвестные неизвестные). Вот какой комплексный подход применяют лучшие специалисты по работе с данными для решения этих проблем в крупномасштабных системах. Команда VK Cloud Solutions перевела статью о новых способах повышения качества данных с помощью тестирования и наблюдаемости (observability).


Читать: https://habr.com/ru/post/674830/

В Китае внедрили суд ИИ. Или нет?

С такими заголовками вышли десятки публикаций в российском интернете. Может показаться, что в КНР создали искусственный интеллект, который рассматривает дела и выносит приговоры. Прямо как с новостями о китайском социальном рейтинге, которого нет. Так что же с ИИ в китайском суде?


Читать: https://habr.com/ru/post/677920/

Какой ты аналитик?

Холмс, Фрейд или Аристотель: определяем, на кого из известных аналитиков вы похожи.

Читать: «Какой ты аналитик?»

Predicting invariables

Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/07/predicting-invariables.html

Integrate Amazon Redshift row-level security with Amazon Redshift native IdP authentication

Read: https://aws.amazon.com/blogs/big-data/integrate-amazon-redshift-row-level-security-with-amazon-redshift-native-idp-authentication/

Stream Amazon EMR on EKS logs to third-party providers like Splunk, Amazon OpenSearch Service, or other log aggregators

Read: https://aws.amazon.com/blogs/big-data/stream-amazon-emr-on-eks-logs-to-third-party-providers-like-splunk-amazon-opensearch-service-or-other-log-aggregators/

Simplify analytics on Amazon Redshift using PIVOT and UNPIVOT

Read: https://aws.amazon.com/blogs/big-data/simplify-analytics-on-amazon-redshift-using-pivot-and-unpivot/

Путь к “сердцу заказчика”, или Как мы редизайнили дашборды у топового банка России

Многие компании в РФ сегодня уже далеко не новички в сфере BI. За последние несколько лет технология активно распространилась в нашей стране, дашборды и ad-hoc-визуализации стали активно использовать при принятии решений в самых разных индустриях и направлениях. В этой статье мы, команда Business Intelligence Glowbyte, хотим рассказать о случае из личного опыта на проекте с банком топ-5 России, а именно о том, как наша команда решила проблему неэффективного использования прогрессивного инструмента бизнес-отчетности.


Читать: https://habr.com/ru/post/678326/

«Звезда» — оптимальная структура данных при переходе на российский BI

Бизнес-аналитика — интереснейшее направление работы с данными. С одной стороны пользователи хотят видеть красивые дашборды и простые self-service платформы, а с другой стороны, для организации всего этого порой требуется колоссальная работа по организации витрин, моделей данных, оптимизации запросов, а вместе с этим — мощный сервер для переработки миллиардов записей. В этом посте я расскажу о том, почему для работы с BI сегодня как никогда актуальна такая модель данных как “Звезда”, и как ее использование помогает улучшать эффективность бизнес-аналитики на любых BI-платформах.


Читать: https://habr.com/ru/post/678346/

Новости Data Science: факт-чек Википедии при помощи Sphere, обучение AI-геймингу, обложка для Cosmopolitan и кое-что еще

Привет, Хабр! Сегодня поговорим о новостях из мира Data Science. За пару последних  месяцев как отечественные, так и зарубежные компании представили много всего интересного. Отличились и студенты, обучающиеся профессии «Data Scientist Pro», — они разработали нейросеть, которая написала сценарий для сериала СТС «Сидоровы».

Но есть и другие новости из мира машинного обучения и нейросетей. Так, мы изучили новинки и выбрали несколько, на наш взгляд, самых любопытных проектов. Понятно, что подборка субъективная, но интересна она будет самому широкому кругу читателей, связанных с Data Science. Если у вас есть что добавить, то расскажите в комментариях — обсудим.


Читать: https://habr.com/ru/post/678356/