Глубокое погружение в рекомендательную систему Netflix

Как Netflix добился 80 процентов от всего своего стримингового времени благодаря персонализации


Читать: https://habr.com/ru/post/677396/

Data Engineering Weekly #93

Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-93

Почему мы используем Kafka вместо RabbitMQ: сравнение и преимущества

Делимся особенностями работы Apache Kafka и RabbitMQ, дав точный рецепт, когда и какой брокер стоит использовать.

Читать: «Почему мы используем Kafka вместо RabbitMQ: сравнение и преимущества»

Как Big Data и роботы упрощают поиск работы

Рассказываем о том, как Big Data и роботы упрощают поиск работы для кандидатов и процесс найма рекрутерам.

Читать: «Как Big Data и роботы упрощают поиск работы»

How Plugsurfing doubled performance and reduced cost by 70% with purpose-built databases and AWS Graviton

Read: https://aws.amazon.com/blogs/big-data/how-plugsurfing-doubled-performance-and-reduced-cost-by-70-with-purpose-built-databases-and-aws-graviton/

Process Apache Hudi, Delta Lake, Apache Iceberg datasets at scale, part 1: AWS Glue Studio Notebook

Read: https://aws.amazon.com/blogs/big-data/part-1-integrate-apache-hudi-delta-lake-apache-iceberg-datasets-at-scale-aws-glue-studio-notebook/

Best Practices for Administering Fusion Analytics Warehouse

Oracle Fusion Analytics Warehouse provides analytics for Oracle Fusion Cloud applications. This blog details several best practices that are important to follow while administering Fusion Analytics Warehouse as of Release 22.R2.

Read: https://blogs.oracle.com/analytics/post/fusion-analytics-warehouse-best-practice-series---administering-faw

Статистический анализ по картинке

Название звучит как "приворот по фото", но я о чём - захотел я как-то проанализировать пару графиков, найти корреляции и столкнулся с парой сложностей:

I. У меня был только график - картинка, самих данных (значений) не было. Принялся я по нему вычислять хотя бы наиболее важные точки - в итоге получилось ужасно долго и просто ужасно (человеский глаз и осознанный мозг не может предоставить точность больше 10% деления):

Поэтому представляю Вам программу для оцифровки значений графика из картинки, а также...


Читать: https://habr.com/ru/post/677636/

Все Telegram-каналы от Tproger теперь собраны в одном месте: @tproger_channels

Каналы по конкретным направлениям разработки, подборки полезных ресурсов, канал для начинающих, новости, мемы — всего около двух десятков каналов разного формата. Точно найдёте что-нибудь для себя.

Промышленный мониторинг качества данных в Feature Store. Предпосылки и реализация

Привет, Хабр! Меня зовут Алексей Лямзин, я работаю аналитиком в финтех направлении Big Data МТС. Мы с коллегами разрабатываем предиктивные модели на данных крупнейшего телеком-оператора и сегодня я расскажу вам о том, как мы строили автоматизированный контроль за качеством данных в нашем Feature Store.

Добро пожаловать под кат!


Читать: https://habr.com/ru/post/677516/

Предсказание временных рядов с помощью Keras

Привет, Хабр!

Сегодня хотелось бы поговорить о задаче предсказания временных рядов методами машинного обучения. В каком виде зачастую используются данные для задачи предсказания? Что такое LSTM-архитектура рекуррентных нейронных сетей? Как справляются модели RNN и CNN c поставленной задачей?


Читать: https://habr.com/ru/post/677714/

Как мы построили систему онбординга для аналитиков-новичков: подводные камни и полезные приёмы

Привет, я Галина Вакулина, лидер аналитиков в Точке.

В новой компании аналитик тратит много времени на изучение данных, с которыми ему предстоит работать. В этой статье я рассказываю, как мы построили процесс онбординга, чтобы погружение новичка проходило эффективно и безболезненно.


Читать: https://habr.com/ru/post/677748/

[recovery mode] Как IoT-технологии и эксперты по оборудованию помогают внедрять предиктивную аналитику: опыт Factory5

Всем привет, на связи Алексей Ершов и Максим Зотов, эксперты Factory5. Сейчас наша компания разрабатывает ПО для анализа промышленных данных, а начинали когда-то с предиктивной аналитики промышленного оборудования. В этой статье расскажем о том, как IoT-технологии и эксперты по оборудованию помогают внедрять её на предприятиях.


Читать: https://habr.com/ru/post/677788/

Enable federated governance using Trino and Apache Ranger on Amazon EMR

Read: https://aws.amazon.com/blogs/big-data/enable-federated-governance-using-trino-and-apache-ranger-on-amazon-emr/

Как мы обучали категоризатор фискальных чеков DataCheckEngine

Задача актуальна для фин. организаций и ретейла. Расскажем, как мы подошли к ней и почему выбрали для обучения уменьшенную версию модели DistilBert.


Читать: https://habr.com/ru/post/677858/

Data Quality: новые правила

В нашем мире проблемы с данными делятся на два типа: предсказуемые (известные неизвестные) и непредсказуемые (неизвестные неизвестные). Вот какой комплексный подход применяют лучшие специалисты по работе с данными для решения этих проблем в крупномасштабных системах. Команда VK Cloud Solutions перевела статью о новых способах повышения качества данных с помощью тестирования и наблюдаемости (observability).


Читать: https://habr.com/ru/post/674830/

В Китае внедрили суд ИИ. Или нет?

С такими заголовками вышли десятки публикаций в российском интернете. Может показаться, что в КНР создали искусственный интеллект, который рассматривает дела и выносит приговоры. Прямо как с новостями о китайском социальном рейтинге, которого нет. Так что же с ИИ в китайском суде?


Читать: https://habr.com/ru/post/677920/

Какой ты аналитик?

Холмс, Фрейд или Аристотель: определяем, на кого из известных аналитиков вы похожи.

Читать: «Какой ты аналитик?»

Predicting invariables

Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/07/predicting-invariables.html

Integrate Amazon Redshift row-level security with Amazon Redshift native IdP authentication

Read: https://aws.amazon.com/blogs/big-data/integrate-amazon-redshift-row-level-security-with-amazon-redshift-native-idp-authentication/

Stream Amazon EMR on EKS logs to third-party providers like Splunk, Amazon OpenSearch Service, or other log aggregators

Read: https://aws.amazon.com/blogs/big-data/stream-amazon-emr-on-eks-logs-to-third-party-providers-like-splunk-amazon-opensearch-service-or-other-log-aggregators/