Scale Amazon Redshift to meet high throughput query requirements

Read: https://aws.amazon.com/blogs/big-data/scale-amazon-redshift-to-meet-high-throughput-query-requirements/

Enhance analytics with Google Trends data using AWS Glue, Amazon Athena, and Amazon QuickSight

Read: https://aws.amazon.com/blogs/big-data/enhance-analytics-with-google-trends-data-using-aws-glue-amazon-athena-and-amazon-quicksight/

The Data Founder Story: Joining as a Cofounder after being an Advisor

Read: https://www.dataengineeringweekly.com/p/the-data-founder-story-joining-as

Visiology предложила специальные лицензии для миграции с других BI-платформ

Еще в марте 2022 года мы столкнулись с проблемой наших потенциальных клиентов. Потребность в миграции на российскую BI-платформу создала дополнительную финансовую нагрузку на компании. На прошлой неделе мы представили новую линейку тарифов, которые облегчают процесс перехода. Этот пост — для тех, кто уже рассматривает Visiology в качестве альтернативной BI платформы, а под катом — подробности о стоимости лицензий Visiology, с учетом своего рода Trade-In.


Читать: https://habr.com/ru/post/661791/

Machine Learning много не бывает: отчёт с ML-митапа

Выкладываем запись с прошедшего Ozon Tech ML Meetup: были рады поделиться опытом с коллегами из Яндекс Маркета, AliExpress Россия, Циан и увидеть гостей оффлайн, как в старые-добрые времена.

Под катом найдете запись докладов:

— Spark Streaming: в погоне за оптимальной утилизацией и прозрачностью на Hadoop,

— Го обсудим: продакшен ML на Golang,

— Платформенные решения. Решаем проблемы жизненного цикла ML-сервиса,

— Как мы перестали бояться иероглифов и полюбили китайскую инфраструктуру.

После докладов на круглом столе обсудили процессы и роли в ML-командах крупных IT-компаний.
Запись под катом

Читать: https://habr.com/ru/post/661601/

Эволюция рекомендаций в Delivery Club. Часть 2

Всем привет! Это вторая часть статьи об изменении подхода к рекомендациям в Delivery Club. В первой части я подробно описал текущие проблемы нашей рекомендательной системы: локально оптимальный баланс exploitation и cold start, а также недостаточно развитый механизм exploration. А также рассказал, как мы решали проблему exploitation через карусель «Вы заказывали», а проблему cold start — через карусель популярных фастфуд-ресторанов.


Читать: https://habr.com/ru/post/661453/

​Свежие вакансии в Selectel для специалистов в сфере Big Data

Команда BI в Selectel занимается разработкой аналитических инструментов для всей компании. Чтобы культура аналитики продолжала развиваться, ребята ищут опытного Data-инженера, а также BI-разработчика.

Работать можно как полностью удалённо, так из офиса в Санкт-Петербурге (помогают с релокацией). При этом работа из офиса сопровождается кучей плюшек: от ДМС со стоматологией и психолога до внутренних спортивных мероприятий.

Откликнуться на вакансии можно на сайте Selectel:
— Data Engineer: https://tprg.ru/5Qe6
— BI-разработчик: https://tprg.ru/s2gC

#вакансии

Introducing AWS Glue Auto Scaling: Automatically resize serverless computing resources for lower cost with optimized Apache Spark

Read: https://aws.amazon.com/blogs/big-data/introducing-aws-glue-auto-scaling-automatically-resize-serverless-computing-resources-for-lower-cost-with-optimized-apache-spark/

Amazon QuickSight 1-click public embedding available in preview

Read: https://aws.amazon.com/blogs/big-data/amazon-quicksight-1-click-public-embedding-available-in-preview/

Build your data pipeline in your AWS modern data platform using AWS Lake Formation, AWS Glue, and dbt Core

Read: https://aws.amazon.com/blogs/big-data/build-your-data-pipeline-in-your-aws-modern-data-platform-using-aws-lake-formation-aws-glue-and-dbt-core/

Query 10 new data sources with Amazon Athena

Read: https://aws.amazon.com/blogs/big-data/query-10-new-data-sources-with-amazon-athena/

Author AWS Glue jobs with PyCharm using AWS Glue interactive sessions

Read: https://aws.amazon.com/blogs/big-data/author-aws-glue-jobs-with-pycharm-using-aws-glue-interactive-sessions/

Почему инструменты MLOps должны быть с открытым исходным кодом?

Перевод статьи подготовлен совместно с Моргуновой Анной, за что ей огромное спасибо 👋 Другие материалы ML REPA и ссылки на видео митапов и конференций можно найти в открытой странице в Notion.

Обзор

💡 Вы узнаете, что такое MLOps, зачем вам нужны MLOps для ваших проектов машинного обучения, почему MLOps должен быть open source и примеры существующих инструментов MLOps.

Автор: Yuqi Li

Оригинал: Why MLOps tools should be Open Source


Читать: https://habr.com/ru/post/662519/

Установка, настройка и эксплуатация стэка OpenSearch в классической среде

Передо мной встала задача сбора логов с парка серверов на ОС Windows и ОС Linux. Для того чтобы решить её я воспользовался стэком OpenSearch. Во время настройки OpenSearch мне не хватало в открытых источниках наглядных примеров, а информация на официальных сайтах ElasticSearch и OpenSearch мне показалась обрывочной, слабо привязанной к реальным ситуациям. Поэтому я решил поделиться своим опытом и описать основные моменты установки и некоторые сценарии настройки и применения стэка OpenSearch, которые я применил в своей практике.


Читать: https://habr.com/ru/post/662527/

Data Engineering Weekly #84

Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-84

Успешное изобретение для Умного поиска hh.ru

Мы запатентовали собственную разработку для «Умного поиска» и вошли в число финалистов конкурса Роспатента «Успешный патент» где выявляют самые классные изобретения по итогам 2020-2021 годов. В конкурсе приняли участвовали еще 128 российских правообладателей.


Читать: https://habr.com/ru/post/662920/

CleverDATA Tag Manager – есть ли жизнь без Google?

Российский рекламно-аналитический рынок меняется с невероятной скоростью, и эти изменения довольно серьезные. На них нужно как-то реагировать и крупным компаниям-производителям товаров и услуг, и рекламным агентствам. Привычные инструменты аналитики перестают быть доступными. Существует ли альтернатива, например, для сбора событий в условиях недоступности сервисов Google? Рассказываем про нашу разработку  CleverDATA Tag Manager, которая является частью CDP CleverDATA.


Читать: https://habr.com/ru/post/662720/

Причинно-следственный анализ в машинном обучении

Что появилось первым: курица или яйцо?
Статистики давно уже нашли ответ на этот вопрос.
Причем несколько раз.
И каждый раз ответ был разным.

А если серьезно, то для машинного обучения становятся все более актуальными вопросы причинно-следственного анализа (causal inference) - когда главной целью моделирования является не прогноз и его качество, а то, как мы можем принимать решения на основе нашего алгоритма. И как это повлияет на мир, в котором эта модель будет действовать. Сделает ли модель его лучше, чем он был? Или наоборот.

Под катом я расскажу о причинно-следственном анализе, его ключевых методах и применении в машинном обучении. В следующей статье побеседуем о ключевых трендах в развитии методов причинно-следственного анализа в машинном обучении в 2020-2021 гг.


Читать: https://habr.com/ru/post/544208/

How SailPoint solved scaling issues by migrating legacy big data applications to Amazon EMR on Amazon EKS

Read: https://aws.amazon.com/blogs/big-data/how-sailpoint-solved-scaling-issues-by-migrating-legacy-big-data-applications-to-amazon-emr-on-amazon-eks/

Modernize your healthcare clinical quality data repositories with Amazon Redshift Data Vault

Read: https://aws.amazon.com/blogs/big-data/modernize-your-healthcare-clinical-quality-data-repositories-with-amazon-redshift-data-vault/

Build a modern data architecture and data mesh pattern at scale using AWS Lake Formation tag-based access control

Read: https://aws.amazon.com/blogs/big-data/build-a-modern-data-architecture-and-data-mesh-pattern-at-scale-using-aws-lake-formation-tag-based-access-control/