Amazon Redshift continues its price-performance leadership
Read: https://aws.amazon.com/blogs/big-data/amazon-redshift-continues-its-price-performance-leadership/
Read: https://aws.amazon.com/blogs/big-data/amazon-redshift-continues-its-price-performance-leadership/
Четыре хитрости в работе с пайплайнами данных, о которых знают не все
Dust-n-Rust by Spiritofdarkness
Команда разработки Cloud Big Data от VK Cloud Solution перевела статью с советами, которые касаются общих понятий работы с пайплайнами. Неважно, какую систему управления рабочими процессами вы используете, эти идеи можно применять везде. Сам автор пользуется Apache Airflow и приводит примеры кода на ее основе.
Эта статья будет полезна не только дата-инженерам, но и дата-сайентистам, так как хороший дата-сайентист тоже понимает принципы работы пайплайнов данных.
Читать: https://habr.com/ru/post/659389/
Dust-n-Rust by Spiritofdarkness
Команда разработки Cloud Big Data от VK Cloud Solution перевела статью с советами, которые касаются общих понятий работы с пайплайнами. Неважно, какую систему управления рабочими процессами вы используете, эти идеи можно применять везде. Сам автор пользуется Apache Airflow и приводит примеры кода на ее основе.
Эта статья будет полезна не только дата-инженерам, но и дата-сайентистам, так как хороший дата-сайентист тоже понимает принципы работы пайплайнов данных.
Читать: https://habr.com/ru/post/659389/
Умный город Ташкент: как Visiology BI и Геоинтеллект помогли создать современный ситуационный центр
Привет, Хабр! Меня зовут Ахрор, и я занимаю должность управляющего проектами в Департаменте Цифрового Развития Ташкента. Сегодня я хочу рассказать вам о том, как мы создавали систему управления Smart City для столицы Узбекистана на базе российских решений — ПО для бизнес-аналитики и визуализации Visiology и платформы “Геоинтеллект”. Новая система объединила более 60 ведомств и стала основой для работы диспетчерского ситуационного центра. В этом посте я подробно расскажу о том, как создавалась и проектировалась платформа, а также о том, какие возможности Геоинтеллекта и Visiology мы использовали.
Читать: https://habr.com/ru/post/662019/
Привет, Хабр! Меня зовут Ахрор, и я занимаю должность управляющего проектами в Департаменте Цифрового Развития Ташкента. Сегодня я хочу рассказать вам о том, как мы создавали систему управления Smart City для столицы Узбекистана на базе российских решений — ПО для бизнес-аналитики и визуализации Visiology и платформы “Геоинтеллект”. Новая система объединила более 60 ведомств и стала основой для работы диспетчерского ситуационного центра. В этом посте я подробно расскажу о том, как создавалась и проектировалась платформа, а также о том, какие возможности Геоинтеллекта и Visiology мы использовали.
Читать: https://habr.com/ru/post/662019/
All else is never equal
Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/04/all-else-is-never-equal.html
Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/04/all-else-is-never-equal.html
Scale Amazon Redshift to meet high throughput query requirements
Read: https://aws.amazon.com/blogs/big-data/scale-amazon-redshift-to-meet-high-throughput-query-requirements/
Read: https://aws.amazon.com/blogs/big-data/scale-amazon-redshift-to-meet-high-throughput-query-requirements/
Enhance analytics with Google Trends data using AWS Glue, Amazon Athena, and Amazon QuickSight
Read: https://aws.amazon.com/blogs/big-data/enhance-analytics-with-google-trends-data-using-aws-glue-amazon-athena-and-amazon-quicksight/
Read: https://aws.amazon.com/blogs/big-data/enhance-analytics-with-google-trends-data-using-aws-glue-amazon-athena-and-amazon-quicksight/
The Data Founder Story: Joining as a Cofounder after being an Advisor
Read: https://www.dataengineeringweekly.com/p/the-data-founder-story-joining-as
Read: https://www.dataengineeringweekly.com/p/the-data-founder-story-joining-as
🔥1
Visiology предложила специальные лицензии для миграции с других BI-платформ
Еще в марте 2022 года мы столкнулись с проблемой наших потенциальных клиентов. Потребность в миграции на российскую BI-платформу создала дополнительную финансовую нагрузку на компании. На прошлой неделе мы представили новую линейку тарифов, которые облегчают процесс перехода. Этот пост — для тех, кто уже рассматривает Visiology в качестве альтернативной BI платформы, а под катом — подробности о стоимости лицензий Visiology, с учетом своего рода Trade-In.
Читать: https://habr.com/ru/post/661791/
Еще в марте 2022 года мы столкнулись с проблемой наших потенциальных клиентов. Потребность в миграции на российскую BI-платформу создала дополнительную финансовую нагрузку на компании. На прошлой неделе мы представили новую линейку тарифов, которые облегчают процесс перехода. Этот пост — для тех, кто уже рассматривает Visiology в качестве альтернативной BI платформы, а под катом — подробности о стоимости лицензий Visiology, с учетом своего рода Trade-In.
Читать: https://habr.com/ru/post/661791/
Machine Learning много не бывает: отчёт с ML-митапа
Выкладываем запись с прошедшего Ozon Tech ML Meetup: были рады поделиться опытом с коллегами из Яндекс Маркета, AliExpress Россия, Циан и увидеть гостей оффлайн, как в старые-добрые времена.
Под катом найдете запись докладов:
— Spark Streaming: в погоне за оптимальной утилизацией и прозрачностью на Hadoop,
— Го обсудим: продакшен ML на Golang,
— Платформенные решения. Решаем проблемы жизненного цикла ML-сервиса,
— Как мы перестали бояться иероглифов и полюбили китайскую инфраструктуру.
После докладов на круглом столе обсудили процессы и роли в ML-командах крупных IT-компаний.
Запись под катом
Читать: https://habr.com/ru/post/661601/
Выкладываем запись с прошедшего Ozon Tech ML Meetup: были рады поделиться опытом с коллегами из Яндекс Маркета, AliExpress Россия, Циан и увидеть гостей оффлайн, как в старые-добрые времена.
Под катом найдете запись докладов:
— Spark Streaming: в погоне за оптимальной утилизацией и прозрачностью на Hadoop,
— Го обсудим: продакшен ML на Golang,
— Платформенные решения. Решаем проблемы жизненного цикла ML-сервиса,
— Как мы перестали бояться иероглифов и полюбили китайскую инфраструктуру.
После докладов на круглом столе обсудили процессы и роли в ML-командах крупных IT-компаний.
Запись под катом
Читать: https://habr.com/ru/post/661601/
Эволюция рекомендаций в Delivery Club. Часть 2
Всем привет! Это вторая часть статьи об изменении подхода к рекомендациям в Delivery Club. В первой части я подробно описал текущие проблемы нашей рекомендательной системы: локально оптимальный баланс exploitation и cold start, а также недостаточно развитый механизм exploration. А также рассказал, как мы решали проблему exploitation через карусель «Вы заказывали», а проблему cold start — через карусель популярных фастфуд-ресторанов.
Читать: https://habr.com/ru/post/661453/
Всем привет! Это вторая часть статьи об изменении подхода к рекомендациям в Delivery Club. В первой части я подробно описал текущие проблемы нашей рекомендательной системы: локально оптимальный баланс exploitation и cold start, а также недостаточно развитый механизм exploration. А также рассказал, как мы решали проблему exploitation через карусель «Вы заказывали», а проблему cold start — через карусель популярных фастфуд-ресторанов.
Читать: https://habr.com/ru/post/661453/
👍2
Свежие вакансии в Selectel для специалистов в сфере Big Data
Команда BI в Selectel занимается разработкой аналитических инструментов для всей компании. Чтобы культура аналитики продолжала развиваться, ребята ищут опытного Data-инженера, а также BI-разработчика.
Работать можно как полностью удалённо, так из офиса в Санкт-Петербурге (помогают с релокацией). При этом работа из офиса сопровождается кучей плюшек: от ДМС со стоматологией и психолога до внутренних спортивных мероприятий.
Откликнуться на вакансии можно на сайте Selectel:
— Data Engineer: https://tprg.ru/5Qe6
— BI-разработчик: https://tprg.ru/s2gC
#вакансии
Команда BI в Selectel занимается разработкой аналитических инструментов для всей компании. Чтобы культура аналитики продолжала развиваться, ребята ищут опытного Data-инженера, а также BI-разработчика.
Работать можно как полностью удалённо, так из офиса в Санкт-Петербурге (помогают с релокацией). При этом работа из офиса сопровождается кучей плюшек: от ДМС со стоматологией и психолога до внутренних спортивных мероприятий.
Откликнуться на вакансии можно на сайте Selectel:
— Data Engineer: https://tprg.ru/5Qe6
— BI-разработчик: https://tprg.ru/s2gC
#вакансии
Introducing AWS Glue Auto Scaling: Automatically resize serverless computing resources for lower cost with optimized Apache Spark
Read: https://aws.amazon.com/blogs/big-data/introducing-aws-glue-auto-scaling-automatically-resize-serverless-computing-resources-for-lower-cost-with-optimized-apache-spark/
Read: https://aws.amazon.com/blogs/big-data/introducing-aws-glue-auto-scaling-automatically-resize-serverless-computing-resources-for-lower-cost-with-optimized-apache-spark/
Amazon QuickSight 1-click public embedding available in preview
Read: https://aws.amazon.com/blogs/big-data/amazon-quicksight-1-click-public-embedding-available-in-preview/
Read: https://aws.amazon.com/blogs/big-data/amazon-quicksight-1-click-public-embedding-available-in-preview/
Build your data pipeline in your AWS modern data platform using AWS Lake Formation, AWS Glue, and dbt Core
Read: https://aws.amazon.com/blogs/big-data/build-your-data-pipeline-in-your-aws-modern-data-platform-using-aws-lake-formation-aws-glue-and-dbt-core/
Read: https://aws.amazon.com/blogs/big-data/build-your-data-pipeline-in-your-aws-modern-data-platform-using-aws-lake-formation-aws-glue-and-dbt-core/
Query 10 new data sources with Amazon Athena
Read: https://aws.amazon.com/blogs/big-data/query-10-new-data-sources-with-amazon-athena/
Read: https://aws.amazon.com/blogs/big-data/query-10-new-data-sources-with-amazon-athena/
Author AWS Glue jobs with PyCharm using AWS Glue interactive sessions
Read: https://aws.amazon.com/blogs/big-data/author-aws-glue-jobs-with-pycharm-using-aws-glue-interactive-sessions/
Read: https://aws.amazon.com/blogs/big-data/author-aws-glue-jobs-with-pycharm-using-aws-glue-interactive-sessions/
Почему инструменты MLOps должны быть с открытым исходным кодом?
Перевод статьи подготовлен совместно с Моргуновой Анной, за что ей огромное спасибо 👋 Другие материалы ML REPA и ссылки на видео митапов и конференций можно найти в открытой странице в Notion.
Обзор
💡 Вы узнаете, что такое MLOps, зачем вам нужны MLOps для ваших проектов машинного обучения, почему MLOps должен быть open source и примеры существующих инструментов MLOps.
Автор: Yuqi Li
Оригинал: Why MLOps tools should be Open Source
Читать: https://habr.com/ru/post/662519/
Перевод статьи подготовлен совместно с Моргуновой Анной, за что ей огромное спасибо 👋 Другие материалы ML REPA и ссылки на видео митапов и конференций можно найти в открытой странице в Notion.
Обзор
💡 Вы узнаете, что такое MLOps, зачем вам нужны MLOps для ваших проектов машинного обучения, почему MLOps должен быть open source и примеры существующих инструментов MLOps.
Автор: Yuqi Li
Оригинал: Why MLOps tools should be Open Source
Читать: https://habr.com/ru/post/662519/
Установка, настройка и эксплуатация стэка OpenSearch в классической среде
Передо мной встала задача сбора логов с парка серверов на ОС Windows и ОС Linux. Для того чтобы решить её я воспользовался стэком OpenSearch. Во время настройки OpenSearch мне не хватало в открытых источниках наглядных примеров, а информация на официальных сайтах ElasticSearch и OpenSearch мне показалась обрывочной, слабо привязанной к реальным ситуациям. Поэтому я решил поделиться своим опытом и описать основные моменты установки и некоторые сценарии настройки и применения стэка OpenSearch, которые я применил в своей практике.
Читать: https://habr.com/ru/post/662527/
Передо мной встала задача сбора логов с парка серверов на ОС Windows и ОС Linux. Для того чтобы решить её я воспользовался стэком OpenSearch. Во время настройки OpenSearch мне не хватало в открытых источниках наглядных примеров, а информация на официальных сайтах ElasticSearch и OpenSearch мне показалась обрывочной, слабо привязанной к реальным ситуациям. Поэтому я решил поделиться своим опытом и описать основные моменты установки и некоторые сценарии настройки и применения стэка OpenSearch, которые я применил в своей практике.
Читать: https://habr.com/ru/post/662527/
Успешное изобретение для Умного поиска hh.ru
Мы запатентовали собственную разработку для «Умного поиска» и вошли в число финалистов конкурса Роспатента «Успешный патент» где выявляют самые классные изобретения по итогам 2020-2021 годов. В конкурсе приняли участвовали еще 128 российских правообладателей.
Читать: https://habr.com/ru/post/662920/
Мы запатентовали собственную разработку для «Умного поиска» и вошли в число финалистов конкурса Роспатента «Успешный патент» где выявляют самые классные изобретения по итогам 2020-2021 годов. В конкурсе приняли участвовали еще 128 российских правообладателей.
Читать: https://habr.com/ru/post/662920/