Write prepared data directly into JDBC-supported destinations using AWS Glue DataBrew
Read: https://aws.amazon.com/blogs/big-data/write-prepared-data-directly-into-jdbc-supported-destinations-using-aws-glue-databrew/
Read: https://aws.amazon.com/blogs/big-data/write-prepared-data-directly-into-jdbc-supported-destinations-using-aws-glue-databrew/
Датацентрический и моделецентрический подходы в машинном обучении
Код и данные — фундамент ИИ-системы. Оба эти компонента играют важную роль в разработке надёжной модели, но на каком из них следует сосредоточиться больше? В этой статье мы сравним методики, ставящие в центр данные, либо модель, и посмотрим, какая из них лучше; также мы поговорим о том, как внедрять датацентрическую инфраструктуру.
Читать: https://habr.com/ru/post/661457/
Код и данные — фундамент ИИ-системы. Оба эти компонента играют важную роль в разработке надёжной модели, но на каком из них следует сосредоточиться больше? В этой статье мы сравним методики, ставящие в центр данные, либо модель, и посмотрим, какая из них лучше; также мы поговорим о том, как внедрять датацентрическую инфраструктуру.
Читать: https://habr.com/ru/post/661457/
What is the difference between a data lake and a data warehouse?
Read: https://www.startdataengineering.com/post/data-lake-warehouse-diff/
Read: https://www.startdataengineering.com/post/data-lake-warehouse-diff/
Share data securely across Regions using Amazon Redshift data sharing
Read: https://aws.amazon.com/blogs/big-data/share-data-securely-across-regions-using-amazon-redshift-data-sharing/
Read: https://aws.amazon.com/blogs/big-data/share-data-securely-across-regions-using-amazon-redshift-data-sharing/
Automate notifications on Slack for Amazon Redshift query monitoring rule violations
Read: https://aws.amazon.com/blogs/big-data/automate-notifications-on-slack-for-amazon-redshift-query-monitoring-rule-violation/
Read: https://aws.amazon.com/blogs/big-data/automate-notifications-on-slack-for-amazon-redshift-query-monitoring-rule-violation/
Amazon Redshift continues its price-performance leadership
Read: https://aws.amazon.com/blogs/big-data/amazon-redshift-continues-its-price-performance-leadership/
Read: https://aws.amazon.com/blogs/big-data/amazon-redshift-continues-its-price-performance-leadership/
Четыре хитрости в работе с пайплайнами данных, о которых знают не все
Dust-n-Rust by Spiritofdarkness
Команда разработки Cloud Big Data от VK Cloud Solution перевела статью с советами, которые касаются общих понятий работы с пайплайнами. Неважно, какую систему управления рабочими процессами вы используете, эти идеи можно применять везде. Сам автор пользуется Apache Airflow и приводит примеры кода на ее основе.
Эта статья будет полезна не только дата-инженерам, но и дата-сайентистам, так как хороший дата-сайентист тоже понимает принципы работы пайплайнов данных.
Читать: https://habr.com/ru/post/659389/
Dust-n-Rust by Spiritofdarkness
Команда разработки Cloud Big Data от VK Cloud Solution перевела статью с советами, которые касаются общих понятий работы с пайплайнами. Неважно, какую систему управления рабочими процессами вы используете, эти идеи можно применять везде. Сам автор пользуется Apache Airflow и приводит примеры кода на ее основе.
Эта статья будет полезна не только дата-инженерам, но и дата-сайентистам, так как хороший дата-сайентист тоже понимает принципы работы пайплайнов данных.
Читать: https://habr.com/ru/post/659389/
Умный город Ташкент: как Visiology BI и Геоинтеллект помогли создать современный ситуационный центр
Привет, Хабр! Меня зовут Ахрор, и я занимаю должность управляющего проектами в Департаменте Цифрового Развития Ташкента. Сегодня я хочу рассказать вам о том, как мы создавали систему управления Smart City для столицы Узбекистана на базе российских решений — ПО для бизнес-аналитики и визуализации Visiology и платформы “Геоинтеллект”. Новая система объединила более 60 ведомств и стала основой для работы диспетчерского ситуационного центра. В этом посте я подробно расскажу о том, как создавалась и проектировалась платформа, а также о том, какие возможности Геоинтеллекта и Visiology мы использовали.
Читать: https://habr.com/ru/post/662019/
Привет, Хабр! Меня зовут Ахрор, и я занимаю должность управляющего проектами в Департаменте Цифрового Развития Ташкента. Сегодня я хочу рассказать вам о том, как мы создавали систему управления Smart City для столицы Узбекистана на базе российских решений — ПО для бизнес-аналитики и визуализации Visiology и платформы “Геоинтеллект”. Новая система объединила более 60 ведомств и стала основой для работы диспетчерского ситуационного центра. В этом посте я подробно расскажу о том, как создавалась и проектировалась платформа, а также о том, какие возможности Геоинтеллекта и Visiology мы использовали.
Читать: https://habr.com/ru/post/662019/
All else is never equal
Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/04/all-else-is-never-equal.html
Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/04/all-else-is-never-equal.html
Scale Amazon Redshift to meet high throughput query requirements
Read: https://aws.amazon.com/blogs/big-data/scale-amazon-redshift-to-meet-high-throughput-query-requirements/
Read: https://aws.amazon.com/blogs/big-data/scale-amazon-redshift-to-meet-high-throughput-query-requirements/
Enhance analytics with Google Trends data using AWS Glue, Amazon Athena, and Amazon QuickSight
Read: https://aws.amazon.com/blogs/big-data/enhance-analytics-with-google-trends-data-using-aws-glue-amazon-athena-and-amazon-quicksight/
Read: https://aws.amazon.com/blogs/big-data/enhance-analytics-with-google-trends-data-using-aws-glue-amazon-athena-and-amazon-quicksight/
The Data Founder Story: Joining as a Cofounder after being an Advisor
Read: https://www.dataengineeringweekly.com/p/the-data-founder-story-joining-as
Read: https://www.dataengineeringweekly.com/p/the-data-founder-story-joining-as
🔥1
Visiology предложила специальные лицензии для миграции с других BI-платформ
Еще в марте 2022 года мы столкнулись с проблемой наших потенциальных клиентов. Потребность в миграции на российскую BI-платформу создала дополнительную финансовую нагрузку на компании. На прошлой неделе мы представили новую линейку тарифов, которые облегчают процесс перехода. Этот пост — для тех, кто уже рассматривает Visiology в качестве альтернативной BI платформы, а под катом — подробности о стоимости лицензий Visiology, с учетом своего рода Trade-In.
Читать: https://habr.com/ru/post/661791/
Еще в марте 2022 года мы столкнулись с проблемой наших потенциальных клиентов. Потребность в миграции на российскую BI-платформу создала дополнительную финансовую нагрузку на компании. На прошлой неделе мы представили новую линейку тарифов, которые облегчают процесс перехода. Этот пост — для тех, кто уже рассматривает Visiology в качестве альтернативной BI платформы, а под катом — подробности о стоимости лицензий Visiology, с учетом своего рода Trade-In.
Читать: https://habr.com/ru/post/661791/
Machine Learning много не бывает: отчёт с ML-митапа
Выкладываем запись с прошедшего Ozon Tech ML Meetup: были рады поделиться опытом с коллегами из Яндекс Маркета, AliExpress Россия, Циан и увидеть гостей оффлайн, как в старые-добрые времена.
Под катом найдете запись докладов:
— Spark Streaming: в погоне за оптимальной утилизацией и прозрачностью на Hadoop,
— Го обсудим: продакшен ML на Golang,
— Платформенные решения. Решаем проблемы жизненного цикла ML-сервиса,
— Как мы перестали бояться иероглифов и полюбили китайскую инфраструктуру.
После докладов на круглом столе обсудили процессы и роли в ML-командах крупных IT-компаний.
Запись под катом
Читать: https://habr.com/ru/post/661601/
Выкладываем запись с прошедшего Ozon Tech ML Meetup: были рады поделиться опытом с коллегами из Яндекс Маркета, AliExpress Россия, Циан и увидеть гостей оффлайн, как в старые-добрые времена.
Под катом найдете запись докладов:
— Spark Streaming: в погоне за оптимальной утилизацией и прозрачностью на Hadoop,
— Го обсудим: продакшен ML на Golang,
— Платформенные решения. Решаем проблемы жизненного цикла ML-сервиса,
— Как мы перестали бояться иероглифов и полюбили китайскую инфраструктуру.
После докладов на круглом столе обсудили процессы и роли в ML-командах крупных IT-компаний.
Запись под катом
Читать: https://habr.com/ru/post/661601/
Эволюция рекомендаций в Delivery Club. Часть 2
Всем привет! Это вторая часть статьи об изменении подхода к рекомендациям в Delivery Club. В первой части я подробно описал текущие проблемы нашей рекомендательной системы: локально оптимальный баланс exploitation и cold start, а также недостаточно развитый механизм exploration. А также рассказал, как мы решали проблему exploitation через карусель «Вы заказывали», а проблему cold start — через карусель популярных фастфуд-ресторанов.
Читать: https://habr.com/ru/post/661453/
Всем привет! Это вторая часть статьи об изменении подхода к рекомендациям в Delivery Club. В первой части я подробно описал текущие проблемы нашей рекомендательной системы: локально оптимальный баланс exploitation и cold start, а также недостаточно развитый механизм exploration. А также рассказал, как мы решали проблему exploitation через карусель «Вы заказывали», а проблему cold start — через карусель популярных фастфуд-ресторанов.
Читать: https://habr.com/ru/post/661453/
👍2
Свежие вакансии в Selectel для специалистов в сфере Big Data
Команда BI в Selectel занимается разработкой аналитических инструментов для всей компании. Чтобы культура аналитики продолжала развиваться, ребята ищут опытного Data-инженера, а также BI-разработчика.
Работать можно как полностью удалённо, так из офиса в Санкт-Петербурге (помогают с релокацией). При этом работа из офиса сопровождается кучей плюшек: от ДМС со стоматологией и психолога до внутренних спортивных мероприятий.
Откликнуться на вакансии можно на сайте Selectel:
— Data Engineer: https://tprg.ru/5Qe6
— BI-разработчик: https://tprg.ru/s2gC
#вакансии
Команда BI в Selectel занимается разработкой аналитических инструментов для всей компании. Чтобы культура аналитики продолжала развиваться, ребята ищут опытного Data-инженера, а также BI-разработчика.
Работать можно как полностью удалённо, так из офиса в Санкт-Петербурге (помогают с релокацией). При этом работа из офиса сопровождается кучей плюшек: от ДМС со стоматологией и психолога до внутренних спортивных мероприятий.
Откликнуться на вакансии можно на сайте Selectel:
— Data Engineer: https://tprg.ru/5Qe6
— BI-разработчик: https://tprg.ru/s2gC
#вакансии
Introducing AWS Glue Auto Scaling: Automatically resize serverless computing resources for lower cost with optimized Apache Spark
Read: https://aws.amazon.com/blogs/big-data/introducing-aws-glue-auto-scaling-automatically-resize-serverless-computing-resources-for-lower-cost-with-optimized-apache-spark/
Read: https://aws.amazon.com/blogs/big-data/introducing-aws-glue-auto-scaling-automatically-resize-serverless-computing-resources-for-lower-cost-with-optimized-apache-spark/
Amazon QuickSight 1-click public embedding available in preview
Read: https://aws.amazon.com/blogs/big-data/amazon-quicksight-1-click-public-embedding-available-in-preview/
Read: https://aws.amazon.com/blogs/big-data/amazon-quicksight-1-click-public-embedding-available-in-preview/
Build your data pipeline in your AWS modern data platform using AWS Lake Formation, AWS Glue, and dbt Core
Read: https://aws.amazon.com/blogs/big-data/build-your-data-pipeline-in-your-aws-modern-data-platform-using-aws-lake-formation-aws-glue-and-dbt-core/
Read: https://aws.amazon.com/blogs/big-data/build-your-data-pipeline-in-your-aws-modern-data-platform-using-aws-lake-formation-aws-glue-and-dbt-core/