Очередь недоставленных сообщений для обработки ошибок в Apache Kafka
Любому надёжному конвейеру потоковой обработки данных нужны механизмы обнаружения и обработки ошибок. В этой статье вы узнаете, как реализовать обработку ошибок с помощью очереди недоставленных сообщений (Dead Letter Queue) в инфраструктуре Apache Kafka.
Мы рассмотрим несколько вариантов: кастомная реализация, Kafka Streams, Kafka Connect, Spring Framework и Parallel Consumer. Вы увидите, как Uber, CrowdStrike и Santander Bank реализуют надёжные механизмы обработки ошибок в реальном времени и в огромном масштабе.
Читать: https://habr.com/ru/post/691682/
Любому надёжному конвейеру потоковой обработки данных нужны механизмы обнаружения и обработки ошибок. В этой статье вы узнаете, как реализовать обработку ошибок с помощью очереди недоставленных сообщений (Dead Letter Queue) в инфраструктуре Apache Kafka.
Мы рассмотрим несколько вариантов: кастомная реализация, Kafka Streams, Kafka Connect, Spring Framework и Parallel Consumer. Вы увидите, как Uber, CrowdStrike и Santander Bank реализуют надёжные механизмы обработки ошибок в реальном времени и в огромном масштабе.
Читать: https://habr.com/ru/post/691682/
Solving Business Problems and Impacting Customer Experience with MongoDB’s Data Analytics Team
Read: https://www.mongodb.com/blog/post/solving-business-problems-impacting-customer-experience-mongodbs-data-analytics
Read: https://www.mongodb.com/blog/post/solving-business-problems-impacting-customer-experience-mongodbs-data-analytics
Use a self-hosted Active Directory with Amazon RDS Custom for SQL Server
Read: https://aws.amazon.com/blogs/database/use-a-self-hosted-active-directory-with-amazon-rds-custom-for-sql-server/
Read: https://aws.amazon.com/blogs/database/use-a-self-hosted-active-directory-with-amazon-rds-custom-for-sql-server/
Migrate Oracle’s XMLDOM package functions to Amazon Aurora PostgreSQL using JSON format
Read: https://aws.amazon.com/blogs/database/migrate-oracles-xmldom-package-functions-to-amazon-aurora-postgresql-using-json-format/
Read: https://aws.amazon.com/blogs/database/migrate-oracles-xmldom-package-functions-to-amazon-aurora-postgresql-using-json-format/
Частые вопросы по миграции базы данных 1С с MS SQL на PostgreSQL
Миграция базы данных 1С с MS SQL на PostgreSQL – по-прежнему насущная тема, особенно в контексте импортозамещения. На наших вебинарах и в беседах с клиентами мы получаем много вопросов по нюансам миграции. Решили собрать основные рекомендации в одну статью.
Поехали!
Читать: https://habr.com/ru/post/691796/
Миграция базы данных 1С с MS SQL на PostgreSQL – по-прежнему насущная тема, особенно в контексте импортозамещения. На наших вебинарах и в беседах с клиентами мы получаем много вопросов по нюансам миграции. Решили собрать основные рекомендации в одну статью.
Поехали!
Читать: https://habr.com/ru/post/691796/
Основы CI/CD. Знакомство Jenkins
В новой статье рассмотрим основы CI/CD и познакомимся Jenkins. Вы узнаете, где применяется Jenkins и какие проблемы помогает решить, поймёте логику архитектурных решений и особенности структуры каталогов. А ещё научитесь устанавливать Jenkins и производить базовую конфигурацию.
За основу статьи взят первый урок нашего практического курса «CI/CD с Jenkins».
Читать: https://habr.com/ru/post/691876/
В новой статье рассмотрим основы CI/CD и познакомимся Jenkins. Вы узнаете, где применяется Jenkins и какие проблемы помогает решить, поймёте логику архитектурных решений и особенности структуры каталогов. А ещё научитесь устанавливать Jenkins и производить базовую конфигурацию.
За основу статьи взят первый урок нашего практического курса «CI/CD с Jenkins».
Читать: https://habr.com/ru/post/691876/
Honoring Latine Heritage Month at MongoDB
Read: https://www.mongodb.com/blog/post/honoring-latine-heritage-month
Read: https://www.mongodb.com/blog/post/honoring-latine-heritage-month
Управление данными с помощью CI/CD
Я вспоминаю свой первый день разработчиком-джуном, он свеж в моей памяти, как будто это было вчера. Я ужасно нервничал и понятия не имел, что делаю. Наверно, мой стресс был заметен, потому что одна добрая душа решила взять меня под свою защиту. В тот день я научился писать SQL в коде на PHP, чтобы делать интересные вещи с базой данных.
Однако прежде чем начать, я должен был попросить администратора базы данных (database administrator, DBA) создать несколько таблиц. Я быстро понял, что для того, чтобы сделать любое действие, нужно сразу обращаться к DBA. Нужен новый столбец? Свяжись с DBA. Необходимо отредактировать хранимую процедуру? Это работа для DBA. Я смотрел на него снизу вверх, он был такой суперзвездой, что в итоге позже я сам стал администратором.
Разумеется, я понимаю, что зависимость от кого-либо неизбежно создаёт ограничения. Это безрассудно, трудно и, что хуже всего, впустую тратит навыки DBA.
Читать: https://habr.com/ru/post/692390/
Я вспоминаю свой первый день разработчиком-джуном, он свеж в моей памяти, как будто это было вчера. Я ужасно нервничал и понятия не имел, что делаю. Наверно, мой стресс был заметен, потому что одна добрая душа решила взять меня под свою защиту. В тот день я научился писать SQL в коде на PHP, чтобы делать интересные вещи с базой данных.
Однако прежде чем начать, я должен был попросить администратора базы данных (database administrator, DBA) создать несколько таблиц. Я быстро понял, что для того, чтобы сделать любое действие, нужно сразу обращаться к DBA. Нужен новый столбец? Свяжись с DBA. Необходимо отредактировать хранимую процедуру? Это работа для DBA. Я смотрел на него снизу вверх, он был такой суперзвездой, что в итоге позже я сам стал администратором.
Разумеется, я понимаю, что зависимость от кого-либо неизбежно создаёт ограничения. Это безрассудно, трудно и, что хуже всего, впустую тратит навыки DBA.
Читать: https://habr.com/ru/post/692390/
Submit Your Nominations for the 2023 MongoDB APAC Innovation Awards
Read: https://www.mongodb.com/blog/post/submit-nominations-2023-mongodb-apac-innovation-awards
Read: https://www.mongodb.com/blog/post/submit-nominations-2023-mongodb-apac-innovation-awards
MongoDB World Recap: Why Serverless is the Architecture Developers Have Been Waiting For
Read: https://www.mongodb.com/blog/post/world-recap-why-serverless-architecture-developers
Read: https://www.mongodb.com/blog/post/world-recap-why-serverless-architecture-developers
MongoDB and Google Partnership Gains Momentum
Read: https://www.mongodb.com/blog/post/mongodb-google-partnership-gains-momentum
Read: https://www.mongodb.com/blog/post/mongodb-google-partnership-gains-momentum
MongoDB Employees Share Their Coming Out Stories: (Inter)national Coming Out Day 2022
Read: https://www.mongodb.com/blog/post/employees-share-their-coming-out-stories-international-coming-out-day-2022
Read: https://www.mongodb.com/blog/post/employees-share-their-coming-out-stories-international-coming-out-day-2022
Подводные камни Spark: что делать с перезаписью и дополнением в таблицах
Таблицы — это фундаментальная часть заданий Spark, и при изучении документации кажется, что работать с ними нетрудно. На самом же деле опасности поджидают на каждом повороте. Команда VK Cloud перевела статью о том, с какими трудностями вы можете столкнуться и как их преодолеть.
Читать: https://habr.com/ru/post/692552/
Таблицы — это фундаментальная часть заданий Spark, и при изучении документации кажется, что работать с ними нетрудно. На самом же деле опасности поджидают на каждом повороте. Команда VK Cloud перевела статью о том, с какими трудностями вы можете столкнуться и как их преодолеть.
Читать: https://habr.com/ru/post/692552/
Один, два…десять! Когда скорость восстановления имеет значение
Привет, Хабр! Сегодня я предлагаю поговорить о скорости восстановления из резервной копии. Иногда именно этот параметр оказывается критически недооцененным при внедрении систем резервного копирования для небольших отделов и не самых критичных задач (ведь для критичных RTO и RPO прописывают еще на этапе проектирования). В этом посте мы остановимся на 10 способах сократить время, которое ваши системы будут простаивать, если вдруг не дай бог чего случится. А если вы знаете еще и другие методы, делитесь ими в комментариях.
Читать: https://habr.com/ru/post/692852/
Привет, Хабр! Сегодня я предлагаю поговорить о скорости восстановления из резервной копии. Иногда именно этот параметр оказывается критически недооцененным при внедрении систем резервного копирования для небольших отделов и не самых критичных задач (ведь для критичных RTO и RPO прописывают еще на этапе проектирования). В этом посте мы остановимся на 10 способах сократить время, которое ваши системы будут простаивать, если вдруг не дай бог чего случится. А если вы знаете еще и другие методы, делитесь ими в комментариях.
Читать: https://habr.com/ru/post/692852/
Built With MongoDB: Thunkable Brings the Power of App Development to Non-Developers
Read: https://www.mongodb.com/blog/post/built-mongodb-thunkable-brings-power-app-development-non-developers
Read: https://www.mongodb.com/blog/post/built-mongodb-thunkable-brings-power-app-development-non-developers
Skunkworks 2022: A Week of Building for MongoDB Engineers
Read: https://www.mongodb.com/blog/post/skunkworks-2022-week-building-mongodb-engineers
Read: https://www.mongodb.com/blog/post/skunkworks-2022-week-building-mongodb-engineers
Индексирование JSON в MySQL
В середине 2015 года, в MySQL 5.7.8 появился тип данных JSON. С тех пор он применяется, чтобы избегать жёстких определений столбцов и сохранять документы JSON всех форм и размеров: логи аудита, параметры конфигурации, сторонние полезные нагрузки, пользовательские поля и др. Подробности — к старту нашего курса по анализу данных.
Читать: https://habr.com/ru/post/692914/
В середине 2015 года, в MySQL 5.7.8 появился тип данных JSON. С тех пор он применяется, чтобы избегать жёстких определений столбцов и сохранять документы JSON всех форм и размеров: логи аудита, параметры конфигурации, сторонние полезные нагрузки, пользовательские поля и др. Подробности — к старту нашего курса по анализу данных.
Читать: https://habr.com/ru/post/692914/
Cloud-Based Analytics With SingleStoreDB
The advent of cloud computing has provided the means to develop a wide range of new products and services. We can build and run applications and perform analytics in the cloud without installing local software. This article will look at two examples of modern systems that can seamlessly integrate with SingleStoreDB for in-cloud analytics: Apache Spark™️ and MindsDB.
The notebook file used in this article is available on GitHub.
Read: https://db-engines.com/en/blog_post/98
The advent of cloud computing has provided the means to develop a wide range of new products and services. We can build and run applications and perform analytics in the cloud without installing local software. This article will look at two examples of modern systems that can seamlessly integrate with SingleStoreDB for in-cloud analytics: Apache Spark™️ and MindsDB.
The notebook file used in this article is available on GitHub.
Read: https://db-engines.com/en/blog_post/98
Как заменить Qlik и PowerBI с минимальными потерями: Visiology+Loginom+PostgreSQL
"Что делать, когда ТОПовые BI-системы стали недоступны и перспективы работы с ними оказались сильно ограничены?". Эта дилемма встает сегодня перед многими компаниями. Меня часто спрашивают, можем ли мы взять и перенести уже наработанные практики на другие платформы, доступные в России на сегодняшний день? К счастью, ответ на этот вопрос положительный, и об одном из вариантов его решения я расскажу сегодня.
Читать: https://habr.com/ru/post/692876/
"Что делать, когда ТОПовые BI-системы стали недоступны и перспективы работы с ними оказались сильно ограничены?". Эта дилемма встает сегодня перед многими компаниями. Меня часто спрашивают, можем ли мы взять и перенести уже наработанные практики на другие платформы, доступные в России на сегодняшний день? К счастью, ответ на этот вопрос положительный, и об одном из вариантов его решения я расскажу сегодня.
Читать: https://habr.com/ru/post/692876/
Backup and restore strategies for large databases on Amazon RDS for SQL Server
Read: https://aws.amazon.com/blogs/database/backup-and-restore-strategies-for-large-databases-on-amazon-rds-for-sql-server/
Read: https://aws.amazon.com/blogs/database/backup-and-restore-strategies-for-large-databases-on-amazon-rds-for-sql-server/