Как объединить два корпоративных хранилища так, чтобы не перессориться со всеми
Корпоративное хранилище в ГПБ существует с девяностых. Тогда оно создавалось исключительно под задачи регуляторной и текущей отчетности. Соответственно и архитектура была такой, чтобы соответствовать требованиям этих задач
Изначально мы использовали SAP ASE. В нем была реализована довольно сложная бизнес-логика, и все работало довольно неплохо, но старая система не потянула бы расширение, не хватало производительности. Также были пробелы и в документировании — из-за огромного легаси, о котором даже спросить было некого.
По мере развития IT-ландшафта и появления новых систем, росли требования заказчиков, ставились новые задачи. В 2009 году стало понятно, что надо менять подход к работе с КХД, аналитическую платформу и инструменты по работе с хранилищем. Выбрали новые: SAP IQ, а в качестве «интеллекта» — DataStage (тогда он еще не принадлежал IBM).
Перед командой стояла задача создать объединенное хранилище данных, не порушив при этом работу всех систем. Эта история о том, как команда Газпромбанка сумела незаметно перетащить потребителей со старого хранилища на новое.
Читать: https://habr.com/ru/post/685860/
Корпоративное хранилище в ГПБ существует с девяностых. Тогда оно создавалось исключительно под задачи регуляторной и текущей отчетности. Соответственно и архитектура была такой, чтобы соответствовать требованиям этих задач
Изначально мы использовали SAP ASE. В нем была реализована довольно сложная бизнес-логика, и все работало довольно неплохо, но старая система не потянула бы расширение, не хватало производительности. Также были пробелы и в документировании — из-за огромного легаси, о котором даже спросить было некого.
По мере развития IT-ландшафта и появления новых систем, росли требования заказчиков, ставились новые задачи. В 2009 году стало понятно, что надо менять подход к работе с КХД, аналитическую платформу и инструменты по работе с хранилищем. Выбрали новые: SAP IQ, а в качестве «интеллекта» — DataStage (тогда он еще не принадлежал IBM).
Перед командой стояла задача создать объединенное хранилище данных, не порушив при этом работу всех систем. Эта история о том, как команда Газпромбанка сумела незаметно перетащить потребителей со старого хранилища на новое.
Читать: https://habr.com/ru/post/685860/
Четыре важных теста для Apache Kafka CI/CD с GitHub Actions
Если вы используете GitHub для создания приложений Apache Kafka®, наверняка вы захотите интегрировать Kafka в свою среду разработки и эксплуатации GitOps. Эта статья для тех, кто понимает принципы GitOps, ценность непрерывной интеграции и поставки (CI/CD) и важность промежуточных сред (staging).
Мы поговорим о том, как применять принципы GitOps к жизненному циклу разработки клиентского приложения Kafka с помощью GitHub Actions — для тестирования в локальной среде и Confluent Cloud, со Schema Registry и без него, и для эволюции схемы.
Читать: https://habr.com/ru/post/686922/
Если вы используете GitHub для создания приложений Apache Kafka®, наверняка вы захотите интегрировать Kafka в свою среду разработки и эксплуатации GitOps. Эта статья для тех, кто понимает принципы GitOps, ценность непрерывной интеграции и поставки (CI/CD) и важность промежуточных сред (staging).
Мы поговорим о том, как применять принципы GitOps к жизненному циклу разработки клиентского приложения Kafka с помощью GitHub Actions — для тестирования в локальной среде и Confluent Cloud, со Schema Registry и без него, и для эволюции схемы.
Читать: https://habr.com/ru/post/686922/
Особенности бинарных систем в Notion на примере Zettelkasten
Статья описывает особенности настройки фильтрации шаблонов записей в базу данных Notion в бинарной системе Zetteskastena
Читать: https://habr.com/ru/post/686992/
Статья описывает особенности настройки фильтрации шаблонов записей в базу данных Notion в бинарной системе Zetteskastena
Читать: https://habr.com/ru/post/686992/
MongoDB Partners With Codecademy on New “Learn MongoDB” Course
Read: https://www.mongodb.com/blog/post/partners-codecademy-new-learn-mongodb-course
Read: https://www.mongodb.com/blog/post/partners-codecademy-new-learn-mongodb-course
Complete Airports Database for Developers by Developers
Airports Database by Aviation Edge includes more than 10,000 airports and train stations worldwide. It performs as a one-in-all airport data source with many useful details for any aviation project. Instead of having to collect airport data through d...
Read: https://aviationedgeapi.hashnode.dev/complete-airports-database-for-developers-by-developers
Airports Database by Aviation Edge includes more than 10,000 airports and train stations worldwide. It performs as a one-in-all airport data source with many useful details for any aviation project. Instead of having to collect airport data through d...
Read: https://aviationedgeapi.hashnode.dev/complete-airports-database-for-developers-by-developers
👍1
Многопоточный бекап и рестор в СУБД Ред База Данных
Добрый день. Меня зовут Сергей Волков, я работаю системным архитектором в компании "РЕД СОФТ". При эксплуатации СУБД Ред База Данных или Firebird возникает необходимость выполнить операцию резервного копирования и восстановления. На БД размером сотни гигабайт бекап и рестор занимает часы, а на БД размером несколько терабайт занимает сутки и более. Как ускорить процесс я расскажу под катом.
Читать: https://habr.com/ru/post/687130/
Добрый день. Меня зовут Сергей Волков, я работаю системным архитектором в компании "РЕД СОФТ". При эксплуатации СУБД Ред База Данных или Firebird возникает необходимость выполнить операцию резервного копирования и восстановления. На БД размером сотни гигабайт бекап и рестор занимает часы, а на БД размером несколько терабайт занимает сутки и более. Как ускорить процесс я расскажу под катом.
Читать: https://habr.com/ru/post/687130/
Smart Forms: Наш опыт автоматизации сбора данных
Привет, Хабр! Сегодня я хочу поговорить о проблеме автоматизации сбора данных. В этом посте мы обсудим, какие именно минусы несет сбор данных через файлы Excel, а также расскажем подробнее о наших собственных наработках по автоматизации сбора информации. Речь пойдет о практических аспектах применения инструмента Smart Forms, поэтому пост будет интересен в первую очередь пользователям решений Visiology, а также специалистам, которые организуют сбор информации или планируют это делать. Всех, у кого уже есть подобный опыт на любой платформе приглашаю присоединиться к обсуждению в комментариях.
Читать: https://habr.com/ru/post/650141/
Привет, Хабр! Сегодня я хочу поговорить о проблеме автоматизации сбора данных. В этом посте мы обсудим, какие именно минусы несет сбор данных через файлы Excel, а также расскажем подробнее о наших собственных наработках по автоматизации сбора информации. Речь пойдет о практических аспектах применения инструмента Smart Forms, поэтому пост будет интересен в первую очередь пользователям решений Visiology, а также специалистам, которые организуют сбор информации или планируют это делать. Всех, у кого уже есть подобный опыт на любой платформе приглашаю присоединиться к обсуждению в комментариях.
Читать: https://habr.com/ru/post/650141/
Куда мы катимся? Вторая часть
Продолжим наше знакомство с Point in time Recovery.
В первой части мы рассмотрели ситуацию, когда нужно найти момент, в который была очищена таблица и произвели восстановление до точки находящейся перед этим событием.
В этот раз мы рассмотрим более сложную ситуацию.
Читать: https://habr.com/ru/post/686598/
Продолжим наше знакомство с Point in time Recovery.
В первой части мы рассмотрели ситуацию, когда нужно найти момент, в который была очищена таблица и произвели восстановление до точки находящейся перед этим событием.
В этот раз мы рассмотрим более сложную ситуацию.
Читать: https://habr.com/ru/post/686598/
Why Databases go under stress and how to recover them?
Placeholder text
Read: https://notes.drdroid.io/why-databases-go-under-stress-and-how-to-recover-them
Placeholder text
Read: https://notes.drdroid.io/why-databases-go-under-stress-and-how-to-recover-them
Philips DCC175: Компьютерная цифровая кассета
За четыре года существования формата Digital Compact Cassette было разработано огромное количество устройств с поддержкой этого довольно странного цифрового носителя на магнитной ленте. Большие стационарные магнитофоны и минисистемы. Портативные плееры и рекордеры. Магнитолы в автомобиль, чистые кассеты, тысяча с лишним наименований фирменных кассет с музыкой. Это, если хотите, такой анти-MVP: не пробуем, как сейчас принято, вывести на рынок один базовый продукт без особых затрат, а сразу стратегически вкладываемся в построение целой экосистемы. Для одного из последних потребительских аудионосителей это наверное было оправдано. Но не помогло: в 1996 году, больше четверти века назад, компания Philips прекратила выпуск устройств, распродала остатки магнитофонов и кассет, и забыла про свои амбиции: пересадить всех на новый носитель звука, относительно недорогой заменитель традиционной аудиокассеты.
Но незадолго до бесславного конца, в 1995 году, Philips разработала и начала продавать самое последнее и самое интересное устройство DCC, портативный рекордер Philips DCC175. У этого записывающего магнитофона был разъем для подключения к компьютеру. При наличии специального кабеля, он позволял записывать цифровые кассеты прямо с ПК. И музыку можно было записывать, и данные. Для 1995 года это было необычно и очень круто. Конкурент Philips DCC, минидиск, подобную функциональность приобрел только в 2001 году, да и то, с ограничениями. DCC — мой любимый, самый «страдательный» источник ретроартефактов. Естественно, я очень хотел найти DCC175, только надежды было мало — они крайне редкие даже по меркам этого забытого формата. Но мне повезло, и недавно я стал обладателем такого устройства. Естественно, оно было сломано. Сегодня я расскажу об опыте эксплуатации, пожалуй, самого редкого аппарата в моей коллекции. Это также достаточно необычный случай, когда компьютерное и музыкальное направления моего хобби соединились.
Читать: https://habr.com/ru/post/687208/
За четыре года существования формата Digital Compact Cassette было разработано огромное количество устройств с поддержкой этого довольно странного цифрового носителя на магнитной ленте. Большие стационарные магнитофоны и минисистемы. Портативные плееры и рекордеры. Магнитолы в автомобиль, чистые кассеты, тысяча с лишним наименований фирменных кассет с музыкой. Это, если хотите, такой анти-MVP: не пробуем, как сейчас принято, вывести на рынок один базовый продукт без особых затрат, а сразу стратегически вкладываемся в построение целой экосистемы. Для одного из последних потребительских аудионосителей это наверное было оправдано. Но не помогло: в 1996 году, больше четверти века назад, компания Philips прекратила выпуск устройств, распродала остатки магнитофонов и кассет, и забыла про свои амбиции: пересадить всех на новый носитель звука, относительно недорогой заменитель традиционной аудиокассеты.
Но незадолго до бесславного конца, в 1995 году, Philips разработала и начала продавать самое последнее и самое интересное устройство DCC, портативный рекордер Philips DCC175. У этого записывающего магнитофона был разъем для подключения к компьютеру. При наличии специального кабеля, он позволял записывать цифровые кассеты прямо с ПК. И музыку можно было записывать, и данные. Для 1995 года это было необычно и очень круто. Конкурент Philips DCC, минидиск, подобную функциональность приобрел только в 2001 году, да и то, с ограничениями. DCC — мой любимый, самый «страдательный» источник ретроартефактов. Естественно, я очень хотел найти DCC175, только надежды было мало — они крайне редкие даже по меркам этого забытого формата. Но мне повезло, и недавно я стал обладателем такого устройства. Естественно, оно было сломано. Сегодня я расскажу об опыте эксплуатации, пожалуй, самого редкого аппарата в моей коллекции. Это также достаточно необычный случай, когда компьютерное и музыкальное направления моего хобби соединились.
Читать: https://habr.com/ru/post/687208/
3 Factors Limiting Developers’ Innovation
Read: https://www.mongodb.com/blog/post/three-factors-limiting-developers-innovation
Read: https://www.mongodb.com/blog/post/three-factors-limiting-developers-innovation
Как обеспечить конфиденциальность и безопасность данных участников исследования
Обеспечение конфиденциальности и безопасности данных участников до, во время и после сбора данных критично важно для процесса исследования пользователей. Это защищает участников от утечек данных и киберугроз.
Из-за активного развития законодательной базы о защите данных, исследователям приходится всё больше уделять внимание тому, как обеспечивается конфиденциальность данных участников до, во время и после исследования. Собранные данные ценны для исследователей, но еще более они важны для самих участников исследования. В нашей зоне ответственности лежит задача убедиться, что мы не нарушаем принципы исследовательской этики и проявляем уважение к участникам на каждом из этапов.
Читать: https://habr.com/ru/post/687226/
Обеспечение конфиденциальности и безопасности данных участников до, во время и после сбора данных критично важно для процесса исследования пользователей. Это защищает участников от утечек данных и киберугроз.
Из-за активного развития законодательной базы о защите данных, исследователям приходится всё больше уделять внимание тому, как обеспечивается конфиденциальность данных участников до, во время и после исследования. Собранные данные ценны для исследователей, но еще более они важны для самих участников исследования. В нашей зоне ответственности лежит задача убедиться, что мы не нарушаем принципы исследовательской этики и проявляем уважение к участникам на каждом из этапов.
Читать: https://habr.com/ru/post/687226/
MindsDB: First Try
Hi All!
Today has been a great day. Specially because I got to explore something fun and had got me back to setting up MySQL database on EC2 Instance. It has been a while I had done that. So, let's begin!
First off, exploration of MindsDB was comple...
Read: https://anushasridharan.in/mindsdb-first-try
Hi All!
Today has been a great day. Specially because I got to explore something fun and had got me back to setting up MySQL database on EC2 Instance. It has been a while I had done that. So, let's begin!
First off, exploration of MindsDB was comple...
Read: https://anushasridharan.in/mindsdb-first-try
Обзор операторов PostgreSQL для Kubernetes. Часть 3: CloudNativePG
Статья продолжает наш обзорный цикл о PostgreSQL-операторах для Kubernetes. В первой части мы рассматривали операторы Stolon, Crunchy Data и Zalando. Во второй — KubeDB и StackGres, а также объединили все пять операторов в сравнительную таблицу. В этот раз разбираем решение CloudNativePG, его возможности и особенности, а заодно актуализируем таблицу.
Читать: https://habr.com/ru/post/684202/
Статья продолжает наш обзорный цикл о PostgreSQL-операторах для Kubernetes. В первой части мы рассматривали операторы Stolon, Crunchy Data и Zalando. Во второй — KubeDB и StackGres, а также объединили все пять операторов в сравнительную таблицу. В этот раз разбираем решение CloudNativePG, его возможности и особенности, а заодно актуализируем таблицу.
Читать: https://habr.com/ru/post/684202/
Improve Postgresql Performance by Reducing Dead Tuple without Auto-vacuum
This story is about how we faced critical performance issues with one of our Postgres databases and how our team resolved it.
A high-level overview of our system
Import data, process it, and export it back
Today, it’s all about data. Our so...
Read: https://anasanjaria.hashnode.dev/improve-postgresql-performance-by-reducing-dead-tuple-without-auto-vacuum-f7538fdb7bb0
This story is about how we faced critical performance issues with one of our Postgres databases and how our team resolved it.
A high-level overview of our system
Import data, process it, and export it back
Today, it’s all about data. Our so...
Read: https://anasanjaria.hashnode.dev/improve-postgresql-performance-by-reducing-dead-tuple-without-auto-vacuum-f7538fdb7bb0
DBMS Series Part 1: Getting Started with DBMS
Ever wondered how our data is managed and tracked whenever we book tickets to travel on a train? Or how does your university store all the information regarding every student enrolled in every course? It is through Database Management Systems that co...
Read: https://blog.codingminutes.com/introduction-to-dbms
Ever wondered how our data is managed and tracked whenever we book tickets to travel on a train? Or how does your university store all the information regarding every student enrolled in every course? It is through Database Management Systems that co...
Read: https://blog.codingminutes.com/introduction-to-dbms
Reduce database patching downtime in Amazon RDS Custom for Oracle using Oracle Data Guard Standby-First Patch Apply
Read: https://aws.amazon.com/blogs/database/reduce-database-patching-downtime-in-amazon-rds-custom-for-oracle-using-oracle-data-guard-standby-first-patch-apply/
Read: https://aws.amazon.com/blogs/database/reduce-database-patching-downtime-in-amazon-rds-custom-for-oracle-using-oracle-data-guard-standby-first-patch-apply/
ITить-КОЛОТИТЬ, серии 10-11
Привет! Мы продолжаем выкладывать новые выпуски нашего сериала про айтишников. Как он появился и как снимался второй сезон нашего мини-сериала, рассказывали ранее.
Читать: https://habr.com/ru/post/687454/
Привет! Мы продолжаем выкладывать новые выпуски нашего сериала про айтишников. Как он появился и как снимался второй сезон нашего мини-сериала, рассказывали ранее.
Читать: https://habr.com/ru/post/687454/
MySQL CONCAT Function: How to Concatenate Strings in MySQL
Let's take a look at the MySQL CONCAT() syntax, learn how to use it, and explore the differences between CONCAT and CONCAT_WS - https://blog.devart.com/mysql-concat-function.html
Read: https://alextomson.hashnode.dev/mysql-concat-function-how-to-concatenate-strings-in-mysql
Let's take a look at the MySQL CONCAT() syntax, learn how to use it, and explore the differences between CONCAT and CONCAT_WS - https://blog.devart.com/mysql-concat-function.html
Read: https://alextomson.hashnode.dev/mysql-concat-function-how-to-concatenate-strings-in-mysql
Validate database objects post-migration from Microsoft SQL Server to Amazon RDS for MySQL and Amazon Aurora MySQL
Read: https://aws.amazon.com/blogs/database/validate-database-objects-post-migration-from-microsoft-sql-server-to-amazon-rds-for-mysql-and-amazon-aurora-mysql/
Read: https://aws.amazon.com/blogs/database/validate-database-objects-post-migration-from-microsoft-sql-server-to-amazon-rds-for-mysql-and-amazon-aurora-mysql/