Как ускорить базу данных при помощи шардирования
Шардирование было одним из первых механизмов, позволяющих распределять базы данных для повышения их производительности. Последние инновации превратили шардирование в один из лучших механизмов в своем роде.
Сегодня базам данных уделяется особое внимание, так как через них компания управляет своим самым ценным архивом: информацией. Всего 30 лет назад большинство данных хранилось на бумаге, магнитной ленте или каких-либо дисках. Поскольку мы производили и потребляли гораздо меньше данных на душу населения, даже на таких носителях нам удавалось эффективно хранить их, управлять ими и обращаться к ним.
Но сегодня с данными складывается совершенно иная ситуация. Смартфоны распространились повсеместно и превратились в необходимую вещь. Вместе со смартфонами увеличилось количество мобильных приложений, и сегодня через них производятся и потребляются такие объемы данных, какие были просто немыслимы 15 лет назад. В такой ситуации серьезно возрастает нагрузка на кластеры баз данных, поскольку им приходится обрабатывать все более серьезные объемы трафика. Некоторые из топовых веб-сайтов и веб-сервисов обрабатывают миллиарды посещений в неделю.
Как справиться с таким невероятным объемом трафика, поступающим в кластер базы данных?
Можно попробовать шардирование. Возможно, вы никогда и не слышали о таком подходе, либо по-быстрому отбраковывали его как старомодное решение, не отвечающее современным вызовам. Сам феномен «шардирования баз данных» едва ли сулит полный набор примочек, какими могли бы похвастаться другие решения, но этот подход определенно эффективен и практичен.
Читать: https://habr.com/ru/post/696784/
Шардирование было одним из первых механизмов, позволяющих распределять базы данных для повышения их производительности. Последние инновации превратили шардирование в один из лучших механизмов в своем роде.
Сегодня базам данных уделяется особое внимание, так как через них компания управляет своим самым ценным архивом: информацией. Всего 30 лет назад большинство данных хранилось на бумаге, магнитной ленте или каких-либо дисках. Поскольку мы производили и потребляли гораздо меньше данных на душу населения, даже на таких носителях нам удавалось эффективно хранить их, управлять ими и обращаться к ним.
Но сегодня с данными складывается совершенно иная ситуация. Смартфоны распространились повсеместно и превратились в необходимую вещь. Вместе со смартфонами увеличилось количество мобильных приложений, и сегодня через них производятся и потребляются такие объемы данных, какие были просто немыслимы 15 лет назад. В такой ситуации серьезно возрастает нагрузка на кластеры баз данных, поскольку им приходится обрабатывать все более серьезные объемы трафика. Некоторые из топовых веб-сайтов и веб-сервисов обрабатывают миллиарды посещений в неделю.
Как справиться с таким невероятным объемом трафика, поступающим в кластер базы данных?
Можно попробовать шардирование. Возможно, вы никогда и не слышали о таком подходе, либо по-быстрому отбраковывали его как старомодное решение, не отвечающее современным вызовам. Сам феномен «шардирования баз данных» едва ли сулит полный набор примочек, какими могли бы похвастаться другие решения, но этот подход определенно эффективен и практичен.
Читать: https://habr.com/ru/post/696784/
[recovery mode] Уменьшение размера СУБД Ред База Данных / Firebird без операции backup & restore
Добрый день. Меня зовут Сергей, я работаю системным архитектором в компании "РЕД СОФТ". Как я уже писал в прошлой статье, одна из проблем при эксплуатации СУБД Ред База Данных и Firebird — это уменьшение размер файла, выполнить которое возможно исключительно через backup и restore. Это долгие операции и даже при всех возможных оптимизациях будут занимать несколько часов или даже суток.
В большинстве случаев нет необходимости в уменьшении размера БД. Свободное место будет использоваться при вставке данных, а также для хранения старых, но ещё активных версий данных (В Firebird используется механизм MVCC).
Однако в некоторых случаях это сделать полезно (или вам просто очень хочется).
Читать: https://habr.com/ru/post/697102/
Добрый день. Меня зовут Сергей, я работаю системным архитектором в компании "РЕД СОФТ". Как я уже писал в прошлой статье, одна из проблем при эксплуатации СУБД Ред База Данных и Firebird — это уменьшение размер файла, выполнить которое возможно исключительно через backup и restore. Это долгие операции и даже при всех возможных оптимизациях будут занимать несколько часов или даже суток.
В большинстве случаев нет необходимости в уменьшении размера БД. Свободное место будет использоваться при вставке данных, а также для хранения старых, но ещё активных версий данных (В Firebird используется механизм MVCC).
Однако в некоторых случаях это сделать полезно (или вам просто очень хочется).
Читать: https://habr.com/ru/post/697102/
👍1
5 Ways MongoDB Puts Customer Experience First
Read: https://www.mongodb.com/blog/post/five-ways-mongodb-puts-customer-experience-first
Read: https://www.mongodb.com/blog/post/five-ways-mongodb-puts-customer-experience-first
Migrate to MongoDB Atlas on AWS with Relational Migrator
Read: https://www.mongodb.com/blog/post/migrate-mongodb-atlas-aws-relational-migrator
Read: https://www.mongodb.com/blog/post/migrate-mongodb-atlas-aws-relational-migrator
Hybrid Cloud: Flexible Architecture for the Future of Financial Services
Read: https://www.mongodb.com/blog/post/hybrid-cloud-flexible-architecture-future-financial-services
Read: https://www.mongodb.com/blog/post/hybrid-cloud-flexible-architecture-future-financial-services
[recovery mode] Как ДОМ.РФ работает с системами хранения данных российского производства
В постоянно меняющемся мире сфера IT как одна из самых молодых пытается держаться на переднем крае. И мы, системные инженеры, должны учитывать все факторы окружающей среды, чтобы оставаться на плаву в этом неспокойном море.
Читать: https://habr.com/ru/post/697890/
В постоянно меняющемся мире сфера IT как одна из самых молодых пытается держаться на переднем крае. И мы, системные инженеры, должны учитывать все факторы окружающей среды, чтобы оставаться на плаву в этом неспокойном море.
Читать: https://habr.com/ru/post/697890/
Как создать пользовательский сервис на Qlik Sense
Привет, Хабр!
Qlik Sense – это BI-система, которая позволяет загружать данные из различных источников и создавать визуализации для проведения анализа. В публикации я рассмотрю Qlik Sense, как инструмент для создания пользовательского интерфейса.
Читать: https://habr.com/ru/post/698278/
Привет, Хабр!
Qlik Sense – это BI-система, которая позволяет загружать данные из различных источников и создавать визуализации для проведения анализа. В публикации я рассмотрю Qlik Sense, как инструмент для создания пользовательского интерфейса.
Читать: https://habr.com/ru/post/698278/
Ваше первое знакомство с BI-as-code
Сегодня я хочу представить вашему вниманию такую вещь, как BI-as-code, разобрав на примере нашего нового решения Lightdash CLI несколько базовых рабочих моментов. В этом руководстве собран передовой опыт работы с кодом для бизнес-аналитики.
Читать: https://habr.com/ru/post/698318/
Сегодня я хочу представить вашему вниманию такую вещь, как BI-as-code, разобрав на примере нашего нового решения Lightdash CLI несколько базовых рабочих моментов. В этом руководстве собран передовой опыт работы с кодом для бизнес-аналитики.
Читать: https://habr.com/ru/post/698318/
Built by MongoDB: Qubitro Makes Device Data Accessible Anywhere it's Needed
Read: https://www.mongodb.com/blog/post/built-mongodb-qubitro-makes-device-data-accessible-anywhere-needed
Read: https://www.mongodb.com/blog/post/built-mongodb-qubitro-makes-device-data-accessible-anywhere-needed
Build Your Own Command-line Replica with GTID-aware mariadb-binlog (part 1)
Read: https://mariadb.com/?p=33825
Read: https://mariadb.com/?p=33825
Подключаемся: самое интересное на сегодняшнем ViRush
Сегодня в полдень начинается наша ежегодная конференция ViRush. В этот раз мы столкнулись с полным аншлагом оффлайн-регистраций даже при достаточной вместительности площадки. И это не удивительно, ведь мы будем говорить о кейсах миграции с известных платформ, о реальном опыте внедрения BI d в различные инфраструктуры. К счастью, для тех кто интеерсуется BI, на онлайн-трансляции место найдется всегда! В этом посте — немного подробнее о самых интересных докладах с ViRush, которые можно послушать за чашечкой кофе с печеньем, а также ссылка на трансляцию.
Читать: https://habr.com/ru/post/698484/
Сегодня в полдень начинается наша ежегодная конференция ViRush. В этот раз мы столкнулись с полным аншлагом оффлайн-регистраций даже при достаточной вместительности площадки. И это не удивительно, ведь мы будем говорить о кейсах миграции с известных платформ, о реальном опыте внедрения BI d в различные инфраструктуры. К счастью, для тех кто интеерсуется BI, на онлайн-трансляции место найдется всегда! В этом посте — немного подробнее о самых интересных докладах с ViRush, которые можно послушать за чашечкой кофе с печеньем, а также ссылка на трансляцию.
Читать: https://habr.com/ru/post/698484/
Чего тебе надобно, старче? Составляем дорожную карту развития СХД
Уважаемые Хабровчане,
Ни для кого не секрет, что российские системы хранения данных несмотря на бурное развитие последние годы все ещё существенно отстают по многим функциям от зарубежных. Аэродиск тут не исключение, мы всеми силами пытаемся догнать, перегнать, обойти, подсидеть и так далее, но реализация любой более-менее вменяемой технологической функции - это в первую очередь время и во вторую деньги. С момента ухода из России многих зарубежных вендоров с рукопожатными лицами нам стало приходить много вопросов о том, когда в наших СХД будет доступен или улучшен тот или иной функционал.
При таком раскладе важность реализации нового или улучшение существующего функционала в наших СХД сложно переоценить и из этого уже в полный рост встаёт вопрос: «А что делать в первую очередь?»
И этот вопрос мы адресуем экспертам российского ИТ-сообщества, то есть Вам. А теперь приглашаем непосредственно к опросу, который можно пройти по этой ссылке.
Читать: https://habr.com/ru/post/698524/
Уважаемые Хабровчане,
Ни для кого не секрет, что российские системы хранения данных несмотря на бурное развитие последние годы все ещё существенно отстают по многим функциям от зарубежных. Аэродиск тут не исключение, мы всеми силами пытаемся догнать, перегнать, обойти, подсидеть и так далее, но реализация любой более-менее вменяемой технологической функции - это в первую очередь время и во вторую деньги. С момента ухода из России многих зарубежных вендоров с рукопожатными лицами нам стало приходить много вопросов о том, когда в наших СХД будет доступен или улучшен тот или иной функционал.
При таком раскладе важность реализации нового или улучшение существующего функционала в наших СХД сложно переоценить и из этого уже в полный рост встаёт вопрос: «А что делать в первую очередь?»
И этот вопрос мы адресуем экспертам российского ИТ-сообщества, то есть Вам. А теперь приглашаем непосредственно к опросу, который можно пройти по этой ссылке.
Читать: https://habr.com/ru/post/698524/
Чем различаются Kafka и RabbitMQ: простыми словами
Если вас разбудят ночью и спросят, что такое брокеры сообщений, какие бывают и чем отличаются? Или зададут этот вопрос на собеседовании, а может просто захочется блеснуть эрудицией перед коллегами. Тогда, набрав воздуха в лёгкие, можно попробовать произнести вот такую речь.
Читать: https://habr.com/ru/post/698838/
Если вас разбудят ночью и спросят, что такое брокеры сообщений, какие бывают и чем отличаются? Или зададут этот вопрос на собеседовании, а может просто захочется блеснуть эрудицией перед коллегами. Тогда, набрав воздуха в лёгкие, можно попробовать произнести вот такую речь.
Читать: https://habr.com/ru/post/698838/
Управление качеством данных: роли, процессы, инструменты
Данные — это кровь любой организации и основа её коммерческого успеха. Вероятно, вы слышали подобные лозунги от лекторов на конференциях или в онлайн-заголовках. Но так оно и есть: вам нужно полагаться на точную информацию, чтобы выполнить задачу или создать сервис, будь то планирование оптимального маршрута для доставки суши разным заказчикам или отправка персонализированных новостных рассылок. В первом случае необходимы точные подробности заказа. Во втором случае нужно сегментировать клиентов на основании их активности и интересов. Для этого необходимо собрать и проанализировать соответствующие данные, а для этого потребуются время и усилия.
Читать: https://habr.com/ru/post/694690/
Данные — это кровь любой организации и основа её коммерческого успеха. Вероятно, вы слышали подобные лозунги от лекторов на конференциях или в онлайн-заголовках. Но так оно и есть: вам нужно полагаться на точную информацию, чтобы выполнить задачу или создать сервис, будь то планирование оптимального маршрута для доставки суши разным заказчикам или отправка персонализированных новостных рассылок. В первом случае необходимы точные подробности заказа. Во втором случае нужно сегментировать клиентов на основании их активности и интересов. Для этого необходимо собрать и проанализировать соответствующие данные, а для этого потребуются время и усилия.
Читать: https://habr.com/ru/post/694690/
Кто ворует крипту: хакеры, сотрудники или владельцы. И какая биржа следующая?
Весь циклический процесс взломов происходит из-за утечек данных пользователей. Взломы криптовалютных бирж наносят особый ущерб, потерь денежных средств хранящихся в криптовалютных кошельках пользователей бирж. Хотя криптовалюты сами по себе защищены, но биржи могут быть подвержены множеству уязвимостей, что делает их главной целью для хакеров.
Можно надеяться, что со временем криптовалютные биржи станут более безопасными. К сожалению, реальность такова, что с каждым годом взламывается все больше бирж. Поскольку криптовалюты и биржи остаются в значительной степени нерегулируемыми, неясно, кто обладает юрисдикцией над криптовалютными рынками.
Посмотрим, что дальше...
Читать: https://habr.com/ru/post/698924/
Весь циклический процесс взломов происходит из-за утечек данных пользователей. Взломы криптовалютных бирж наносят особый ущерб, потерь денежных средств хранящихся в криптовалютных кошельках пользователей бирж. Хотя криптовалюты сами по себе защищены, но биржи могут быть подвержены множеству уязвимостей, что делает их главной целью для хакеров.
Можно надеяться, что со временем криптовалютные биржи станут более безопасными. К сожалению, реальность такова, что с каждым годом взламывается все больше бирж. Поскольку криптовалюты и биржи остаются в значительной степени нерегулируемыми, неясно, кто обладает юрисдикцией над криптовалютными рынками.
Посмотрим, что дальше...
Читать: https://habr.com/ru/post/698924/
Аналитические панели в реальном времени. В поисках (Apache) Doris
Можно было бы назвать эту статью "Yet another analytical database", если бы не тот факт, что Apache Doris построен на архитектуре MPP, которая изначально ориентирована на параллельные вычисления и использование распределенного хранения и обработки данных на кластерах. Изначально проект Baidu, инструмент позволяет подготавливать аналитические панели с обновлением в реальном времени, при этом источниками данных могут быть как потоки из внешних источников (логи событий, time series-данные), так и источники из Data Lake (например, Apache Iceberg или Hive). В этой статье мы рассмотрим основные моменты использования Apache Doris на простом примере хранения и простой обработки данных о погоде.
Читать: https://habr.com/ru/post/699268/
Можно было бы назвать эту статью "Yet another analytical database", если бы не тот факт, что Apache Doris построен на архитектуре MPP, которая изначально ориентирована на параллельные вычисления и использование распределенного хранения и обработки данных на кластерах. Изначально проект Baidu, инструмент позволяет подготавливать аналитические панели с обновлением в реальном времени, при этом источниками данных могут быть как потоки из внешних источников (логи событий, time series-данные), так и источники из Data Lake (например, Apache Iceberg или Hive). В этой статье мы рассмотрим основные моменты использования Apache Doris на простом примере хранения и простой обработки данных о погоде.
Читать: https://habr.com/ru/post/699268/
Обзор-позор CNEWS: Рейтинг BI 2022
Привет, Хабр! В этом посте я хочу поделиться своими мыслями о вышедшем в конце прошлой недели рейтинге BI от “уважаемого” издания CNEWS. Это удивительное творение журналистской и аналитической мысли подтолкнуло меня к тому, что, наверное, не стоит читать “самый посещаемый ИТ-портал в России”. Под катом — подробный разбор, почему обзор BI от CNEWS кажется мне настолько нелепым и даже глупым.
Что же там такого наваяли в CNEWS?
Читать: https://habr.com/ru/post/699464/
Привет, Хабр! В этом посте я хочу поделиться своими мыслями о вышедшем в конце прошлой недели рейтинге BI от “уважаемого” издания CNEWS. Это удивительное творение журналистской и аналитической мысли подтолкнуло меня к тому, что, наверное, не стоит читать “самый посещаемый ИТ-портал в России”. Под катом — подробный разбор, почему обзор BI от CNEWS кажется мне настолько нелепым и даже глупым.
Что же там такого наваяли в CNEWS?
Читать: https://habr.com/ru/post/699464/