Кэшируем поток данных из Kafka в Tarantool: подробный пример реализации с кодом и результатами
Apache Kafka — популярный распределенный брокер сообщений, который собирает и сохраняет сообщения (данные) со всех источников, а после предоставляет их программам и сервисам-получателям. Благодаря своей производительности и архитектуре инструмент довольно активно используется в проектах, где нужно гонять большие объемы данных. Но даже возможностей Kafka не всегда достаточно — иногда системам нужен буст по скорости и надежности. И получить его можно с помощью кэширования данных в Tarantool.
Меня зовут Никита Молоствов. Я старший программист в команде разработки VK Tech. В этой статье я расскажу о том, как можно наладить взаимодействие Kafka и Tarantool, зачем может понадобиться кэширование потока из Kafka в Tarantool, и дам подробную пошаговую инструкцию, с которой каждый сможет применить мои наработки в собственной системе.
Читать: https://habr.com/ru/companies/vk/articles/863518/
#ru
@database_design | Другие наши каналы
Apache Kafka — популярный распределенный брокер сообщений, который собирает и сохраняет сообщения (данные) со всех источников, а после предоставляет их программам и сервисам-получателям. Благодаря своей производительности и архитектуре инструмент довольно активно используется в проектах, где нужно гонять большие объемы данных. Но даже возможностей Kafka не всегда достаточно — иногда системам нужен буст по скорости и надежности. И получить его можно с помощью кэширования данных в Tarantool.
Меня зовут Никита Молоствов. Я старший программист в команде разработки VK Tech. В этой статье я расскажу о том, как можно наладить взаимодействие Kafka и Tarantool, зачем может понадобиться кэширование потока из Kafka в Tarantool, и дам подробную пошаговую инструкцию, с которой каждый сможет применить мои наработки в собственной системе.
Читать: https://habr.com/ru/companies/vk/articles/863518/
#ru
@database_design | Другие наши каналы
👍1
Устойчивость MariaDB с подключением MaxScale
Как избежать единичного отказа в вашей базе данных MariaDB? Используйте современные коннекторы приложения, поддерживающие автоматическое переключение, чтобы MaxScale не стал единственной точкой отказа. Настройка фейловера позволяет вашему приложению работать без перебоев даже при сбое узла MaxScale.
Читать подробнее
#en
@database_design | Другие наши каналы
Как избежать единичного отказа в вашей базе данных MariaDB? Используйте современные коннекторы приложения, поддерживающие автоматическое переключение, чтобы MaxScale не стал единственной точкой отказа. Настройка фейловера позволяет вашему приложению работать без перебоев даже при сбое узла MaxScale.
Читать подробнее
#en
@database_design | Другие наши каналы
CRUS: принципиально новая архитектура работы с данными
Здравствуйте, меня зовут Дмитрий Карловский и я.. обычно пишу статьи с ответами, но на этот раз я, наоборот, буду задавать много вопросов, о которых вы даже не задумывались.
Далее будет много и фундаментальной теории, и мелких технических деталей. Так что приглашаю специалистов по криптографии, безопасности, хранению, обработке и синхронизации данных вместе размять наши мозговые косточки.
Ответить на все вопросы
Читать: https://habr.com/ru/articles/863968/
#ru
@database_design | Другие наши каналы
Здравствуйте, меня зовут Дмитрий Карловский и я.. обычно пишу статьи с ответами, но на этот раз я, наоборот, буду задавать много вопросов, о которых вы даже не задумывались.
Далее будет много и фундаментальной теории, и мелких технических деталей. Так что приглашаю специалистов по криптографии, безопасности, хранению, обработке и синхронизации данных вместе размять наши мозговые косточки.
Ответить на все вопросы
Читать: https://habr.com/ru/articles/863968/
#ru
@database_design | Другие наши каналы
🚀 MongoDB.local London 2024: Новые горизонты для разработчиков
На мероприятии MongoDB.local в Лондоне были представлены новейшие продукты и обновления, включая релиз MongoDB 8.0. Эта версия улучшает производительность и снижает затраты на масштабирование. А также делает работу с AI еще более доступной, помогая разрабатывать мощные и безопасные приложения. 🚀 Новые возможности MongoDB: повышение производительности и интеграции
MongoDB расширяет поддержку для разработки на Kubernetes, улучшая доступность и масштабируемость. Новые возможности Atlas Vector Search снижают затраты и повышают скорость в AI-приложениях. Интеграция с популярными AI-фреймворками упрощает создание инновационных решений. MongoDB 8.0: Новый уровень производительности и безопасности
MongoDB 8.0 предлагает улучшенную производительность с до 36% лучшей пропускной способностью и сниженными затратами на инфраструктуру. Благодаря уникальному шифрованию Queryable Encryption обеспечивается высокая безопасность данных. Обновления упрощают горизонтальное масштабирование, делая его быстрее и дешевле для компаний.
Читать подробнее
#en
@database_design | Другие наши каналы
На мероприятии MongoDB.local в Лондоне были представлены новейшие продукты и обновления, включая релиз MongoDB 8.0. Эта версия улучшает производительность и снижает затраты на масштабирование. А также делает работу с AI еще более доступной, помогая разрабатывать мощные и безопасные приложения. 🚀 Новые возможности MongoDB: повышение производительности и интеграции
MongoDB расширяет поддержку для разработки на Kubernetes, улучшая доступность и масштабируемость. Новые возможности Atlas Vector Search снижают затраты и повышают скорость в AI-приложениях. Интеграция с популярными AI-фреймворками упрощает создание инновационных решений. MongoDB 8.0: Новый уровень производительности и безопасности
MongoDB 8.0 предлагает улучшенную производительность с до 36% лучшей пропускной способностью и сниженными затратами на инфраструктуру. Благодаря уникальному шифрованию Queryable Encryption обеспечивается высокая безопасность данных. Обновления упрощают горизонтальное масштабирование, делая его быстрее и дешевле для компаний.
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB
MongoDB.local London 2024：更快、更好的应用程序 | MongoDB Blog
Recap of product announcements from MongoDB.local London 2024, including the release of MongoDB 8.0.
MongoDB 8.0: Революция В Разработке
На конференции MongoDB.local London 2024 представлена версия MongoDB 8.0 с улучшенной производительностью и безопасностью, теперь поддерживающая AI-решения. Обновление MongoDB Atlas позволяет гибко и быстро масштабировать ресурсы. Откройте новые горизонты разработки с MongoDB!
Читать подробнее
#en
@database_design | Другие наши каналы
На конференции MongoDB.local London 2024 представлена версия MongoDB 8.0 с улучшенной производительностью и безопасностью, теперь поддерживающая AI-решения. Обновление MongoDB Atlas позволяет гибко и быстро масштабировать ресурсы. Откройте новые горизонты разработки с MongoDB!
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB
MongoDB.local London 2024: 더 나은 애플리케이션, 더 빠른 속도 | MongoDB Blog
Recap of product announcements from MongoDB.local London 2024, including the release of MongoDB 8.0.
MongoDB.local Лондон 2024: ускоряем разработку приложений
На конференции MongoDB.local в Лондоне представили MongoDB 8.0. Новая версия обеспечивает значительные улучшения производительности, включая ускоренные чтение и запись данных, и поддерживает сложные агрегации с улучшенной безопасностью. Эти новшества помогут разработчикам создавать приложения будущего. Обновленные возможности Atlas Vector Search
Векторная квантовка теперь доступна, позволяя быстрее создавать масштабируемые AI приложения с меньшими затратами. MongoDB внедряет интеграции с популярными AI фреймворками, упрощая разработку. Новые обучающие значки подчеркивают ваши навыки работы с AI. Узнайте больше на официальном блоге MongoDB. Центральный вдохновитель: как CentralReach реформирует помощь при аутизме с помощью ИИ
Пост: CentralReach, воспользовавшись технологиями MongoDB и партнерской сетью MAAP, разработала инновационную AI-платформу для улучшения результатов лечения аутизма. Система позволяет оптимизировать клинические процессы и улучшить качество помощи для более 350,000 пациентов по всему миру.
Читать подробнее
#en
@database_design | Другие наши каналы
На конференции MongoDB.local в Лондоне представили MongoDB 8.0. Новая версия обеспечивает значительные улучшения производительности, включая ускоренные чтение и запись данных, и поддерживает сложные агрегации с улучшенной безопасностью. Эти новшества помогут разработчикам создавать приложения будущего. Обновленные возможности Atlas Vector Search
Векторная квантовка теперь доступна, позволяя быстрее создавать масштабируемые AI приложения с меньшими затратами. MongoDB внедряет интеграции с популярными AI фреймворками, упрощая разработку. Новые обучающие значки подчеркивают ваши навыки работы с AI. Узнайте больше на официальном блоге MongoDB. Центральный вдохновитель: как CentralReach реформирует помощь при аутизме с помощью ИИ
Пост: CentralReach, воспользовавшись технологиями MongoDB и партнерской сетью MAAP, разработала инновационную AI-платформу для улучшения результатов лечения аутизма. Система позволяет оптимизировать клинические процессы и улучшить качество помощи для более 350,000 пациентов по всему миру.
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB
MongoDB.local Londres 2024: Melhor aplicação, mais rápido | MongoDB Blog
Recap of product announcements from MongoDB.local London 2024, including the release of MongoDB 8.0.
Новинка от MongoDB: ускоряем разработку
На конференции MongoDB.local в Лондоне представлена версия MongoDB 8.0, предлагающая значительные улучшения производительности и безопасности. Также анонсированы инструменты для упрощения работы с ИИ и ускоренной разработки. Узнайте, как новые функции могут помочь создать приложения следующего поколения! Новое в MongoDB: ускорьте разработки и обучитесь новым навыкам
MongoDB представляет обновления в Atlas Vector Search и интеграции с ведущими AI-фреймворками. Теперь создание и масштабирование AI-приложений стало проще, а бесплатные Learning Badge помогут развивать навыки в сфере генеративного AI. Узнайте больше на сайте MongoDB. CentralReach и MongoDB: Повышение качества медицинского обслуживания
CentralReach использует платформу MongoDB для улучшения электронных медкарт и предоставления более эффективного ухода за людьми с аутизмом и интеллектуальными нарушениями. Сотрудничество с MAAP помогает измерять результаты и повышать качество клинических услуг.
Читать подробнее
#en
@database_design | Другие наши каналы
На конференции MongoDB.local в Лондоне представлена версия MongoDB 8.0, предлагающая значительные улучшения производительности и безопасности. Также анонсированы инструменты для упрощения работы с ИИ и ускоренной разработки. Узнайте, как новые функции могут помочь создать приложения следующего поколения! Новое в MongoDB: ускорьте разработки и обучитесь новым навыкам
MongoDB представляет обновления в Atlas Vector Search и интеграции с ведущими AI-фреймворками. Теперь создание и масштабирование AI-приложений стало проще, а бесплатные Learning Badge помогут развивать навыки в сфере генеративного AI. Узнайте больше на сайте MongoDB. CentralReach и MongoDB: Повышение качества медицинского обслуживания
CentralReach использует платформу MongoDB для улучшения электронных медкарт и предоставления более эффективного ухода за людьми с аутизмом и интеллектуальными нарушениями. Сотрудничество с MAAP помогает измерять результаты и повышать качество клинических услуг.
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB
MongoDB.local Londra 2024: Applicazioni migliori, più veloci | MongoDB Blog
Riepilogo degli annunci di prodotto di MongoDB.local Londra 2024, inclusa la release di MongoDB 8.0.
Новинки от MongoDB на AWS re:Invent 2024
На конференции AWS re:Invent 2024 MongoDB представила новые интеграции и решения с AWS, включая оптимизацию для генерирующего ИИ. MongoDB удостоилась звания "Технологический партнер года" от AWS. Также анонсированы обновления для платформы Atlas и представлена новая программа обучения. Инновации в AI для аутизма с помощью CentralReach и MAAP
Текст: CentralReach использует платформу MongoDB и сеть партнёров MAAP для создания AI-решений, улучшающих результаты терапии для людей с аутизмом. Благодаря передовым технологиям, компания оптимизирует медицинскую практику для более чем 350,000 клиентов по всему миру. Узнайте больше на странице MAAP и партнёров.
Читать подробнее
#en
@database_design | Другие наши каналы
На конференции AWS re:Invent 2024 MongoDB представила новые интеграции и решения с AWS, включая оптимизацию для генерирующего ИИ. MongoDB удостоилась звания "Технологический партнер года" от AWS. Также анонсированы обновления для платформы Atlas и представлена новая программа обучения. Инновации в AI для аутизма с помощью CentralReach и MAAP
Текст: CentralReach использует платформу MongoDB и сеть партнёров MAAP для создания AI-решений, улучшающих результаты терапии для людей с аутизмом. Благодаря передовым технологиям, компания оптимизирует медицинскую практику для более чем 350,000 клиентов по всему миру. Узнайте больше на странице MAAP и партнёров.
Читать подробнее
#en
@database_design | Другие наши каналы
Как надёжно стереть секретную информацию из базы данных
Зачем вообще "надёжно" стирать данные? Главное же, чтобы пользователь через интерфейс СУБД не мог их достать. Мало ли, что там за остатки данных в файлах болтаются, это же не проблема. Или нет?
Читать: https://habr.com/ru/companies/isp_ras/articles/827830/
#ru
@database_design | Другие наши каналы
Зачем вообще "надёжно" стирать данные? Главное же, чтобы пользователь через интерфейс СУБД не мог их достать. Мало ли, что там за остатки данных в файлах болтаются, это же не проблема. Или нет?
Читать: https://habr.com/ru/companies/isp_ras/articles/827830/
#ru
@database_design | Другие наши каналы
Платформа данных в хранилище Магнит OMNI
Всем привет! Меня зовут Михаил, я руковожу разработкой хранилища данных «Магнит OMNI». Хочу рассказать, как мы решали проблемы его создания: разделение ресурсов хранилища между несколькими большими равнозначными заказчиками; переиспользование кода для оптимизации рутинных задач; развитие платформы DWH в условиях активно растущего бизнеса; навигация в сотнях витрин и соблюдение единообразия расчёта метрик.
Читать: https://habr.com/ru/companies/magnit/articles/864472/
#ru
@database_design | Другие наши каналы
Всем привет! Меня зовут Михаил, я руковожу разработкой хранилища данных «Магнит OMNI». Хочу рассказать, как мы решали проблемы его создания: разделение ресурсов хранилища между несколькими большими равнозначными заказчиками; переиспользование кода для оптимизации рутинных задач; развитие платформы DWH в условиях активно растущего бизнеса; навигация в сотнях витрин и соблюдение единообразия расчёта метрик.
Читать: https://habr.com/ru/companies/magnit/articles/864472/
#ru
@database_design | Другие наши каналы
Чем отличается пессимистическая и оптимистическая блокировка в MySQL
При проектировании приложений, использующих базы данных, часто возникают такие ситуации, в которых требуется конкурентный доступ к данным. Это может приводить к самым разным последствиям, поскольку состояние базы данных может нарушиться, или некоторые данные могут быть потеряны. Чтобы предотвратить такие сценарии, существуют различные способы контролировать доступ к ресурсам. Например, применяется оптимистическая и пессимистическая блокировка, о которых мы здесь поговорим.
Читать: https://habr.com/ru/companies/piter/articles/864498/
#ru
@database_design | Другие наши каналы
При проектировании приложений, использующих базы данных, часто возникают такие ситуации, в которых требуется конкурентный доступ к данным. Это может приводить к самым разным последствиям, поскольку состояние базы данных может нарушиться, или некоторые данные могут быть потеряны. Чтобы предотвратить такие сценарии, существуют различные способы контролировать доступ к ресурсам. Например, применяется оптимистическая и пессимистическая блокировка, о которых мы здесь поговорим.
Читать: https://habr.com/ru/companies/piter/articles/864498/
#ru
@database_design | Другие наши каналы
Создаем коллективный интеллект: обмен опытом в команде технических писателей
Как эффективно организовать процесс обмена знаниями в компании, минимизировать потерю времени и повысить продуктивность команды. В статье делимся проверенными инструментами и подходами из личного опыта техписов, которые сделали взаимодействие внутри команды удобным и результативным.
Читать: https://habr.com/ru/companies/documenterra/articles/864542/
#ru
@database_design | Другие наши каналы
Как эффективно организовать процесс обмена знаниями в компании, минимизировать потерю времени и повысить продуктивность команды. В статье делимся проверенными инструментами и подходами из личного опыта техписов, которые сделали взаимодействие внутри команды удобным и результативным.
Читать: https://habr.com/ru/companies/documenterra/articles/864542/
#ru
@database_design | Другие наши каналы
О векторных базах данных простым языком
Представьте, что управляете онлайн-магазином, предлагающим тысячи товаров.
Чтобы помочь пользователям находить нужные позиции, вы добавили строку поиска. Теперь посетители могут вводить интересующие их запросы, на что вы будете показывать им подходящие результаты.
Например, когда пользователь вводит «лето», вы можете показывать предметы вроде шортов, платьев, панам и пляжных зонтов.
Как бы вы реализовали такую систему?
Читать: https://habr.com/ru/companies/ruvds/articles/863704/
#ru
@database_design | Другие наши каналы
Представьте, что управляете онлайн-магазином, предлагающим тысячи товаров.
Чтобы помочь пользователям находить нужные позиции, вы добавили строку поиска. Теперь посетители могут вводить интересующие их запросы, на что вы будете показывать им подходящие результаты.
Например, когда пользователь вводит «лето», вы можете показывать предметы вроде шортов, платьев, панам и пляжных зонтов.
Как бы вы реализовали такую систему?
Читать: https://habr.com/ru/companies/ruvds/articles/863704/
#ru
@database_design | Другие наши каналы
Ваше новое хранилище данных: на что обратить внимание при миграции?
Рассказываем об основных шагах для того, чтобы правильно провести миграцию хранилища данных на новые технологии в современных условиях в России.
Читать: «Ваше новое хранилище данных: на что обратить внимание при миграции?»
#ru
@database_design | Другие наши каналы
Рассказываем об основных шагах для того, чтобы правильно провести миграцию хранилища данных на новые технологии в современных условиях в России.
Читать: «Ваше новое хранилище данных: на что обратить внимание при миграции?»
#ru
@database_design | Другие наши каналы
ZIP-бомба в формате Apache Parquet
Давние хаброжители помнят, как в 2015 году ZIP-бомба в формате PNG ненадолго вывела из строя Habrastorage. С тех пор появились новые разновидности этого «оружия»: например, разработаны нерекурсивные и компиляторные бомбы (29 байт кода → 16 ГБ .exe).
Подобного рода экспоиты можно встроить не только в формат ZIP или PNG, но и в других форматы файлов, которые поддерживают сжатие. Например, в формате Apache Parquet.
Читать: https://habr.com/ru/companies/globalsign/articles/864886/
#ru
@database_design | Другие наши каналы
Давние хаброжители помнят, как в 2015 году ZIP-бомба в формате PNG ненадолго вывела из строя Habrastorage. С тех пор появились новые разновидности этого «оружия»: например, разработаны нерекурсивные и компиляторные бомбы (29 байт кода → 16 ГБ .exe).
Подобного рода экспоиты можно встроить не только в формат ZIP или PNG, но и в других форматы файлов, которые поддерживают сжатие. Например, в формате Apache Parquet.
Читать: https://habr.com/ru/companies/globalsign/articles/864886/
#ru
@database_design | Другие наши каналы
Каталог данных своими руками из PowerBi и небольшой БД
Привет! Я Николай, аналитик во ВкусВилле, я запустил и поддерживаю проект по каталогу данных в ВВ.
Поиск данных — нелегкая задача, особенно при большом объеме бизнеса. Много источников информации и множество аналитиков связаны со сложностями как при онбординге, так и в процессе работы. Чтобы жить стало проще, мы решили создать свою систему для каталогизации источников и определения единого источника правды.
Сделали каталог своими руками, как подошли к этому вопросу и что получили в итоге —расскажу в этом материале.
Читать: https://habr.com/ru/companies/vkusvill/articles/864998/
#ru
@database_design | Другие наши каналы
Привет! Я Николай, аналитик во ВкусВилле, я запустил и поддерживаю проект по каталогу данных в ВВ.
Поиск данных — нелегкая задача, особенно при большом объеме бизнеса. Много источников информации и множество аналитиков связаны со сложностями как при онбординге, так и в процессе работы. Чтобы жить стало проще, мы решили создать свою систему для каталогизации источников и определения единого источника правды.
Сделали каталог своими руками, как подошли к этому вопросу и что получили в итоге —расскажу в этом материале.
Читать: https://habr.com/ru/companies/vkusvill/articles/864998/
#ru
@database_design | Другие наши каналы
Знакомство со слоем абстракции Netflix для хранилищ данных типа «ключ-значение»
Наша компания — Netflix — способна организовывать бесперебойную, высококачественную потоковую передачу видео миллионам пользователей благодаря своей надёжной глобальной серверной инфраструктуре. В самом центре этой инфраструктуры лежит множество онлайновых распределённых баз данных. Среди них — Apache Cassandra — NoSQL-СУБД, известная высокой доступностью и хорошей масштабируемостью. Cassandra играет роль опорной технологии для множества самых разных возможностей Netflix: от механизма входа пользователя в систему — до хранения истории просмотренных материалов и до поддержки аналитики реального времени и прямых трансляций.
Со временем появлялись новые базы данных типа «ключ-значение» (Key-Value, KV), владельцы сервисов вводили в строй новый функционал. В результате мы столкнулись с массой сложностей, связанных с неправильным использованием хранилищ данных. Во-первых — разработчикам сложно оперировать такими понятиями, как производительность хранилищ данных, согласованность и устойчивость данных. Ведь речь идёт о взаимодействии со сложной системой глобальных масштабов, представленной множеством хранилищ. Во-вторых — разработчикам приходилось постоянно переучиваться, осваивая новые подходы к моделированию данных и распространённые, но очень важные паттерны доступа к данным. В перечень сложностей, встающих перед разработчиками, входят высокие задержки, которым подвержен небольшой процент запросов, находящихся в «хвосте» распределения задержек (tail latency) и идемпотентность операций. Тут же можно упомянуть и поддержку работы «широких» разделов хранилищ с множеством строк, и работу в условиях, когда для хранения данных применяется единственный «толстый» столбец, и медленную пагинацию ответов. Кроме того — наши системы были связаны с множеством собственных API разных баз данных — с API, которые постоянно развивались, и в которых иногда появлялись изменения, нарушающие обратную совместимость. Всё это привело к тому, что инженеры, в масштабах всей организации, тратили много времени на поддержку и оптимизацию механизмов доступа к данным наших микросервисов.
Читать: https://habr.com/ru/companies/wunderfund/articles/864430/
#ru
@database_design | Другие наши каналы
Наша компания — Netflix — способна организовывать бесперебойную, высококачественную потоковую передачу видео миллионам пользователей благодаря своей надёжной глобальной серверной инфраструктуре. В самом центре этой инфраструктуры лежит множество онлайновых распределённых баз данных. Среди них — Apache Cassandra — NoSQL-СУБД, известная высокой доступностью и хорошей масштабируемостью. Cassandra играет роль опорной технологии для множества самых разных возможностей Netflix: от механизма входа пользователя в систему — до хранения истории просмотренных материалов и до поддержки аналитики реального времени и прямых трансляций.
Со временем появлялись новые базы данных типа «ключ-значение» (Key-Value, KV), владельцы сервисов вводили в строй новый функционал. В результате мы столкнулись с массой сложностей, связанных с неправильным использованием хранилищ данных. Во-первых — разработчикам сложно оперировать такими понятиями, как производительность хранилищ данных, согласованность и устойчивость данных. Ведь речь идёт о взаимодействии со сложной системой глобальных масштабов, представленной множеством хранилищ. Во-вторых — разработчикам приходилось постоянно переучиваться, осваивая новые подходы к моделированию данных и распространённые, но очень важные паттерны доступа к данным. В перечень сложностей, встающих перед разработчиками, входят высокие задержки, которым подвержен небольшой процент запросов, находящихся в «хвосте» распределения задержек (tail latency) и идемпотентность операций. Тут же можно упомянуть и поддержку работы «широких» разделов хранилищ с множеством строк, и работу в условиях, когда для хранения данных применяется единственный «толстый» столбец, и медленную пагинацию ответов. Кроме того — наши системы были связаны с множеством собственных API разных баз данных — с API, которые постоянно развивались, и в которых иногда появлялись изменения, нарушающие обратную совместимость. Всё это привело к тому, что инженеры, в масштабах всей организации, тратили много времени на поддержку и оптимизацию механизмов доступа к данным наших микросервисов.
Читать: https://habr.com/ru/companies/wunderfund/articles/864430/
#ru
@database_design | Другие наши каналы
DATABASE DESIGN
Photo
Защита данных в облаке: решение от MongoDB
Статья на блоге MongoDB обсуждает проблему "тихой" порчи данных в облаке и решения, которые компания внедрила для ее выявления и исправления. MongoDB Atlas использует передовые технологии для мониторинга и ремонта данных, обеспечивая надежную защиту пользователей даже в масштабных облачных системах. Онлайн и офлайн подходы к проверке целостности данных в MongoDB
MongoDB использует инновационную систему онлайн-сканирования целостности данных для предотвращения повреждения информации без прерывания работы баз данных. В случае обнаружения несоответствий данные могут быть восстановлены с помощью автоматизированного ресинка. Эта гибкость позволяет эффективно управлять данными. MongoDB и AWS: Новые достижения на AWS re:Invent 2024
MongoDB была признана AWS Technology Partner of the Year и показала новые интеграции с AWS. Основные направления - оптимизация затрат на генеративный ИИ и развитие инфраструктуры для инновационных приложений. Подробнее о сотрудничестве читайте на нашем сайте.
Читать подробнее
#en
@database_design | Другие наши каналы
Статья на блоге MongoDB обсуждает проблему "тихой" порчи данных в облаке и решения, которые компания внедрила для ее выявления и исправления. MongoDB Atlas использует передовые технологии для мониторинга и ремонта данных, обеспечивая надежную защиту пользователей даже в масштабных облачных системах. Онлайн и офлайн подходы к проверке целостности данных в MongoDB
MongoDB использует инновационную систему онлайн-сканирования целостности данных для предотвращения повреждения информации без прерывания работы баз данных. В случае обнаружения несоответствий данные могут быть восстановлены с помощью автоматизированного ресинка. Эта гибкость позволяет эффективно управлять данными. MongoDB и AWS: Новые достижения на AWS re:Invent 2024
MongoDB была признана AWS Technology Partner of the Year и показала новые интеграции с AWS. Основные направления - оптимизация затрат на генеративный ИИ и развитие инфраструктуры для инновационных приложений. Подробнее о сотрудничестве читайте на нашем сайте.
Читать подробнее
#en
@database_design | Другие наши каналы
Apache Flink: Flink Table API & SQL, часть 2
Table API — это API для взаимодействия с данными в табличном виде. Если рассматривать аналогию со Spark, то наша таблица в Table API — это датафреймы в Spark. Нет четкой структуры, каждая точка потока — таблица, то есть после преобразования таблицы нам возвращается таблица, как это происходит и в Spark.
Так же, как и Spark, Table API использует свой диалект SQL, который можно использовать над таблицами. Таблицу мы можем зарегистрировать в каталоге Table API и обращаться к ней с помощью SQL, используя команду Execute SQL. Все преобразования можно делать как обращаясь к таблице напрямую, через метод, так и при помощи SQL, то есть при помощи Select можно создать новую таблицу. Может запускаться как приложение, так и интерактивно SQL-запросами. То есть если у вас развернут Flink-кластер, то можно к нему подключиться при помощи Flink SQL, вбивать команды, создавать каталоги, подключаться к каталогам и проворачивать, например, батчевые SQL-запросы, которые перетягивать данные.
Главная фишка: источники и приемники могут создаваться и конфигурироваться при помощи DDL SQL.
Читать: https://habr.com/ru/companies/beeline_tech/articles/863936/
#ru
@database_design | Другие наши каналы
Table API — это API для взаимодействия с данными в табличном виде. Если рассматривать аналогию со Spark, то наша таблица в Table API — это датафреймы в Spark. Нет четкой структуры, каждая точка потока — таблица, то есть после преобразования таблицы нам возвращается таблица, как это происходит и в Spark.
Так же, как и Spark, Table API использует свой диалект SQL, который можно использовать над таблицами. Таблицу мы можем зарегистрировать в каталоге Table API и обращаться к ней с помощью SQL, используя команду Execute SQL. Все преобразования можно делать как обращаясь к таблице напрямую, через метод, так и при помощи SQL, то есть при помощи Select можно создать новую таблицу. Может запускаться как приложение, так и интерактивно SQL-запросами. То есть если у вас развернут Flink-кластер, то можно к нему подключиться при помощи Flink SQL, вбивать команды, создавать каталоги, подключаться к каталогам и проворачивать, например, батчевые SQL-запросы, которые перетягивать данные.
Главная фишка: источники и приемники могут создаваться и конфигурироваться при помощи DDL SQL.
Читать: https://habr.com/ru/companies/beeline_tech/articles/863936/
#ru
@database_design | Другие наши каналы
Oracle GDS: Мощный инструмент для бизнеса
Oracle Global Data Services (GDS) обеспечивает непрерывную доступность систем и управляет нагрузкой в корпоративной среде. Узнайте, как GDS помогает оптимизировать производительность и повысить отказоустойчивость ваших IT-систем.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle Global Data Services (GDS) обеспечивает непрерывную доступность систем и управляет нагрузкой в корпоративной среде. Узнайте, как GDS помогает оптимизировать производительность и повысить отказоустойчивость ваших IT-систем.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Exploring the Capabilities of Oracle Global Data Services
A brief overview of the key features and capabilities of Oracle Global Data Services (GDS) for managing enterprise workloads and achieving continuous system availability in enhanced performance.