Зачем запускать облачную СУБД на выделенном сервере
Когда речь заходит о выборе инфраструктуры, возникает классический вопрос: использовать готовый сервис в облаке или собрать свой на выделенных серверах. На первый взгляд, все просто: облако — это про скорость и удобство, а выделенные серверы — про мощность и производительность. Но все не так просто.
Облако — это не монолит, а набор кубиков (сервисов), из которых можно собирать решения под любые задачи — в том числе под очень требовательные к производительности. В этой статье мы проверим, насколько вариативно облако, сравним плюсы и минусы двух принципиально разных подходов к инфраструктуре и посмотрим на новый «кубик» в экосистеме Selectel — DBaaS на выделенном сервере. Разберемся, как он появился, зачем нужен и как сочетает производительность выделенного сервера с удобством облака. Готовы? Давайте соберем это облачное «LEGO» вместе!
Читать: https://habr.com/ru/companies/selectel/articles/880338/
#ru
@database_design | Другие наши каналы
Когда речь заходит о выборе инфраструктуры, возникает классический вопрос: использовать готовый сервис в облаке или собрать свой на выделенных серверах. На первый взгляд, все просто: облако — это про скорость и удобство, а выделенные серверы — про мощность и производительность. Но все не так просто.
Облако — это не монолит, а набор кубиков (сервисов), из которых можно собирать решения под любые задачи — в том числе под очень требовательные к производительности. В этой статье мы проверим, насколько вариативно облако, сравним плюсы и минусы двух принципиально разных подходов к инфраструктуре и посмотрим на новый «кубик» в экосистеме Selectel — DBaaS на выделенном сервере. Разберемся, как он появился, зачем нужен и как сочетает производительность выделенного сервера с удобством облака. Готовы? Давайте соберем это облачное «LEGO» вместе!
Читать: https://habr.com/ru/companies/selectel/articles/880338/
#ru
@database_design | Другие наши каналы
Зачем запускать облачную СУБД на выделенном сервере
Когда речь заходит о выборе инфраструктуры, возникает классический вопрос: использовать готовый сервис в облаке или собрать свой на выделенных серверах. На первый взгляд, все просто: облако — это про скорость и удобство, а выделенные серверы — про мощность и производительность. Но все не так просто.
Облако — это не монолит, а набор кубиков (сервисов), из которых можно собирать решения под любые задачи — в том числе под очень требовательные к производительности. В этой статье мы проверим, насколько вариативно облако, сравним плюсы и минусы двух принципиально разных подходов к инфраструктуре и посмотрим на новый «кубик» в экосистеме Selectel — DBaaS на выделенном сервере. Разберемся, как он появился, зачем нужен и как сочетает производительность выделенного сервера с удобством облака. Готовы? Давайте соберем это облачное «LEGO» вместе!
Читать: https://habr.com/ru/companies/selectel/articles/880338/
#ru
@database_design | Другие наши каналы
Когда речь заходит о выборе инфраструктуры, возникает классический вопрос: использовать готовый сервис в облаке или собрать свой на выделенных серверах. На первый взгляд, все просто: облако — это про скорость и удобство, а выделенные серверы — про мощность и производительность. Но все не так просто.
Облако — это не монолит, а набор кубиков (сервисов), из которых можно собирать решения под любые задачи — в том числе под очень требовательные к производительности. В этой статье мы проверим, насколько вариативно облако, сравним плюсы и минусы двух принципиально разных подходов к инфраструктуре и посмотрим на новый «кубик» в экосистеме Selectel — DBaaS на выделенном сервере. Разберемся, как он появился, зачем нужен и как сочетает производительность выделенного сервера с удобством облака. Готовы? Давайте соберем это облачное «LEGO» вместе!
Читать: https://habr.com/ru/companies/selectel/articles/880338/
#ru
@database_design | Другие наши каналы
Confluent Kafka: любовь и ненависть в .NET, часть 1
Всем привет! Сегодня расскажу про Confluent Kafka. Ее любят, ненавидят, но мало кто остается равнодушным.
О себе
Меня зовут Алена, я ведущий разработчик, занимаюсь развитием референсной архитектуры в компании билайн. К основным областям профессиональных интересов можно отнести проблемы распределенных систем, event sourcing и DDD.
В двух словах о Kafka
Kafka - это распределенная платформа для обработки потоков данных, которая используется для построения высоконагруженных решений и обработки данных в реальном времени. По сути, это система, которая может очень быстро и эффективно передавать ваши события. Kafka может работать как на одной машине, так и на нескольких, образующих между собой кластер и повышающих общую эффективность системы. Событием в Kafka может быть любой тип данных, для Kafka это всего лишь последовательность байт. На картинке представлены сущности, которые участвуют в процессе работы с точки зрения архитектуры.
Читать: https://habr.com/ru/companies/beeline_tech/articles/880424/
#ru
@database_design | Другие наши каналы
Всем привет! Сегодня расскажу про Confluent Kafka. Ее любят, ненавидят, но мало кто остается равнодушным.
О себе
Меня зовут Алена, я ведущий разработчик, занимаюсь развитием референсной архитектуры в компании билайн. К основным областям профессиональных интересов можно отнести проблемы распределенных систем, event sourcing и DDD.
В двух словах о Kafka
Kafka - это распределенная платформа для обработки потоков данных, которая используется для построения высоконагруженных решений и обработки данных в реальном времени. По сути, это система, которая может очень быстро и эффективно передавать ваши события. Kafka может работать как на одной машине, так и на нескольких, образующих между собой кластер и повышающих общую эффективность системы. Событием в Kafka может быть любой тип данных, для Kafka это всего лишь последовательность байт. На картинке представлены сущности, которые участвуют в процессе работы с точки зрения архитектуры.
Читать: https://habr.com/ru/companies/beeline_tech/articles/880424/
#ru
@database_design | Другие наши каналы
Ошибки, которых следует избегать при миграции из Confluence
Конкретика и практичность — залог успешной миграции из Confluence. Разбираем основные ошибки, которые могут осложнить процесс: от неподготовленных данных до неправильно организации миграции. Делимся советами по организации данных, выбору оптимальных решений и способам минимизации рисков утраты информации.
Подробнее
Читать: https://habr.com/ru/companies/documenterra/articles/880304/
#ru
@database_design | Другие наши каналы
Конкретика и практичность — залог успешной миграции из Confluence. Разбираем основные ошибки, которые могут осложнить процесс: от неподготовленных данных до неправильно организации миграции. Делимся советами по организации данных, выбору оптимальных решений и способам минимизации рисков утраты информации.
Подробнее
Читать: https://habr.com/ru/companies/documenterra/articles/880304/
#ru
@database_design | Другие наши каналы
Ошибки, которых следует избегать при миграции из Confluence
Конкретика и практичность — залог успешной миграции из Confluence. Разбираем основные ошибки, которые могут осложнить процесс: от неподготовленных данных до неправильно организации миграции. Делимся советами по организации данных, выбору оптимальных решений и способам минимизации рисков утраты информации.
Подробнее
Читать: https://habr.com/ru/companies/documenterra/articles/880304/
#ru
@database_design | Другие наши каналы
Конкретика и практичность — залог успешной миграции из Confluence. Разбираем основные ошибки, которые могут осложнить процесс: от неподготовленных данных до неправильно организации миграции. Делимся советами по организации данных, выбору оптимальных решений и способам минимизации рисков утраты информации.
Подробнее
Читать: https://habr.com/ru/companies/documenterra/articles/880304/
#ru
@database_design | Другие наши каналы
🔍 Что такое Cache Warmup в Oracle Database?
В статье объясняется процесс cache warmup в True Cache — автоматизированной системе управления кэшем для баз данных Oracle. Узнайте, как правильная настройка кэша может существенно повысить производительность вашего приложения.
Читать подробнее
#en
@database_design | Другие наши каналы
В статье объясняется процесс cache warmup в True Cache — автоматизированной системе управления кэшем для баз данных Oracle. Узнайте, как правильная настройка кэша может существенно повысить производительность вашего приложения.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Oracle True Cache: Learn about Cache Warmup
Learn about cache warmup in True Cache which is an automatically managed cache for Oracle Database.
Замедление работы pg_repack с помощью cgroup
Операция VACUUM FULL полностью пересоздаёт таблицу, предельно оптимизируя её. Она требует полной блокировки таблицы, поэтому высоконагруженные таблицы обрабатывать ею без простоя системы нельзя. Вместо VACUUM FULL можно использовать расширение pg_repack. Оно создаёт на обрабатываемой таблице триггер, отслеживающей модификации, создаёт копию таблицы, догоняет набежавшие изменения. В конце работы берётся короткая блокировка, старая таблица удаляется, новая становится на её место.
Недостатком pg_repack является то, что она работает СЛИШКОМ БЫСТРО – фактически данные копируются и удваиваются в объёме (по отношению к исходной таблице). Каталог pg_wal забивается с такой скоростью, что архиватор не успевает обрабатывать файлы.
Далее описывается способ замедления работы pg_repack с использованием механизма cgroup.
Читать: https://habr.com/ru/articles/880646/
#ru
@database_design | Другие наши каналы
Операция VACUUM FULL полностью пересоздаёт таблицу, предельно оптимизируя её. Она требует полной блокировки таблицы, поэтому высоконагруженные таблицы обрабатывать ею без простоя системы нельзя. Вместо VACUUM FULL можно использовать расширение pg_repack. Оно создаёт на обрабатываемой таблице триггер, отслеживающей модификации, создаёт копию таблицы, догоняет набежавшие изменения. В конце работы берётся короткая блокировка, старая таблица удаляется, новая становится на её место.
Недостатком pg_repack является то, что она работает СЛИШКОМ БЫСТРО – фактически данные копируются и удваиваются в объёме (по отношению к исходной таблице). Каталог pg_wal забивается с такой скоростью, что архиватор не успевает обрабатывать файлы.
Далее описывается способ замедления работы pg_repack с использованием механизма cgroup.
Читать: https://habr.com/ru/articles/880646/
#ru
@database_design | Другие наши каналы
Яблочный SMB. Или как подружить Samba с iOS
Настраиваю домашний NAS на Ubuntu, сталкиваюсь с проблемами доступа через SMB на iOS, ищу решения и делюсь опытом. Рассказываю, как правильно настроить Samba, исправить несовместимости с Apple-устройствами с помощью VFS-модуля Fruit и избежать распространённых ошибок. В статье есть готовые конфиги, команды для настройки и ссылки на полезную документацию. Если вы тоже запускаете NAS и хотите минимизировать головную боль с правами доступа и совместимостью, этот материал для вас!
Читать: https://habr.com/ru/articles/880722/
#ru
@database_design | Другие наши каналы
Настраиваю домашний NAS на Ubuntu, сталкиваюсь с проблемами доступа через SMB на iOS, ищу решения и делюсь опытом. Рассказываю, как правильно настроить Samba, исправить несовместимости с Apple-устройствами с помощью VFS-модуля Fruit и избежать распространённых ошибок. В статье есть готовые конфиги, команды для настройки и ссылки на полезную документацию. Если вы тоже запускаете NAS и хотите минимизировать головную боль с правами доступа и совместимостью, этот материал для вас!
Читать: https://habr.com/ru/articles/880722/
#ru
@database_design | Другие наши каналы
Confluent Kafka: любовь и ненависть в .NET, часть 2
Привет! Как и обещала в первой части — теперь про ребалансировки и не только.
Выделяют безотлагательную и совместную ребалансировки.
При безотлагательной ребалансировке пользователи прекращают потребление из партиции, которые им назначены, затем отказываются от права владеть этими партициями, после снова присоединяются к consume group, получают совершенно новое назначение партиций и после этого возобновляют потребление. По сути, это короткое окно недоступности для всей consume group. Длина этого окна зависит от количества пользователей и некоторых параметров конфигурации.
Совместная ребалансировка - это инкрементная ребалансировка, при которой переназначается лишь некоторое подмножество партиций, и пользователи продолжают потребление из тех партиций, которые не были переназначены. Координатор уведомляет пользователей, что они должны будут отказаться от права владения некоторым подмножеством партиций, они прекращают потребление и отказываются от права владения. Затем эти партиции назначаются новым владельцам. Подход может включать несколько итераций, пока не будет достигнуто равномерное распределение. В отличие от безотлагательного подхода, мы не получаем полной недоступности. Это важно для больших consume groups, где балансировка может занять значительное количество времени.
Читать: https://habr.com/ru/companies/beeline_tech/articles/880834/
#ru
@database_design | Другие наши каналы
Привет! Как и обещала в первой части — теперь про ребалансировки и не только.
Выделяют безотлагательную и совместную ребалансировки.
При безотлагательной ребалансировке пользователи прекращают потребление из партиции, которые им назначены, затем отказываются от права владеть этими партициями, после снова присоединяются к consume group, получают совершенно новое назначение партиций и после этого возобновляют потребление. По сути, это короткое окно недоступности для всей consume group. Длина этого окна зависит от количества пользователей и некоторых параметров конфигурации.
Совместная ребалансировка - это инкрементная ребалансировка, при которой переназначается лишь некоторое подмножество партиций, и пользователи продолжают потребление из тех партиций, которые не были переназначены. Координатор уведомляет пользователей, что они должны будут отказаться от права владения некоторым подмножеством партиций, они прекращают потребление и отказываются от права владения. Затем эти партиции назначаются новым владельцам. Подход может включать несколько итераций, пока не будет достигнуто равномерное распределение. В отличие от безотлагательного подхода, мы не получаем полной недоступности. Это важно для больших consume groups, где балансировка может занять значительное количество времени.
Читать: https://habr.com/ru/companies/beeline_tech/articles/880834/
#ru
@database_design | Другие наши каналы
Debezium в действии: сбор и синхронизация отчётной базы данных
На текущий момент мы занимаемся разработкой для сотрудников банка фронтального приложения, в котором они смогут в одном окне видеть всю необходимую информацию, физически хранящуюся в трёх отдельных базах данных. В реализации самого приложения никаких особенностей и сложностей нет, чего не скажешь про его бэкенд.
Итак, задача, стоявшая перед нами — отобразить пользователю общую выборку данных, которые хранятся физически в отдельных кластерах БД.
Читать: https://habr.com/ru/companies/T1Holding/articles/880310/
#ru
@database_design | Другие наши каналы
На текущий момент мы занимаемся разработкой для сотрудников банка фронтального приложения, в котором они смогут в одном окне видеть всю необходимую информацию, физически хранящуюся в трёх отдельных базах данных. В реализации самого приложения никаких особенностей и сложностей нет, чего не скажешь про его бэкенд.
Итак, задача, стоявшая перед нами — отобразить пользователю общую выборку данных, которые хранятся физически в отдельных кластерах БД.
Читать: https://habr.com/ru/companies/T1Holding/articles/880310/
#ru
@database_design | Другие наши каналы
Развенчиваем мифы о MongoDB и реляционных базах
Многие разработчики формируют свои представления о MongoDB на основе устаревшей информации. В статье развенчиваются ключевые мифы: отсутствие схемы, несоответствие ACID и невозможность JOINS. Реальность такова, что MongoDB предлагает гибкость и надежность, требуя лишь грамотного подхода к проектированию. MongoDB Atlas Flex: Новый взгляд на управление базами данных
MongoDB представила Atlas Flex, новый тарифный план для управления изменчивыми нагрузками. Он сочетает в себе преимущества предыдущих решений, предлагая гибкость и предсказуемость цен. Это идеальный выбор для стартапов и проектов всех стадий. Узнайте больше и начните работу сегодня!
Читать подробнее
#en
@database_design | Другие наши каналы
Многие разработчики формируют свои представления о MongoDB на основе устаревшей информации. В статье развенчиваются ключевые мифы: отсутствие схемы, несоответствие ACID и невозможность JOINS. Реальность такова, что MongoDB предлагает гибкость и надежность, требуя лишь грамотного подхода к проектированию. MongoDB Atlas Flex: Новый взгляд на управление базами данных
MongoDB представила Atlas Flex, новый тарифный план для управления изменчивыми нагрузками. Он сочетает в себе преимущества предыдущих решений, предлагая гибкость и предсказуемость цен. Это идеальный выбор для стартапов и проектов всех стадий. Узнайте больше и начните работу сегодня!
Читать подробнее
#en
@database_design | Другие наши каналы
Гарантии видимости в распределённых хранилищах
Здравствуйте, меня зовут Дмитрий Карловский и я.. стараюсь сложные вещи рассказывать простым языком, а простые вещи — эзоповым. И часто оказывается так, что в процессе упрощения и структурирования, на самом видном месте обнаруживаются скелеты древних динозавров, присыпанные мутными формулировками так, что долгие годы их никто не замечает. Что ж, если вы хотите окончательно разобраться в уровнях изоляции транзакций и гарантиях порядка операций, до давайте копать вместе.
Выпускайте эскалатор!
Читать: https://habr.com/ru/articles/881204/
#ru
@database_design | Другие наши каналы
Здравствуйте, меня зовут Дмитрий Карловский и я.. стараюсь сложные вещи рассказывать простым языком, а простые вещи — эзоповым. И часто оказывается так, что в процессе упрощения и структурирования, на самом видном месте обнаруживаются скелеты древних динозавров, присыпанные мутными формулировками так, что долгие годы их никто не замечает. Что ж, если вы хотите окончательно разобраться в уровнях изоляции транзакций и гарантиях порядка операций, до давайте копать вместе.
Выпускайте эскалатор!
Читать: https://habr.com/ru/articles/881204/
#ru
@database_design | Другие наши каналы
Новая эра безопасности в MongoDB Atlas: Политики ресурсов
MongoDB Atlas представила политики ресурсов, позволяющие разработчикам самостоятельно управлять ресурсами, сохраняя высокий уровень безопасности и соответствия. Это новшество обеспечивает централизованное управление и автоматизированную проверку, упрощая защиту данных и ускоряя инновации. Развенчиваем мифы о MongoDB и реляционных базах данных
Многие разработчики все еще опираются на представления о MongoDB из 2013 года, упуская десятилетие инноваций. В статье рассматриваются три популярных мифа: отсутствие схемы, несоответствие ACID и невозможность использовать JOINS. Узнайте, как MongoDB изменился и в чем его преимущества.
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB Atlas представила политики ресурсов, позволяющие разработчикам самостоятельно управлять ресурсами, сохраняя высокий уровень безопасности и соответствия. Это новшество обеспечивает централизованное управление и автоматизированную проверку, упрощая защиту данных и ускоряя инновации. Развенчиваем мифы о MongoDB и реляционных базах данных
Многие разработчики все еще опираются на представления о MongoDB из 2013 года, упуская десятилетие инноваций. В статье рассматриваются три популярных мифа: отсутствие схемы, несоответствие ACID и невозможность использовать JOINS. Узнайте, как MongoDB изменился и в чем его преимущества.
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB стимулирует инновации SaaS в Индии, активно поддерживая независимых разработчиков ПО (ISVs).
Работая с такими компаниями, как Intellect AI и Ambee, MongoDB предлагает гибкие и масштабируемые технологии для создания эффективных решений. Это партнерство укрепляет позиции индийских ISVs на рынке современных цифровых решений.
Читать подробнее
#en
@database_design | Другие наши каналы
Работая с такими компаниями, как Intellect AI и Ambee, MongoDB предлагает гибкие и масштабируемые технологии для создания эффективных решений. Это партнерство укрепляет позиции индийских ISVs на рынке современных цифровых решений.
Читать подробнее
#en
@database_design | Другие наши каналы
Почему мы перешли на RAID 10
Недавно у нас развалился RAID 5. Один диск на первом году своей жизни умер сам от естественных причин. Такое может быть и в период трёхлетней гарантии — нечасто, но может. Мы вынули его, поставили на его место диск из горячего резерва — и во время ребилда в массиве умер второй диск. Данные умерли вместе с ним.
Один из пользователей, чьи данные там были, очень живо интересовался тем, что за конфигурация у нас была. Вплоть до моделей дисков, дат их производства и серийных номеров. Он, вероятно, считал, что там стоит какое-то старьё, и до последнего не верил, что так бывает на новом железе. Потом очень искренне смеялся над фразой, что ни одна схема резервирования RAID не даёт стопроцентной гарантии сохранности данных.
Это правда: ни одна схема резервирования никогда не гарантирует 100 %. Случается всякое. Диски из одной партии могут умереть в один день: у нас такое было только один раз несколько лет тому назад, но было. Разболтавшийся кулер может вызвать резонансные вибрации, которые убьют два массива целиком: такое было больше пяти лет тому назад, и мы долго расследовали ту ситуацию.
Бывает всё.
В России не очень принято выплачивать компенсации за простои и потерю данных. В прошлом году мы поняли, что это важно делать, и включили такие пункты в соглашение.
Это привело к целой цепочке последствий, в частности, к тому, что мы перешли на RAID 10 как на новый для нас стандарт хранения данных.
Читать: https://habr.com/ru/companies/ruvds/articles/881290/
#ru
@database_design | Другие наши каналы
Недавно у нас развалился RAID 5. Один диск на первом году своей жизни умер сам от естественных причин. Такое может быть и в период трёхлетней гарантии — нечасто, но может. Мы вынули его, поставили на его место диск из горячего резерва — и во время ребилда в массиве умер второй диск. Данные умерли вместе с ним.
Один из пользователей, чьи данные там были, очень живо интересовался тем, что за конфигурация у нас была. Вплоть до моделей дисков, дат их производства и серийных номеров. Он, вероятно, считал, что там стоит какое-то старьё, и до последнего не верил, что так бывает на новом железе. Потом очень искренне смеялся над фразой, что ни одна схема резервирования RAID не даёт стопроцентной гарантии сохранности данных.
Это правда: ни одна схема резервирования никогда не гарантирует 100 %. Случается всякое. Диски из одной партии могут умереть в один день: у нас такое было только один раз несколько лет тому назад, но было. Разболтавшийся кулер может вызвать резонансные вибрации, которые убьют два массива целиком: такое было больше пяти лет тому назад, и мы долго расследовали ту ситуацию.
Бывает всё.
В России не очень принято выплачивать компенсации за простои и потерю данных. В прошлом году мы поняли, что это важно делать, и включили такие пункты в соглашение.
Это привело к целой цепочке последствий, в частности, к тому, что мы перешли на RAID 10 как на новый для нас стандарт хранения данных.
Читать: https://habr.com/ru/companies/ruvds/articles/881290/
#ru
@database_design | Другие наши каналы
MongoDB продолжает укреплять позиции в сфере генеративного ИИ, став технологическим партнером года по версии Confluent. Ранее компания приветствовала шестерых новых партнёров в области ИИ и технологий, таких как Base64 и Dataloop, для улучшения интеграций с MongoDB. Узнайте больше в блоге MongoDB! MongoDB помогает ИТ-разработчикам в Индии
Независимые разработчики ПО играют ключевую роль в цифровой экономике Индии. Используя MongoDB, компании создают инновационные SaaS-решения, оптимизируя данные и повышая эффективность. Примеры таких стартапов - Intellect AI и Zluri, которые успешно справляются с растущими объемами данных.
Читать подробнее
#en
@database_design | Другие наши каналы
Независимые разработчики ПО играют ключевую роль в цифровой экономике Индии. Используя MongoDB, компании создают инновационные SaaS-решения, оптимизируя данные и повышая эффективность. Примеры таких стартапов - Intellect AI и Zluri, которые успешно справляются с растущими объемами данных.
Читать подробнее
#en
@database_design | Другие наши каналы
Новые версии коннекторов MariaDB уже доступны!
Компания MariaDB выпустила обновления для своих коннекторов: C 3.4.4, 3.3.14, 3.1.27 и Java 3.5.2. Изменения включают улучшения в компрессии данных и исправления ошибок. Детали доступны в релизных заметках на сайте компании.
Читать подробнее
#en
@database_design | Другие наши каналы
Компания MariaDB выпустила обновления для своих коннекторов: C 3.4.4, 3.3.14, 3.1.27 и Java 3.5.2. Изменения включают улучшения в компрессии данных и исправления ошибок. Детали доступны в релизных заметках на сайте компании.
Читать подробнее
#en
@database_design | Другие наши каналы
Вся правда о данных: от примитивов до озера данных в эпоху микросервисов. Гайд для Java-разработчика
Данные — это новая нефть. От эффективности работы с ними напрямую зависит успех любого проекта, особенно в эпоху микросервисов. В этой статье мы погрузимся в мир данных и рассмотрим его с точки зрения Java-разработчика, который хочет добиться продуктивности и оставаться во всеоружии при работе с любыми объемами информации.
Цель этой статьи - предоставить полное руководство по структурам, концептам и инструментам для работы с данными в экосистеме Java, с уклоном в микросервисную архитектуру.
Мы пройдем путь от простейших структур данных, таких как примитивы и массивы, до сложных концептов, таких как озера данных и потоки событий. Рассмотрим различные способы хранения, обработки и передачи данных, а также архитектурные компоненты, необходимые для построения эффективных систем. Подробно остановимся на стратегиях развития - как правильно выбрать структуру и инструменты в зависимости от стадии развития проекта - от прототипа до высоконагруженной системы. Особое внимание уделим специфике микросервисной архитектуры и тому, как она влияет на выбор подходов к работе с данными.
Статья будет полезна Java-разработчикам разного уровня: от начинающих, желающих систематизировать свои знания, до опытных, ищущих решения для сложных задач в области хранения, передачи и обработки данных.
Читать: https://habr.com/ru/articles/881682/
#ru
@database_design | Другие наши каналы
Данные — это новая нефть. От эффективности работы с ними напрямую зависит успех любого проекта, особенно в эпоху микросервисов. В этой статье мы погрузимся в мир данных и рассмотрим его с точки зрения Java-разработчика, который хочет добиться продуктивности и оставаться во всеоружии при работе с любыми объемами информации.
Цель этой статьи - предоставить полное руководство по структурам, концептам и инструментам для работы с данными в экосистеме Java, с уклоном в микросервисную архитектуру.
Мы пройдем путь от простейших структур данных, таких как примитивы и массивы, до сложных концептов, таких как озера данных и потоки событий. Рассмотрим различные способы хранения, обработки и передачи данных, а также архитектурные компоненты, необходимые для построения эффективных систем. Подробно остановимся на стратегиях развития - как правильно выбрать структуру и инструменты в зависимости от стадии развития проекта - от прототипа до высоконагруженной системы. Особое внимание уделим специфике микросервисной архитектуры и тому, как она влияет на выбор подходов к работе с данными.
Статья будет полезна Java-разработчикам разного уровня: от начинающих, желающих систематизировать свои знания, до опытных, ищущих решения для сложных задач в области хранения, передачи и обработки данных.
Читать: https://habr.com/ru/articles/881682/
#ru
@database_design | Другие наши каналы
Миграция BI-аналитики: как перейти на Apache Superset и не потерять пользователей
Привет! Меня зовут Виталий Флёрин, я руководитель отдела BI-аналитики в M2. За год мы успешно перевели всю отчетность компании с Cognos Analytics на Apache Superset и увеличили MAU до 200 (каждый третий сотрудник компании). В статье хочу поделиться опытом внедрения новой системы отчетности и ее эффективного использования.
Материал будет полезен BI-специалистам, кто работает над развитием внутренних систем и хочет переехать на Superset.
История началась с того, что после ухода Cognos Analytics с российского рынка, нам нужно было выбрать новую BI для компании и мигрировать всю отчетность. Текущая система была развернута on-premises и продолжала работать в штатном режиме. Да, без обновлений и поддержки, но благодаря этому мы смогли тщательно подойти к выбору нового решения и обеспечить плавный переход пользователей на новую платформу.
Читать: https://habr.com/ru/companies/m2tech/articles/881190/
#ru
@database_design | Другие наши каналы
Привет! Меня зовут Виталий Флёрин, я руководитель отдела BI-аналитики в M2. За год мы успешно перевели всю отчетность компании с Cognos Analytics на Apache Superset и увеличили MAU до 200 (каждый третий сотрудник компании). В статье хочу поделиться опытом внедрения новой системы отчетности и ее эффективного использования.
Материал будет полезен BI-специалистам, кто работает над развитием внутренних систем и хочет переехать на Superset.
История началась с того, что после ухода Cognos Analytics с российского рынка, нам нужно было выбрать новую BI для компании и мигрировать всю отчетность. Текущая система была развернута on-premises и продолжала работать в штатном режиме. Да, без обновлений и поддержки, но благодаря этому мы смогли тщательно подойти к выбору нового решения и обеспечить плавный переход пользователей на новую платформу.
Читать: https://habr.com/ru/companies/m2tech/articles/881190/
#ru
@database_design | Другие наши каналы
Анализ графа заметок Obsidian
Obsidian на Хабре посвящено немало статей и, главным образом, про то, как создать и вести в нем базу знаний или систему управления личными делами. При этом остается обделенной вниманием тема анализа накопленного графа заметок с точки зрения его структуры и динамики. А это дополнительный слой информации, в том числе не закладываемой явно в содержание самих заметок. В качестве примера проведу в данной статье анализ своего графа заметок, собранного за прошедший год.
Читать: https://habr.com/ru/articles/881886/
#ru
@database_design | Другие наши каналы
Obsidian на Хабре посвящено немало статей и, главным образом, про то, как создать и вести в нем базу знаний или систему управления личными делами. При этом остается обделенной вниманием тема анализа накопленного графа заметок с точки зрения его структуры и динамики. А это дополнительный слой информации, в том числе не закладываемой явно в содержание самих заметок. В качестве примера проведу в данной статье анализ своего графа заметок, собранного за прошедший год.
Читать: https://habr.com/ru/articles/881886/
#ru
@database_design | Другие наши каналы
Переход на новую версию API MongoDB Atlas
MongoDB представила обновленную версию API для администрирования Atlas. Новая версия API улучшает работу с программным доступом к функциям Atlas благодаря изменениям, обеспечивающим стабильность и предсказуемость обновлений. Переход на новую версию облегчит управление вашими базами данных. Новый виток онлайн-образования: опыт WanTong
Пандемия ускорила рост рынка онлайн-образования, и WanTong Education, использовав 70-летний опыт, выбрала MongoDB Atlas для улучшения управления данными. Это помогло повысить гибкость и скорость обработки данных, предоставив лучшую образовательную платформу для студентов.
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB представила обновленную версию API для администрирования Atlas. Новая версия API улучшает работу с программным доступом к функциям Atlas благодаря изменениям, обеспечивающим стабильность и предсказуемость обновлений. Переход на новую версию облегчит управление вашими базами данных. Новый виток онлайн-образования: опыт WanTong
Пандемия ускорила рост рынка онлайн-образования, и WanTong Education, использовав 70-летний опыт, выбрала MongoDB Atlas для улучшения управления данными. Это помогло повысить гибкость и скорость обработки данных, предоставив лучшую образовательную платформу для студентов.
Читать подробнее
#en
@database_design | Другие наши каналы