Новая бесшовная миграция MySQL Galera → MariaDB Galera
В статье сообщается о доступном и поддерживаемом In-Place Migration для перехода с MySQL Galera Cluster на MariaDB Galera Cluster. Процедура протестирована и в большинстве случаев обеспечивает минимальные простои. Читайте источник.
Читать подробнее
#en
@database_design | Другие наши каналы
В статье сообщается о доступном и поддерживаемом In-Place Migration для перехода с MySQL Galera Cluster на MariaDB Galera Cluster. Процедура протестирована и в большинстве случаев обеспечивает минимальные простои. Читайте источник.
Читать подробнее
#en
@database_design | Другие наши каналы
MariaDB
Upgrade Now: Announcing MySQL Galera Cluster In-Place Migration to MariaDB Galera Cluster | MariaDB
MariaDB announces a new, seamless In-Place Migration path from MySQL Galera Cluster to MariaDB Galera Cluster.
Секреты Apache Kafka API: обработка сообщений без потерь и дублей
Меня зовут Андрей Серебрянский, и я люблю Apache Kafka. И гарантии доставки exactly once. И рассказывать обо всём этом на конференциях. Пять лет я строил платформы потоковой обработки данных в финтехе, а теперь вместе с командой работаю над YDB Topics: частью YDB (СУБД Яндекса), которая заменяет Apache Kafka в роли брокера сообщений. СУБД Яндекса уже некоторое время поддерживает Apache Kafka API. Недавно мы расширили этот API, добавив поддержку Kafka-транзакций.
Но наличия транзакций в брокере сообщений недостаточно для получения гарантий exactly once. Чтобы неудачно зависший или перезагрузившийся сервер не привёл к дублированию или потере сообщений, нужно хорошо понимать, как именно работают транзакции в брокерах сообщений вообще и в Apache Kafka в частности.
Эта статья будет полезна начинающим разработчикам и тем, кто хочет освежить знания или разобраться в тонкостях exactly once обработки данных с помощью YDB Topics или других брокеров сообщений.
Читать: https://habr.com/ru/companies/ydb/articles/972180/
#ru
@database_design | Другие наши каналы
Меня зовут Андрей Серебрянский, и я люблю Apache Kafka. И гарантии доставки exactly once. И рассказывать обо всём этом на конференциях. Пять лет я строил платформы потоковой обработки данных в финтехе, а теперь вместе с командой работаю над YDB Topics: частью YDB (СУБД Яндекса), которая заменяет Apache Kafka в роли брокера сообщений. СУБД Яндекса уже некоторое время поддерживает Apache Kafka API. Недавно мы расширили этот API, добавив поддержку Kafka-транзакций.
Но наличия транзакций в брокере сообщений недостаточно для получения гарантий exactly once. Чтобы неудачно зависший или перезагрузившийся сервер не привёл к дублированию или потере сообщений, нужно хорошо понимать, как именно работают транзакции в брокерах сообщений вообще и в Apache Kafka в частности.
Эта статья будет полезна начинающим разработчикам и тем, кто хочет освежить знания или разобраться в тонкостях exactly once обработки данных с помощью YDB Topics или других брокеров сообщений.
Читать: https://habr.com/ru/companies/ydb/articles/972180/
#ru
@database_design | Другие наши каналы
Корпоративные секреты по 1500 рублей: что мы нашли на списанных жестких дисках с барахолки
Только представьте: вы покупаете б/у жесткий диск, а там — пароли от корпоративной почты, базы клиентов известной компании и договоры с поставщиками. Звучит как страшилка для тренинга по информационной безопасности, но это реальность.
Мы провели эксперимент: купили несколько списанных корпоративных дисков на торгах по банкротству и онлайн-барахолке, взяли бесплатную программу с открытым исходным кодом, которую может скачать любой школьник, и… восстановили с них данные реальных компаний — от небольшой транспортной фирмы до гигантской корпорации. Одну из утечек мы расследовали по горячим следам: приобрели у продавца ещё двадцать дисков, встретились с ним лично, выяснили источник и передали всю информацию службе безопасности компании.
Хотите узнать, как легко купить чужие секреты и почему компании продолжают их выбрасывать в 2025 году? Рассказываем подробно.
Читать: https://habr.com/ru/companies/bastion/articles/967914/
#ru
@database_design | Другие наши каналы
Только представьте: вы покупаете б/у жесткий диск, а там — пароли от корпоративной почты, базы клиентов известной компании и договоры с поставщиками. Звучит как страшилка для тренинга по информационной безопасности, но это реальность.
Мы провели эксперимент: купили несколько списанных корпоративных дисков на торгах по банкротству и онлайн-барахолке, взяли бесплатную программу с открытым исходным кодом, которую может скачать любой школьник, и… восстановили с них данные реальных компаний — от небольшой транспортной фирмы до гигантской корпорации. Одну из утечек мы расследовали по горячим следам: приобрели у продавца ещё двадцать дисков, встретились с ним лично, выяснили источник и передали всю информацию службе безопасности компании.
Хотите узнать, как легко купить чужие секреты и почему компании продолжают их выбрасывать в 2025 году? Рассказываем подробно.
Читать: https://habr.com/ru/companies/bastion/articles/967914/
#ru
@database_design | Другие наши каналы
Почему Олег Бартунов не верит Минобразования и советует программистам не уезжать? И что означает лозунг «Слоник наш»?
Чистые улицы Калифорнии и свободный доступ к передовым технологиям — мечта любого айтишника 90-х. Но он предпочёл вернуться в страну, где ещё ничего не было, и построить своё с нуля.
В подкасте «В Офисе» я, Ваня Ботанов, автор телеграм-канала «Деплой» вместе с Олегом Бартуновым. Поговорили о том, почему AI не заменит инженера, и зачем сегодня так важно инвестировать в ИТ-образование. Это вторая часть интервью — не только история развития одного из главных российских open source проектов, но и редкий разговор про деньги, принципы и долгосрочное мышление.
— Какое-то время назад начался отток IT-специалистов из России. Как вы к этому относитесь?
— Я не считаю это чем-то критически страшным. В основном уезжают молодые ребята, и для молодежи нормально поехать, посмотреть, как живут в других странах. Многие большие проблемы в мире и в политике возникают из-за того, что люди не путешествуют. Недавно читал статистику: до недавнего времени 98% граждан не имели загранпаспорта. Что они могут думать о других странах, если никогда в них не были? У них нет критического мышления. А те, кто ездят, видят другую жизнь, понимают, как и где живут люди, какие плюсы и минусы, и их гораздо сложнее зомбировать.
— Где, на ваш взгляд, лучше жить?
— Конечно, там, где родился. Мы родились здесь, у нас своя ментальность. Хотя, например, я был 26 раз в Непале, и мне там очень нравится — чувствую себя комфортно. Думаю, это связано с историческими корнями, я как бы — степной кочевник, но подозреваю, что мой народ всё-таки пришёл из гор. А молодежь, которая уехала, посмотрела мир — если создать им условия, они вернутся.
Читать: https://habr.com/ru/articles/972376/
#ru
@database_design | Другие наши каналы
Чистые улицы Калифорнии и свободный доступ к передовым технологиям — мечта любого айтишника 90-х. Но он предпочёл вернуться в страну, где ещё ничего не было, и построить своё с нуля.
В подкасте «В Офисе» я, Ваня Ботанов, автор телеграм-канала «Деплой» вместе с Олегом Бартуновым. Поговорили о том, почему AI не заменит инженера, и зачем сегодня так важно инвестировать в ИТ-образование. Это вторая часть интервью — не только история развития одного из главных российских open source проектов, но и редкий разговор про деньги, принципы и долгосрочное мышление.
— Какое-то время назад начался отток IT-специалистов из России. Как вы к этому относитесь?
— Я не считаю это чем-то критически страшным. В основном уезжают молодые ребята, и для молодежи нормально поехать, посмотреть, как живут в других странах. Многие большие проблемы в мире и в политике возникают из-за того, что люди не путешествуют. Недавно читал статистику: до недавнего времени 98% граждан не имели загранпаспорта. Что они могут думать о других странах, если никогда в них не были? У них нет критического мышления. А те, кто ездят, видят другую жизнь, понимают, как и где живут люди, какие плюсы и минусы, и их гораздо сложнее зомбировать.
— Где, на ваш взгляд, лучше жить?
— Конечно, там, где родился. Мы родились здесь, у нас своя ментальность. Хотя, например, я был 26 раз в Непале, и мне там очень нравится — чувствую себя комфортно. Думаю, это связано с историческими корнями, я как бы — степной кочевник, но подозреваю, что мой народ всё-таки пришёл из гор. А молодежь, которая уехала, посмотрела мир — если создать им условия, они вернутся.
Читать: https://habr.com/ru/articles/972376/
#ru
@database_design | Другие наши каналы
Региональные дата-центры в России сейчас: на что это вообще похоже, и правда ли, что за МКАДом жизни нет
Вот так выглядит ЦОД в Новосибирске
В целом для коммерческих ЦОДов — правда, но есть и нюансы.
Начнём с суровой реальности. У нас вся экономика, все деньги и штаб-квартиры сосредоточены в Москве и Петербурге. Дальше, особенно если смотреть за Урал, с точки зрения коммерческих ЦОДов — пустыня. Да, там есть богатый Екатеринбург, да, там есть Новосибирск, да, там есть Владивосток с его международной торговлей, но потребности в коммерческих ЦОДах нет.
Это классическая проблема курицы и яйца. Коммерческий ЦОД строить там невыгодно, потому что нет клиентов, а клиентов нет, потому что нет нормальных ЦОДов.
В регионах живут в основном каптивные ЦОДы. Это когда условная налоговая или какой-нибудь гигант вроде «Норникеля» строит объект чисто под себя. Им вообще всё равно, где строить: они делают по потребности, а не по условиям. Если госзаказчику по плану нужно построить ЦОД во Владимире или Ярославле — они построят там. Им не нужно бегать по рынку и искать заказчика, у них стопроцентная загрузка своими же расчётами или данными. Производственники могут построить хоть в тундре, и вопрос окупаемости за счёт внешних арендаторов там не стоит.
А вот если ты хочешь построить коммерческий объект для сдачи стоек в аренду, то тут вступают в силу другие законы. В регионах просто нет такого объёма экономики, чтобы окупить полномасштабный ЦОД. Считается, что в регионе есть смысл начинать стройку, только если у тебя есть предзаказ («якорь») минимум на 60% мощностей. Если этого нет, то ты построишь коробку, которая будет генерировать убытки.
Но начинается всё с дешёвого электричества, конечно. Оно важнее, чем аплинки.
Читать: https://habr.com/ru/companies/ruvds/articles/972332/
#ru
@database_design | Другие наши каналы
Вот так выглядит ЦОД в Новосибирске
В целом для коммерческих ЦОДов — правда, но есть и нюансы.
Начнём с суровой реальности. У нас вся экономика, все деньги и штаб-квартиры сосредоточены в Москве и Петербурге. Дальше, особенно если смотреть за Урал, с точки зрения коммерческих ЦОДов — пустыня. Да, там есть богатый Екатеринбург, да, там есть Новосибирск, да, там есть Владивосток с его международной торговлей, но потребности в коммерческих ЦОДах нет.
Это классическая проблема курицы и яйца. Коммерческий ЦОД строить там невыгодно, потому что нет клиентов, а клиентов нет, потому что нет нормальных ЦОДов.
В регионах живут в основном каптивные ЦОДы. Это когда условная налоговая или какой-нибудь гигант вроде «Норникеля» строит объект чисто под себя. Им вообще всё равно, где строить: они делают по потребности, а не по условиям. Если госзаказчику по плану нужно построить ЦОД во Владимире или Ярославле — они построят там. Им не нужно бегать по рынку и искать заказчика, у них стопроцентная загрузка своими же расчётами или данными. Производственники могут построить хоть в тундре, и вопрос окупаемости за счёт внешних арендаторов там не стоит.
А вот если ты хочешь построить коммерческий объект для сдачи стоек в аренду, то тут вступают в силу другие законы. В регионах просто нет такого объёма экономики, чтобы окупить полномасштабный ЦОД. Считается, что в регионе есть смысл начинать стройку, только если у тебя есть предзаказ («якорь») минимум на 60% мощностей. Если этого нет, то ты построишь коробку, которая будет генерировать убытки.
Но начинается всё с дешёвого электричества, конечно. Оно важнее, чем аплинки.
Читать: https://habr.com/ru/companies/ruvds/articles/972332/
#ru
@database_design | Другие наши каналы
Как не перегрузить хост виртуализации бэкапами: добавляем аппаратные снапшоты уровня СХД
Выполнение множества задач резервного копирования одновременно приводит к резкому росту потребления ресурсов процессора, памяти, дисковой подсистемы на хосте виртуализации. В статье рассмотрим, как использование аппаратных моментальных снимков СХД снижает влияние резервного копирования на производительность хоста виртуализации VMware и помогает не терять в производительности рабочих виртуальных машин.
Читать: https://habr.com/ru/companies/cyberprotect/articles/972504/
#ru
@database_design | Другие наши каналы
Выполнение множества задач резервного копирования одновременно приводит к резкому росту потребления ресурсов процессора, памяти, дисковой подсистемы на хосте виртуализации. В статье рассмотрим, как использование аппаратных моментальных снимков СХД снижает влияние резервного копирования на производительность хоста виртуализации VMware и помогает не терять в производительности рабочих виртуальных машин.
Читать: https://habr.com/ru/companies/cyberprotect/articles/972504/
#ru
@database_design | Другие наши каналы
Гибкая ECS с кастомными layout-профилями: как я строил ECSS внутри своего игрового движка
Всем привет, я делаю свой пет-проект - игровой движок, и какой пет-проект без собственноручно сваренного велосипеда, так я и пришел к идее реализации своей ECS.
В этой статье я хочу рассказать простыми словами - что такое ECS, и как он эволюционно появился у меня.
Что такое ECS - Entity Component System (Сущность Компонент Система) - архитектура хранения данных, где логика - системы, явно отделена от данных - компонентов, которые объединены одним общим id - сущностью.
В двух словах, идея ECS заключается в том, чтобы навести порядок в игровом коде, и игровом мире - выделить все данные игровых объектов(сущностей), и желательно сделать это data-oriented (почему желательно я расскажу ниже).
Предположим, у вас в игре есть объект КУБ - квадратный, все стороны равны, все углы равны, классический такой КУБ. У него есть положение в мире (Transform) у него есть его кубический меш (Mesh), он умеет быть отрендеренным (IsRenderable), и, ко всему прочему, он еще и обладает какой-то своей кубической физикой (Physic).
Читать: https://habr.com/ru/articles/972708/
#ru
@database_design | Другие наши каналы
Всем привет, я делаю свой пет-проект - игровой движок, и какой пет-проект без собственноручно сваренного велосипеда, так я и пришел к идее реализации своей ECS.
В этой статье я хочу рассказать простыми словами - что такое ECS, и как он эволюционно появился у меня.
Что такое ECS - Entity Component System (Сущность Компонент Система) - архитектура хранения данных, где логика - системы, явно отделена от данных - компонентов, которые объединены одним общим id - сущностью.
В двух словах, идея ECS заключается в том, чтобы навести порядок в игровом коде, и игровом мире - выделить все данные игровых объектов(сущностей), и желательно сделать это data-oriented (почему желательно я расскажу ниже).
Предположим, у вас в игре есть объект КУБ - квадратный, все стороны равны, все углы равны, классический такой КУБ. У него есть положение в мире (Transform) у него есть его кубический меш (Mesh), он умеет быть отрендеренным (IsRenderable), и, ко всему прочему, он еще и обладает какой-то своей кубической физикой (Physic).
Читать: https://habr.com/ru/articles/972708/
#ru
@database_design | Другие наши каналы
ORM это Вьетнамcкая Война Компьютерных Наук
Данная публикация является переводом статьи Jeff-a Atwood-а почти 20-ти летней давности. Jeff Atwood, один из фаундеров StackOverFlow, написал эту статью как некоторое резюме того, как человечество боролось с проблемой O/R Impedance Mismatch.
Я частично принимаю участие в написании разных ORM решений, например, Spring Data JDBC / R2DBC, и скоро мы вместе с Haulmont проведем online событие (оно бесплатное) по Spring Data JDBC. Будем обсуждать Spring Data JDBC, что в ней хорошо а что в ней плохо. Какие trade-off-ы она имеет.
Я решил выпустить данный перевод с целью того, чтобы напомнить людям - silver bullet-а Spring Data JDBC не придумала. Она лишь заняла конкретную позицию по ряду вопросов, из чего следуют определённые ограничения и преимущества. Их мы и обсудим.
Читать: https://habr.com/ru/companies/spring_aio/articles/972316/
#ru
@database_design | Другие наши каналы
Данная публикация является переводом статьи Jeff-a Atwood-а почти 20-ти летней давности. Jeff Atwood, один из фаундеров StackOverFlow, написал эту статью как некоторое резюме того, как человечество боролось с проблемой O/R Impedance Mismatch.
Я частично принимаю участие в написании разных ORM решений, например, Spring Data JDBC / R2DBC, и скоро мы вместе с Haulmont проведем online событие (оно бесплатное) по Spring Data JDBC. Будем обсуждать Spring Data JDBC, что в ней хорошо а что в ней плохо. Какие trade-off-ы она имеет.
Я решил выпустить данный перевод с целью того, чтобы напомнить людям - silver bullet-а Spring Data JDBC не придумала. Она лишь заняла конкретную позицию по ряду вопросов, из чего следуют определённые ограничения и преимущества. Их мы и обсудим.
Читать: https://habr.com/ru/companies/spring_aio/articles/972316/
#ru
@database_design | Другие наши каналы
ORM это Вьетнамcкая Война Компьютерных Наук
Данная публикация является переводом статьи Jeff-a Atwood-а почти 20-ти летней давности. Jeff Atwood, один из фаундеров StackOverFlow, написал эту статью как некоторое резюме того, как человечество боролось с проблемой O/R Impedance Mismatch.
Я частично принимаю участие в написании разных ORM решений, например, Spring Data JDBC / R2DBC, и скоро мы вместе с Amplicode проведем online событие (оно бесплатное) по Spring Data JDBC. Будем обсуждать Spring Data JDBC, что в ней хорошо а что в ней плохо. Какие trade-off-ы она имеет.
Я решил выпустить данный перевод с целью того, чтобы напомнить людям - silver bullet-а Spring Data JDBC не придумала. Она лишь заняла конкретную позицию по ряду вопросов, из чего следуют определённые ограничения и преимущества. Их мы и обсудим.
Читать: https://habr.com/ru/companies/haulmont/articles/972316/
#ru
@database_design | Другие наши каналы
Данная публикация является переводом статьи Jeff-a Atwood-а почти 20-ти летней давности. Jeff Atwood, один из фаундеров StackOverFlow, написал эту статью как некоторое резюме того, как человечество боролось с проблемой O/R Impedance Mismatch.
Я частично принимаю участие в написании разных ORM решений, например, Spring Data JDBC / R2DBC, и скоро мы вместе с Amplicode проведем online событие (оно бесплатное) по Spring Data JDBC. Будем обсуждать Spring Data JDBC, что в ней хорошо а что в ней плохо. Какие trade-off-ы она имеет.
Я решил выпустить данный перевод с целью того, чтобы напомнить людям - silver bullet-а Spring Data JDBC не придумала. Она лишь заняла конкретную позицию по ряду вопросов, из чего следуют определённые ограничения и преимущества. Их мы и обсудим.
Читать: https://habr.com/ru/companies/haulmont/articles/972316/
#ru
@database_design | Другие наши каналы
Миграция ГИС ГМП: как мы перенесли сотни терабайт данных, не останавливая федеральный ресурс
Слышали о ГИС ГМП? Скорее всего, мало кто слышал. Зато точно видели, если:
— вам на Госуслуги приходила пошлина на оплату нового загранпаспорта
— вы получали уведомление о штрафе ГИБДД в банковском приложении
— вы узнавали состояние своего единого налогового счёта (ЕНС)
Чтобы всё это стало возможным, Федеральное Казначейство создало Государственную информационную систему о государственных и муниципальных платежах (ГИС ГМП). Именно она аккумулирует все назначенные людям и компаниям платежи и контролирует их оплату, сверяя платёжные поручения банков с начислениями.
Как вы думаете, много ли там начислений? А платежей? Сотни миллиардов.
В рамках импортозамещения нам в РТЛабс поставили задачу — мигрировать ГИС ГМП с базы данных Oracle на другую подходящую. Да-да, нам предстояло мигрировать систему, которая хранит сотни терабайт данных — кому и что было начислено, как и когда это оплатили.
Как нам это удалось? Именно об этом я и хочу рассказать. На связи Михаил Денисов — технический директор блока развития казначейских проектов.
Читать: https://habr.com/ru/companies/rtlabs/articles/972482/
#ru
@database_design | Другие наши каналы
Слышали о ГИС ГМП? Скорее всего, мало кто слышал. Зато точно видели, если:
— вам на Госуслуги приходила пошлина на оплату нового загранпаспорта
— вы получали уведомление о штрафе ГИБДД в банковском приложении
— вы узнавали состояние своего единого налогового счёта (ЕНС)
Чтобы всё это стало возможным, Федеральное Казначейство создало Государственную информационную систему о государственных и муниципальных платежах (ГИС ГМП). Именно она аккумулирует все назначенные людям и компаниям платежи и контролирует их оплату, сверяя платёжные поручения банков с начислениями.
Как вы думаете, много ли там начислений? А платежей? Сотни миллиардов.
В рамках импортозамещения нам в РТЛабс поставили задачу — мигрировать ГИС ГМП с базы данных Oracle на другую подходящую. Да-да, нам предстояло мигрировать систему, которая хранит сотни терабайт данных — кому и что было начислено, как и когда это оплатили.
Как нам это удалось? Именно об этом я и хочу рассказать. На связи Михаил Денисов — технический директор блока развития казначейских проектов.
Читать: https://habr.com/ru/companies/rtlabs/articles/972482/
#ru
@database_design | Другие наши каналы
Оптимизация работы с 1С в Postgres Pro: новые возможности
Стабильная и быстрая работа платформы «1С:Предприятие» — критически важный фактор для бизнеса. Команда Postgres Professional ведёт постоянную работу над совершенствованием ядра СУБД, устраняя архитектурные узкие места, которые проявляются при высоких нагрузках, характерных для 1С.
Недавно мы выпустили Postgres Pro Enterprise 17.6, куда добавили новый пакет улучшений для 1C.
Читать: https://habr.com/ru/companies/postgrespro/articles/972774/
#ru
@database_design | Другие наши каналы
Стабильная и быстрая работа платформы «1С:Предприятие» — критически важный фактор для бизнеса. Команда Postgres Professional ведёт постоянную работу над совершенствованием ядра СУБД, устраняя архитектурные узкие места, которые проявляются при высоких нагрузках, характерных для 1С.
Недавно мы выпустили Postgres Pro Enterprise 17.6, куда добавили новый пакет улучшений для 1C.
Читать: https://habr.com/ru/companies/postgrespro/articles/972774/
#ru
@database_design | Другие наши каналы
Нужно ли брать согласие на обработку ПД, когда клиент записывается по телефону или в мессенджере
ПД — персональные данные.
Пока в одних компаниях заставляют подписать согласие на обработку ПД даже «мимопроходил», другие не имеют точного представления, что это за документ и для чего он нужен.
Давайте прямо сейчас поставим жирную точку в этом вопросе. Разобраться — дело пяти минут. Засекайте.
Узнать, брать или не брать согласие
Читать: https://habr.com/ru/articles/972058/
#ru
@database_design | Другие наши каналы
ПД — персональные данные.
Пока в одних компаниях заставляют подписать согласие на обработку ПД даже «мимопроходил», другие не имеют точного представления, что это за документ и для чего он нужен.
Давайте прямо сейчас поставим жирную точку в этом вопросе. Разобраться — дело пяти минут. Засекайте.
Узнать, брать или не брать согласие
Читать: https://habr.com/ru/articles/972058/
#ru
@database_design | Другие наши каналы
Нужно ли брать согласие на обработку ПД, когда клиент записывается по телефону или в мессенджере
ПД — персональные данные.
Пока в одних компаниях заставляют подписать согласие на обработку ПД даже «мимопроходил», другие не имеют точного представления, что это за документ и для чего он нужен.
Давайте прямо сейчас поставим жирную точку в этом вопросе. Разобраться — дело пяти минут. Засекайте.
Узнать, брать или не брать согласие
Читать: https://habr.com/ru/articles/972058/
#ru
@database_design | Другие наши каналы
ПД — персональные данные.
Пока в одних компаниях заставляют подписать согласие на обработку ПД даже «мимопроходил», другие не имеют точного представления, что это за документ и для чего он нужен.
Давайте прямо сейчас поставим жирную точку в этом вопросе. Разобраться — дело пяти минут. Засекайте.
Узнать, брать или не брать согласие
Читать: https://habr.com/ru/articles/972058/
#ru
@database_design | Другие наши каналы
ClickHouse и внешние словари: как это работает и зачем нужно
Если вы работаете с ClickHouse, то наверняка слышали про такую фишку, как внешние словари. А если не слышали, самое время узнать, потому что эта штука способна творить чудеса с производительностью запросов и удобством архитектуры.
В этой статье разберем ее подробнее.
ClickHouse на практике
Читать: https://habr.com/ru/companies/otus/articles/971422/
#ru
@database_design | Другие наши каналы
Если вы работаете с ClickHouse, то наверняка слышали про такую фишку, как внешние словари. А если не слышали, самое время узнать, потому что эта штука способна творить чудеса с производительностью запросов и удобством архитектуры.
В этой статье разберем ее подробнее.
ClickHouse на практике
Читать: https://habr.com/ru/companies/otus/articles/971422/
#ru
@database_design | Другие наши каналы
Реализация TimescaleDB в Zabbix: преимущества, ключевые таблицы и установка
Всем привет! Мы делаем проекты по Zabbix, накопили большую экспертизу и решили сделать переводы нескольких статей, которые нам показались интересными и полезными. Наверняка, будут полезны и вам. Также своим опытом делимся в телеграм-канале zabbix_ru, где вы можете найти полезные материалы и записи наших вебинаров, опубликованных на нашем ютуб-канале (прим. переводчика). Ниже ссылки на предыдущие статьи из цикла.
Миграция с MySQL на PostgreSQL
SELinux: интеграция с Zabbix и другими инструментами
Защита от ложных срабатываний триггеров в Zabbix с использованием функций min/max/avg
Zabbix – автоматизация управления пользователями (JIT)
Zabbix — это надежное решение с открытым исходным кодом для мониторинга ИТ-инфраструктуры, позволяющее отслеживать и анализировать производительность сети, серверов, приложений и других компонентов. По мере роста объема данных эффективное управление временными рядами становится ключевым фактором. Поэтому, начиная с версии 5.0, Zabbix начал поддерживать TimescaleDB — расширение PostgreSQL, оптимизированное для временных рядов. В этой статье рассматриваются преимущества использования TimescaleDB в Zabbix, ключевые таблицы и процесс установки. Подробности под катом.
Читать: https://habr.com/ru/articles/970702/
#ru
@database_design | Другие наши каналы
Всем привет! Мы делаем проекты по Zabbix, накопили большую экспертизу и решили сделать переводы нескольких статей, которые нам показались интересными и полезными. Наверняка, будут полезны и вам. Также своим опытом делимся в телеграм-канале zabbix_ru, где вы можете найти полезные материалы и записи наших вебинаров, опубликованных на нашем ютуб-канале (прим. переводчика). Ниже ссылки на предыдущие статьи из цикла.
Миграция с MySQL на PostgreSQL
SELinux: интеграция с Zabbix и другими инструментами
Защита от ложных срабатываний триггеров в Zabbix с использованием функций min/max/avg
Zabbix – автоматизация управления пользователями (JIT)
Zabbix — это надежное решение с открытым исходным кодом для мониторинга ИТ-инфраструктуры, позволяющее отслеживать и анализировать производительность сети, серверов, приложений и других компонентов. По мере роста объема данных эффективное управление временными рядами становится ключевым фактором. Поэтому, начиная с версии 5.0, Zabbix начал поддерживать TimescaleDB — расширение PostgreSQL, оптимизированное для временных рядов. В этой статье рассматриваются преимущества использования TimescaleDB в Zabbix, ключевые таблицы и процесс установки. Подробности под катом.
Читать: https://habr.com/ru/articles/970702/
#ru
@database_design | Другие наши каналы
Как в 2026 году снизить стоимость разработки интеграций
На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». В этом году мы много работали над интеграциями для крупных и средних компаний. Одна из платформ, которую активно внедряем в проектах — DATAREON Platform. В процессе часто возникает потребность в автоматизации рутинных задач: генерации обработчиков, настройке коннекторов, работе с хранилищем. Расскажу, что есть сейчас для более простого и более дешевого переноса данных из 1С.
Читать: https://habr.com/ru/companies/w_code/articles/973144/
#ru
@database_design | Другие наши каналы
На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». В этом году мы много работали над интеграциями для крупных и средних компаний. Одна из платформ, которую активно внедряем в проектах — DATAREON Platform. В процессе часто возникает потребность в автоматизации рутинных задач: генерации обработчиков, настройке коннекторов, работе с хранилищем. Расскажу, что есть сейчас для более простого и более дешевого переноса данных из 1С.
Читать: https://habr.com/ru/companies/w_code/articles/973144/
#ru
@database_design | Другие наши каналы
От ClickHouse к StarRocks с разделением хранения и вычислений: практический апгрейд архитектуры UBT в Trip
This is a hands-on case study of migrating Trip’s UBT from ClickHouse to StarRocks with storage–compute separation. By redesigning partitioning, enabling DataCache and MergeCommit, and backfilling history via SparkLoad, we reduced average query latency from 1.4 s to 203 ms, P95 to 800 ms, cut storage from 2.6 PB to 1.2 PB, and decreased node count from 50 to 40. We detail Compaction tuning, partitioned materialized views, and second‑level elastic scaling without data migration, and compare gohangout vs. Flink in reliability and operability. The article targets data engineers and architects running high‑load real‑time OLAP workloads.
Читать: https://habr.com/ru/articles/973230/
#ru
@database_design | Другие наши каналы
This is a hands-on case study of migrating Trip’s UBT from ClickHouse to StarRocks with storage–compute separation. By redesigning partitioning, enabling DataCache and MergeCommit, and backfilling history via SparkLoad, we reduced average query latency from 1.4 s to 203 ms, P95 to 800 ms, cut storage from 2.6 PB to 1.2 PB, and decreased node count from 50 to 40. We detail Compaction tuning, partitioned materialized views, and second‑level elastic scaling without data migration, and compare gohangout vs. Flink in reliability and operability. The article targets data engineers and architects running high‑load real‑time OLAP workloads.
Читать: https://habr.com/ru/articles/973230/
#ru
@database_design | Другие наши каналы
Утечка сквозь уязвимость: как построить защиту приложения, чтобы данные не достались злоумышленникам
Утечки данных в мобильных приложениях могут происходить не только из-за внешних атак, но и из-за ошибок во внутренней архитектуре. Они могут возникать из-за использования внешних модулей или других инструментов, которые позволяют сократить время разработки. Но утечки и уязвимости грозят серьезными штрафами.
Как ликвидировать уязвимость
Читать: https://habr.com/ru/articles/973244/
#ru
@database_design | Другие наши каналы
Утечки данных в мобильных приложениях могут происходить не только из-за внешних атак, но и из-за ошибок во внутренней архитектуре. Они могут возникать из-за использования внешних модулей или других инструментов, которые позволяют сократить время разработки. Но утечки и уязвимости грозят серьезными штрафами.
Как ликвидировать уязвимость
Читать: https://habr.com/ru/articles/973244/
#ru
@database_design | Другие наши каналы
Зачем вообще использовать ORM?
Разработка софта всегда была поиском баланса между разными аспектами, вроде скорости разработки (как быстро ты выкатываешь новые фичи), производительности приложения, потребления им памяти, красотой интерфейса и отполированностью логики.
В большинстве случаев скорость разработки важнее, чем производительность и потребление памяти.
ORM — это как раз инструмент, экономящий время разработки. Но за счёт чего?
Читать: https://habr.com/ru/articles/973608/
#ru
@database_design | Другие наши каналы
Разработка софта всегда была поиском баланса между разными аспектами, вроде скорости разработки (как быстро ты выкатываешь новые фичи), производительности приложения, потребления им памяти, красотой интерфейса и отполированностью логики.
В большинстве случаев скорость разработки важнее, чем производительность и потребление памяти.
ORM — это как раз инструмент, экономящий время разработки. Но за счёт чего?
Читать: https://habr.com/ru/articles/973608/
#ru
@database_design | Другие наши каналы
Обследование инфраструктуры: первый шаг к быстрой и безопасной миграции ЦОД
Миграция ЦОД — не новая история. Казалось бы, про важность обследования инфраструктуры перед переездом уже знают все. Но на практике ошибки повторяются снова и снова — даже у тех, кто делает это не впервые.
Меня зовут Артём, я ведущий инженер департамента информационных технологий в iCore. В этой статье я постарался собрать ключевые моменты, на которые стоит обратить внимание при обследовании инфраструктуры перед миграцией. Надеюсь, это поможет избежать распространенных проблем и упростит процесс миграции.
Читать: https://habr.com/ru/companies/icore/articles/973710/
#ru
@database_design | Другие наши каналы
Миграция ЦОД — не новая история. Казалось бы, про важность обследования инфраструктуры перед переездом уже знают все. Но на практике ошибки повторяются снова и снова — даже у тех, кто делает это не впервые.
Меня зовут Артём, я ведущий инженер департамента информационных технологий в iCore. В этой статье я постарался собрать ключевые моменты, на которые стоит обратить внимание при обследовании инфраструктуры перед миграцией. Надеюсь, это поможет избежать распространенных проблем и упростит процесс миграции.
Читать: https://habr.com/ru/companies/icore/articles/973710/
#ru
@database_design | Другие наши каналы
Миграция высоконагруженной инфраструктуры без даунтайма: технические детали переезда Дзена на видеоплатформу VK
Привет, Хабр! Меня зовут Влад Почернин, я разработчик в команде видеоформатов Дзена. Сегодня я расскажу, как мы мигрировали контент Дзена на видеоплатформу VK — инфраструктуру, обслуживающую видеоконтент соцплатформ ВКонтакте и Одноклассники, а также видеосервисов VK Видео и VK Клипы.
Читать: https://habr.com/ru/companies/vk/articles/973184/
#ru
@database_design | Другие наши каналы
Привет, Хабр! Меня зовут Влад Почернин, я разработчик в команде видеоформатов Дзена. Сегодня я расскажу, как мы мигрировали контент Дзена на видеоплатформу VK — инфраструктуру, обслуживающую видеоконтент соцплатформ ВКонтакте и Одноклассники, а также видеосервисов VK Видео и VK Клипы.
Читать: https://habr.com/ru/companies/vk/articles/973184/
#ru
@database_design | Другие наши каналы