Расследуем фантомные чтения с диска в Linux
Не так давно один из наших пользователей сообщил нам о случае странного использования оборудования. Он при помощи с нашего клиента ILP (InfluxDB Line Protocol) вставлял строки в свою базу данных QuestDB, но вместе с операциями записи на диск также наблюдались существенные объёмы чтения с диска. Этого никак не ожидаешь от нагрузки, рассчитанной только на запись, поэтому нам нужно было докопаться до причины этой проблемы. Сегодня мы поделимся этой историей, полной взлётов и падений, а также магии ядра Linux.
Читать: https://habr.com/ru/companies/ruvds/articles/736538/
Не так давно один из наших пользователей сообщил нам о случае странного использования оборудования. Он при помощи с нашего клиента ILP (InfluxDB Line Protocol) вставлял строки в свою базу данных QuestDB, но вместе с операциями записи на диск также наблюдались существенные объёмы чтения с диска. Этого никак не ожидаешь от нагрузки, рассчитанной только на запись, поэтому нам нужно было докопаться до причины этой проблемы. Сегодня мы поделимся этой историей, полной взлётов и падений, а также магии ядра Linux.
Читать: https://habr.com/ru/companies/ruvds/articles/736538/
Как мы делали поддержку OpenStack в Кибер Бэкап 16
Привет, Хабр! Меня зовут Иван, я системный архитектор в компании Киберпротект. Сегодня, как и обещали во вводной статье, расскажем про платформу OpenStack и как мы сделали ее поддержку в нашем Кибер Бэкапе 16.
Читать: https://habr.com/ru/companies/cyberprotect/articles/736676/
Привет, Хабр! Меня зовут Иван, я системный архитектор в компании Киберпротект. Сегодня, как и обещали во вводной статье, расскажем про платформу OpenStack и как мы сделали ее поддержку в нашем Кибер Бэкапе 16.
Читать: https://habr.com/ru/companies/cyberprotect/articles/736676/
Вопросы для собеседования в Google для Data Scientist с ответами
Составили подборку из вопросов для собеседования Data Scientist, которые задают в Google, и ответили на них.
Читать: «Вопросы для собеседования в Google для Data Scientist с ответами»
Составили подборку из вопросов для собеседования Data Scientist, которые задают в Google, и ответили на них.
Читать: «Вопросы для собеседования в Google для Data Scientist с ответами»
Tproger
Вопросы и ответы для собеседования Data Scientist в Google
Составили подборку из вопросов для собеседования Data Scientist, которые задают в Google, и ответили на них.
Проектирование базы данных для самых маленьких — на примере кинотеатра
Рассказываем, как спроектировать базу данных, с рассуждениями в процессе, чтобы результат стал совершенно прозрачным.
Читать: «Проектирование базы данных для самых маленьких — на примере кинотеатра»
Рассказываем, как спроектировать базу данных, с рассуждениями в процессе, чтобы результат стал совершенно прозрачным.
Читать: «Проектирование базы данных для самых маленьких — на примере кинотеатра»
Tproger
Как спроектировать базу данных — на примере кинотеатра
Рассказываем, как спроектировать базу данных, с рассуждениями в процессе, чтобы результат стал совершенно прозрачным.
Проектирование базы данных для самых маленьких — на примере кинотеатра
Рассказываем, как спроектировать базу данных, с рассуждениями в процессе, чтобы результат стал совершенно прозрачным.
Читать: «Проектирование базы данных для самых маленьких — на примере кинотеатра»
Рассказываем, как спроектировать базу данных, с рассуждениями в процессе, чтобы результат стал совершенно прозрачным.
Читать: «Проектирование базы данных для самых маленьких — на примере кинотеатра»
Tproger
Как спроектировать базу данных — на примере кинотеатра
Рассказываем, как спроектировать базу данных, с рассуждениями в процессе, чтобы результат стал совершенно прозрачным.
Как мы распиливаем монолит без даунтайма
Всем привет!
На связи Михаил, и я продолжаю делиться историями про рефакторинг одного из сервисов облачной платформы #CloudMTS. В прошлый раз я рассказывал о том, как мы аккуратно раскладывали по папочкам код в соответствии с принципами чистой архитектуры. Сегодня поговорим о решении, которое позволяет нам распиливать монолит по кусочкам без простоев.
Вместо дисклеймера
Переход от монолита к микросервисной архитектуре — задача непростая. Особенно когда приложение уже в продуктиве. Пускаться в эту историю, потому что микросервисы — это стильно и молодежно, плохая затея. Стартуйте только тогда, когда преимущества трансформации будут очевидны и перевесят возможные издержки.
Наши причины перехода были следующими:
1. В монолите концентрировалось большое количество бизнес-процессов, которые охватывали сразу несколько потребителей: пользователей облачной платформы, сейлз-менеджеров (через CRM-систему), администраторов, обработчиков метрик. Получилась такая одна большая точка отказа сразу для 4 групп бизнес-процессов.
2. Каждый бизнес-процесс потребляет свой объем ресурсов. Например, для обработки метрик нужно 5 подов (чтобы запараллелить и ускорить обработку), для администрирования хватит и одного. Так как у нас все в одном сервисе, при масштабировании монолита мы будем ориентироваться на самый «прожорливый» бизнес-процесс. Часть ресурсов будет просто простаивать.
3. Хотелось добиться гранулярности, чтобы независимо писать и деплоить код для каждого бизнес-процесса. И не переживать, что какие-то изменения в одном бизнес-процессе неожиданно отрикошетят в соседний.
Читать: https://habr.com/ru/companies/cloud_mts/articles/736688/
Всем привет!
На связи Михаил, и я продолжаю делиться историями про рефакторинг одного из сервисов облачной платформы #CloudMTS. В прошлый раз я рассказывал о том, как мы аккуратно раскладывали по папочкам код в соответствии с принципами чистой архитектуры. Сегодня поговорим о решении, которое позволяет нам распиливать монолит по кусочкам без простоев.
Вместо дисклеймера
Переход от монолита к микросервисной архитектуре — задача непростая. Особенно когда приложение уже в продуктиве. Пускаться в эту историю, потому что микросервисы — это стильно и молодежно, плохая затея. Стартуйте только тогда, когда преимущества трансформации будут очевидны и перевесят возможные издержки.
Наши причины перехода были следующими:
1. В монолите концентрировалось большое количество бизнес-процессов, которые охватывали сразу несколько потребителей: пользователей облачной платформы, сейлз-менеджеров (через CRM-систему), администраторов, обработчиков метрик. Получилась такая одна большая точка отказа сразу для 4 групп бизнес-процессов.
2. Каждый бизнес-процесс потребляет свой объем ресурсов. Например, для обработки метрик нужно 5 подов (чтобы запараллелить и ускорить обработку), для администрирования хватит и одного. Так как у нас все в одном сервисе, при масштабировании монолита мы будем ориентироваться на самый «прожорливый» бизнес-процесс. Часть ресурсов будет просто простаивать.
3. Хотелось добиться гранулярности, чтобы независимо писать и деплоить код для каждого бизнес-процесса. И не переживать, что какие-то изменения в одном бизнес-процессе неожиданно отрикошетят в соседний.
Читать: https://habr.com/ru/companies/cloud_mts/articles/736688/
У HDD нет будущего? Погодите, не так быстро…
Будущее HDD зависит от того, кого спросить. Есть адепты SSD, которые не видят в «устаревшей» технологии HDD никаких перспектив. Действительно, SSD прогрессируют гораздо быстрее: это касается и технологического прогресса, и стоимости. Если экстраполировать нынешние темпы развития отрасли, то создаётся впечатление, что SSD вытеснят HDD во всех сферах применения в ближайшие десятилетия.
Но по факту этого не происходит.
Читать: https://habr.com/ru/companies/ruvds/articles/736924/
Будущее HDD зависит от того, кого спросить. Есть адепты SSD, которые не видят в «устаревшей» технологии HDD никаких перспектив. Действительно, SSD прогрессируют гораздо быстрее: это касается и технологического прогресса, и стоимости. Если экстраполировать нынешние темпы развития отрасли, то создаётся впечатление, что SSD вытеснят HDD во всех сферах применения в ближайшие десятилетия.
Но по факту этого не происходит.
Читать: https://habr.com/ru/companies/ruvds/articles/736924/
The MongoDB for VS Code Extension Is Now Generally Available
Read: https://www.mongodb.com/blog/post/mongodb-vs-code-extension-now-generally-available
Read: https://www.mongodb.com/blog/post/mongodb-vs-code-extension-now-generally-available
Introducing the Certified MongoDB Atlas Connector for Power BI
Read: https://www.mongodb.com/blog/post/introducing-certified-mongodb-atlas-connector-power-bi
Read: https://www.mongodb.com/blog/post/introducing-certified-mongodb-atlas-connector-power-bi
Using JSON documents and don’t know what you’re looking for? 23c Search Indexes to the rescue
Oracle has powerful capabilities for handling JSON. It also has flexible capabilities for full-text searching, like keyword search, phrase search, or proximity search. We're going to see how these capabilities meet in the JSON search index to provide the powerful functionality of full text search in an optimized manner for all your JSON documents
Read: https://blogs.oracle.com/database/post/23c-search-index
Oracle has powerful capabilities for handling JSON. It also has flexible capabilities for full-text searching, like keyword search, phrase search, or proximity search. We're going to see how these capabilities meet in the JSON search index to provide the powerful functionality of full text search in an optimized manner for all your JSON documents
Read: https://blogs.oracle.com/database/post/23c-search-index
Oracle
Using JSON documents and don’t know what you’re looking for? 23c Search Indexes to the rescue
Oracle has powerful capabilities for handling JSON. It also has flexible capabilities for full-text searching, like keyword search, phrase search, or proximity search. We're going to see how these capabilities meet in the JSON search index to provide the…
Мёртв ли последовательный ввод-вывод в эпоху накопителей NVMe?
Две системы, которые я хорошо знаю (Apache BookKeeper и Apache Kafka) проектировались в эпоху дисковых накопителей: жёстких дисков, или HDD. Жёсткие диски хорошо справляются с последовательным вводом-выводом, но не очень хороши в произвольном вводе-выводе из-за относительно большого времени поиска. Неудивительно, что и Kafka, и BookKeeper проектировались с расчётом на последовательный ввод-вывод.
И Kafka, и BookKeeper — это распределённые системы логирования, поэтому можно представить, что последовательный ввод-вывод будет стандартным режимом для системы хранения логов с возможностью только дополнения. Но последовательный и произвольный ввод-вывод находятся в спектре, где на одном краю расположен чисто последовательный, а на другом — чисто произвольный ввод-вывод. Если у вас есть пять тысяч файлов, которые вы дописываете небольшими циклическими операциями записи, и выполняете fsync, то это не такой уж последовательный паттерн доступа, он находится ближе к произвольному вводу-выводу. То есть если вы только дополняете логи, это не означает автоматически, что вы получаете последовательный ввод-вывод.
Читать: https://habr.com/ru/companies/ruvds/articles/737284/
Две системы, которые я хорошо знаю (Apache BookKeeper и Apache Kafka) проектировались в эпоху дисковых накопителей: жёстких дисков, или HDD. Жёсткие диски хорошо справляются с последовательным вводом-выводом, но не очень хороши в произвольном вводе-выводе из-за относительно большого времени поиска. Неудивительно, что и Kafka, и BookKeeper проектировались с расчётом на последовательный ввод-вывод.
И Kafka, и BookKeeper — это распределённые системы логирования, поэтому можно представить, что последовательный ввод-вывод будет стандартным режимом для системы хранения логов с возможностью только дополнения. Но последовательный и произвольный ввод-вывод находятся в спектре, где на одном краю расположен чисто последовательный, а на другом — чисто произвольный ввод-вывод. Если у вас есть пять тысяч файлов, которые вы дописываете небольшими циклическими операциями записи, и выполняете fsync, то это не такой уж последовательный паттерн доступа, он находится ближе к произвольному вводу-выводу. То есть если вы только дополняете логи, это не означает автоматически, что вы получаете последовательный ввод-вывод.
Читать: https://habr.com/ru/companies/ruvds/articles/737284/
👍1
Как настроить миграцию etcd между облачными кластерами Kubernetes и избежать простоев
Допустим, вам нужно перенести хранилище данных из одного кластера в другой. А выключать его нельзя, потому что это может вызвать незначительный (или значительный) коллапс сервисов, которые с ним работают. В статье мы расскажем о не самом очевидном и популярном способе переноса etcd из одного облачного кластера Kubernetes в другой. Такой способ поможет избежать простоя и связанных с ним последствий. Согласно стартовым условиям, оба кластера находятся в облаке, а потому нам предстоит столкнуться с некоторыми ограничениями и трудностями — им мы уделим особое внимание.
Читать: https://habr.com/ru/companies/flant/articles/737204/
Допустим, вам нужно перенести хранилище данных из одного кластера в другой. А выключать его нельзя, потому что это может вызвать незначительный (или значительный) коллапс сервисов, которые с ним работают. В статье мы расскажем о не самом очевидном и популярном способе переноса etcd из одного облачного кластера Kubernetes в другой. Такой способ поможет избежать простоя и связанных с ним последствий. Согласно стартовым условиям, оба кластера находятся в облаке, а потому нам предстоит столкнуться с некоторыми ограничениями и трудностями — им мы уделим особое внимание.
Читать: https://habr.com/ru/companies/flant/articles/737204/
Мир. Труд. Майпу. Или как мы тестировали китайскую СХД
Чем заменить на санкционном безрыбье системы хранения данных Dell, HPE, Huawei и других покинувших нас вендоров? Мы уже долго изучаем этот вопрос и протестировали большинство доступных альтернатив enterprise-уровня.
И что думаете? Кажется, нашли приемлемое решение — СХД китайского вендора Maipu с привычными функциями, перспективными возможностями и не только. Мы привезли его в лабораторию и первыми на российском рынке протестировали — срочно делимся впечатлениями и результатами.
Читать: https://habr.com/ru/companies/k2tech/articles/737564/
Чем заменить на санкционном безрыбье системы хранения данных Dell, HPE, Huawei и других покинувших нас вендоров? Мы уже долго изучаем этот вопрос и протестировали большинство доступных альтернатив enterprise-уровня.
И что думаете? Кажется, нашли приемлемое решение — СХД китайского вендора Maipu с привычными функциями, перспективными возможностями и не только. Мы привезли его в лабораторию и первыми на российском рынке протестировали — срочно делимся впечатлениями и результатами.
Читать: https://habr.com/ru/companies/k2tech/articles/737564/
Когда данных слишком много… как оптимизировать хранение
Каждый день человечество генерирует порядка 330 млн терабайт данных. Хотя по оценкам экспертов Google всего 10% из них являются свежими и оригинальными, даже копии копий нужно где-то хранить. И эта задача имеет ряд нюансов. Здесь уместно провести аналогию с известным транспортным парадоксом: чем больше дорог строится, тем больше образуется автомобилей, чтобы заполнить их (постулат Льюиса — Могриджа).
Недостаточно построить очень много дата-центров. Один из наиболее очевидных способов сэкономить на хранении данных — это архивирование файлов и сжатие изображений. Есть и другие подходы, которые помогают записать больше данных на диск и быстрее их обрабатывать.
Читать: https://habr.com/ru/companies/cloud_mts/articles/737514/
Каждый день человечество генерирует порядка 330 млн терабайт данных. Хотя по оценкам экспертов Google всего 10% из них являются свежими и оригинальными, даже копии копий нужно где-то хранить. И эта задача имеет ряд нюансов. Здесь уместно провести аналогию с известным транспортным парадоксом: чем больше дорог строится, тем больше образуется автомобилей, чтобы заполнить их (постулат Льюиса — Могриджа).
Недостаточно построить очень много дата-центров. Один из наиболее очевидных способов сэкономить на хранении данных — это архивирование файлов и сжатие изображений. Есть и другие подходы, которые помогают записать больше данных на диск и быстрее их обрабатывать.
Читать: https://habr.com/ru/companies/cloud_mts/articles/737514/
Accelerating to T+1 - Have You Got the Speed and Agility Required to Meet the Deadline?
Read: https://www.mongodb.com/blog/post/accelerating-t-plus-one-have-you-got-speed-agility-required-meet-deadline
Read: https://www.mongodb.com/blog/post/accelerating-t-plus-one-have-you-got-speed-agility-required-meet-deadline
Develop MongoDB Applications with Oracle Autonomous Database on Dedicated Exadata Infrastructure
The blog post showcases the Oracle Database API for MongoDB, enabling integration between MongoDB and Autonomous Database. It highlights the benefits of leveraging ADB's converged capabilities, provides configuration instructions, and demonstrates MongoDB collection migration. The post emphasizes using familiar MongoDB tools while harnessing the power of a converged database, enabling SQL on JSON collections.
Read: https://blogs.oracle.com/database/post/adb-d-mongodb-api
The blog post showcases the Oracle Database API for MongoDB, enabling integration between MongoDB and Autonomous Database. It highlights the benefits of leveraging ADB's converged capabilities, provides configuration instructions, and demonstrates MongoDB collection migration. The post emphasizes using familiar MongoDB tools while harnessing the power of a converged database, enabling SQL on JSON collections.
Read: https://blogs.oracle.com/database/post/adb-d-mongodb-api
Oracle
Developing MongoDB Applications with Oracle Autonomous Database on Dedicated Exadata Infrastructure
The blog post discusses the Oracle Database API for MongoDB, enabling integration between MongoDB and Autonomous Database. It highlights the benefits of leveraging ADB's advanced capabilities, provides configuration instructions, and demonstrates MongoDB…
Как в 3 раза снизить затраты на отказоустойчивую инфраструктуру, переехав с Hazelcast на Redis
Redis на хайпе. Но мы переехали на него с Hazelcast не из-за этого, а потому, что в какой-то момент осознали, что не замечать сколько инцидентов у нас возникает из-за Hazelcast, дальше невозможно. Сегодня расскажу вам замечательную историю как мы всем Альфа-Мобайлом сменяли одну технологию на другую.
Читать: https://habr.com/ru/companies/alfa/articles/737630/
Redis на хайпе. Но мы переехали на него с Hazelcast не из-за этого, а потому, что в какой-то момент осознали, что не замечать сколько инцидентов у нас возникает из-за Hazelcast, дальше невозможно. Сегодня расскажу вам замечательную историю как мы всем Альфа-Мобайлом сменяли одну технологию на другую.
Читать: https://habr.com/ru/companies/alfa/articles/737630/
Чей DAX сильнее? …или почему каждый пользователь должен влиять на развитие платформы
Привет, Хабр! В этом посте мне хотелось бы поговорить о том, каким образом мы развиваем платформу, и откуда появляются новые функции в Visiology. В большей степени сейчас это касается развития поддержки DAX в третьей версии платформы. Но сама практика появилась не на пустом месте, и сегодня мы как раз обсудим, как команда разработчиков выбирает, какие новые фичи стоит включить в Visiology, зачем мы запустили сбор кейсов для реализации на DAXе, и что можно увидеть на вебинарах Visiology, которые посвящены развитию аналитического движка в Visiology 3.
Читать: https://habr.com/ru/companies/visiology/articles/738456/
Привет, Хабр! В этом посте мне хотелось бы поговорить о том, каким образом мы развиваем платформу, и откуда появляются новые функции в Visiology. В большей степени сейчас это касается развития поддержки DAX в третьей версии платформы. Но сама практика появилась не на пустом месте, и сегодня мы как раз обсудим, как команда разработчиков выбирает, какие новые фичи стоит включить в Visiology, зачем мы запустили сбор кейсов для реализации на DAXе, и что можно увидеть на вебинарах Visiology, которые посвящены развитию аналитического движка в Visiology 3.
Читать: https://habr.com/ru/companies/visiology/articles/738456/