Clickhouse: прогулки по граблям
Добрый день, Хабр!
Меня зовут Олег, я являюсь Backend-разработчиком в IT-компании «Философт» последние полтора года. Мы занимаемся разработкой платформы для жителей, подключённых к нашей системе, которая призвана помочь взаимодействовать с различными «умными» устройствами, коммуницировать с управляющей компанией, оплачивать счета ЖКХ и т.п.
Изначально разработка велась силами подрядчиков, оставивших после себя крайне посредственного качества монолит, который мы с коллегами приводим в приличный вид, постепенно распиливая на модули, а также занимаемся внедрением новых возможностей и интеграций. Одной из областей взаимодействия с пользователями является отображение показаний приборов учёта (электричество, водоснабжение и т.п.). Не так давно эта область кода была подвергнута достаточно масштабному рефакторингу и переработке, в рамках чего и состоялось наше знакомство с БД Clickhouse.
Читать: https://habr.com/ru/articles/776838/
Добрый день, Хабр!
Меня зовут Олег, я являюсь Backend-разработчиком в IT-компании «Философт» последние полтора года. Мы занимаемся разработкой платформы для жителей, подключённых к нашей системе, которая призвана помочь взаимодействовать с различными «умными» устройствами, коммуницировать с управляющей компанией, оплачивать счета ЖКХ и т.п.
Изначально разработка велась силами подрядчиков, оставивших после себя крайне посредственного качества монолит, который мы с коллегами приводим в приличный вид, постепенно распиливая на модули, а также занимаемся внедрением новых возможностей и интеграций. Одной из областей взаимодействия с пользователями является отображение показаний приборов учёта (электричество, водоснабжение и т.п.). Не так давно эта область кода была подвергнута достаточно масштабному рефакторингу и переработке, в рамках чего и состоялось наше знакомство с БД Clickhouse.
Читать: https://habr.com/ru/articles/776838/
SQL HowTo: TOP-N на субинтервалах
Периодически сталкиваюсь с однотипными задачами вида "показать TOP-N позиций на каждом из вложенных интервалов некоторого периода".
Это может быть "5 лучших по успеваемости студентов в каждом семестре за последний учебный год", или "помесячная динамика позиции 10 наиболее продающихся товаров", или, как у нас в сервисе визуализации PostgreSQL-планов explain.tensor.ru, "3 наиболее активных страны за каждый день":
Читать: https://habr.com/ru/companies/tensor/articles/776834/
Периодически сталкиваюсь с однотипными задачами вида "показать TOP-N позиций на каждом из вложенных интервалов некоторого периода".
Это может быть "5 лучших по успеваемости студентов в каждом семестре за последний учебный год", или "помесячная динамика позиции 10 наиболее продающихся товаров", или, как у нас в сервисе визуализации PostgreSQL-планов explain.tensor.ru, "3 наиболее активных страны за каждый день":
Читать: https://habr.com/ru/companies/tensor/articles/776834/
64-битных переменных для банковского счёта «хватит всем»?
«640 КБ хватит всем», — предположительно Билл Гейтс, примерно 1981 год.
Мы решили, что в нашей системе управления финансовыми базами данных TigerBeetle для хранения всех финансовых сумм и балансов будут использоваться 128-битные числа, и что мы откажемся 64-битных целых чисел. Хотя кто-то может заявить, что 64-битного integer, способного хранить в себе целые числа от нуля до 264, достаточно для подсчёта всех песчинок на Земле, мы осознали, что для адекватного хранения всех транзакций нам нужно подняться выше того предела. И в статье мы расскажем, почему.
Читать: https://habr.com/ru/articles/776192/
«640 КБ хватит всем», — предположительно Билл Гейтс, примерно 1981 год.
Мы решили, что в нашей системе управления финансовыми базами данных TigerBeetle для хранения всех финансовых сумм и балансов будут использоваться 128-битные числа, и что мы откажемся 64-битных целых чисел. Хотя кто-то может заявить, что 64-битного integer, способного хранить в себе целые числа от нуля до 264, достаточно для подсчёта всех песчинок на Земле, мы осознали, что для адекватного хранения всех транзакций нам нужно подняться выше того предела. И в статье мы расскажем, почему.
Читать: https://habr.com/ru/articles/776192/
MongoDB ora disponibile nella convenzione Consip: una svolta per la Pubblica Amministrazione
MongoDB is now available in the Consip convention, which is a breakthrough for the Public Administration in Italy. This allows public administrations to purchase MongoDB easily and quickly without the need for a bidding process. MongoDB is a NoSQL database that is scalable and flexible, making it ideal for managing large amounts of data in a secure and efficient way. The inclusion of MongoDB in the Consip convention offers several advantages for the Public Administration, including increased flexibility in developing digital applications, the ability to handle large volumes of data, and support for modern architectures and API-first approach. The text announces that MongoDB Atlas now has availability in 27 AWS regions, offering benefits such as reduced latency and compliance with data sovereignty regulations. The AWS CDK has introduced new L3 resources, including support for MongoDB Atlas Serverless. The migration of AWS CloudFormation resources to the Atlas Go SDK has accelerated development and will allow for the timely publication of more MongoDB Atlas resources on AWS CloudFormation. These integrations are free and open-source, with users only paying for underlying MongoDB Atlas and AWS resources. MongoDB Atlas and AWS CloudFormation provide a faster and easier way to start building applications.
Read: https://www.mongodb.com/blog/post/mongodb-now-available-consip-agreement-turning-point-public-sector-administration-it
MongoDB is now available in the Consip convention, which is a breakthrough for the Public Administration in Italy. This allows public administrations to purchase MongoDB easily and quickly without the need for a bidding process. MongoDB is a NoSQL database that is scalable and flexible, making it ideal for managing large amounts of data in a secure and efficient way. The inclusion of MongoDB in the Consip convention offers several advantages for the Public Administration, including increased flexibility in developing digital applications, the ability to handle large volumes of data, and support for modern architectures and API-first approach. The text announces that MongoDB Atlas now has availability in 27 AWS regions, offering benefits such as reduced latency and compliance with data sovereignty regulations. The AWS CDK has introduced new L3 resources, including support for MongoDB Atlas Serverless. The migration of AWS CloudFormation resources to the Atlas Go SDK has accelerated development and will allow for the timely publication of more MongoDB Atlas resources on AWS CloudFormation. These integrations are free and open-source, with users only paying for underlying MongoDB Atlas and AWS resources. MongoDB Atlas and AWS CloudFormation provide a faster and easier way to start building applications.
Read: https://www.mongodb.com/blog/post/mongodb-now-available-consip-agreement-turning-point-public-sector-administration-it
Building AI with MongoDB: Retrieval-Augmented Generation (RAG) Puts Power in Developers’ Hands
Read: https://www.mongodb.com/blog/post/building-ai-retrieval-augmented-generation-rag-puts-power-developers-hand
Read: https://www.mongodb.com/blog/post/building-ai-retrieval-augmented-generation-rag-puts-power-developers-hand
A Year of Thrill: Celebrating the New MongoDB University
Read: https://www.mongodb.com/blog/post/year-of-thrill-celebrating-new-mongodb-university
Read: https://www.mongodb.com/blog/post/year-of-thrill-celebrating-new-mongodb-university
Разгоняем Ignite в облачной инфраструктуре. Часть 1
Привет, Хабр! На связи Дмитрий Пшевский @pshevskiy и Семен Попов @samansay, технические лидеры юнита Data в Сбере.
Уже более 6 лет мы заботимся о клиентских данных Сбера — храним, дедублицируем, стандартизируем, маркируем. А сегодня хотим поговорить о производительности сервисов при работе с Ignite или другой подобной системой из облачной инфраструктуры. Мы не будем рассматривать аспекты развертывания и оптимизации работы самого кластера и обсудим производительность сервисов именно на прикладном уровне. Расскажем про сложности перехода на микросервисную архитектуру, работу с толстым и тонким клиентом и отказ от транзакций. Эта статья — обзор нашего доклада на JPoint 2023.
Читать: https://habr.com/ru/companies/sberbank/articles/777162/
Привет, Хабр! На связи Дмитрий Пшевский @pshevskiy и Семен Попов @samansay, технические лидеры юнита Data в Сбере.
Уже более 6 лет мы заботимся о клиентских данных Сбера — храним, дедублицируем, стандартизируем, маркируем. А сегодня хотим поговорить о производительности сервисов при работе с Ignite или другой подобной системой из облачной инфраструктуры. Мы не будем рассматривать аспекты развертывания и оптимизации работы самого кластера и обсудим производительность сервисов именно на прикладном уровне. Расскажем про сложности перехода на микросервисную архитектуру, работу с толстым и тонким клиентом и отказ от транзакций. Эта статья — обзор нашего доклада на JPoint 2023.
Читать: https://habr.com/ru/companies/sberbank/articles/777162/
India: A Cornerstone of Growth for MongoDB Technical Services
Read: https://www.mongodb.com/blog/post/cornerstone-growth-for-mongodb-technical-services
Read: https://www.mongodb.com/blog/post/cornerstone-growth-for-mongodb-technical-services
MongoDB Doubles Down on Aotearoa as Part of Continued APAC Expansion
Read: https://www.mongodb.com/blog/post/mongodb-doubles-down-aotearoa-part-continued-apac-expansion
Read: https://www.mongodb.com/blog/post/mongodb-doubles-down-aotearoa-part-continued-apac-expansion
Выбор информационной системы для автоматизации вашей бизнес-задачи – разбираемся вместе с GlowByte
Вопрос автоматизации бизнес-процессов всегда был актуален для большого количества современных компаний, и в последние несколько лет тренд на автоматизацию набирает всё большие обороты.
Информационные системы (ИС) позволяют повысить качество бизнес-процессов компании, в том числе связанных со стратегическим планированием, прогнозированием и оценкой эффективности бизнеса в целом.
На рынке существует множество ИС, которые позиционируют себя как продукты, способные решить подобные задачи. В аббревиатурах вообще можно запутаться (BI, ERP, CRM, CPM, EPM, BPM и т. д.). Все эти аббревиатуры, на самом деле, представляют очень разные типы информационных систем, и надо бы разобраться, какой из них подходит под вашу конкретную задачу. При этом внутри каждого типа существует большой выбор различных вендоров, и вопрос выбора становится ещё менее очевидным: не погружённому в специфику продуктов пользователю далеко не всегда понятно, сможет ли конкретная система полностью удовлетворить запрос именно его компании.
Мы – направление FI (Financial Intelligence) компании GlowByte, специализируемся на внедрении информационных систем, знаем особенности, плюсы и минусы каждой. Этой статьёй мы начинаем цикл публикаций о том, как сделать автоматизацию бизнес-процессов эффективной, безболезненной и успешной. Всё, о чём мы будем писать, основано на личном опыте внедрения. Специалисты нашей команды имеют опыт внедрений в различных отраслях и спецификах, а также являются обладателями сертификатов DipIFR и CIMA, поэтому нам легко понять язык заказчика, прочувствовать все его “боли” и оценить, какой из существующих на рынке продуктов лучше всего подойдёт в каждом конкретном случае.
Читать: https://habr.com/ru/companies/glowbyte/articles/777496/
Вопрос автоматизации бизнес-процессов всегда был актуален для большого количества современных компаний, и в последние несколько лет тренд на автоматизацию набирает всё большие обороты.
Информационные системы (ИС) позволяют повысить качество бизнес-процессов компании, в том числе связанных со стратегическим планированием, прогнозированием и оценкой эффективности бизнеса в целом.
На рынке существует множество ИС, которые позиционируют себя как продукты, способные решить подобные задачи. В аббревиатурах вообще можно запутаться (BI, ERP, CRM, CPM, EPM, BPM и т. д.). Все эти аббревиатуры, на самом деле, представляют очень разные типы информационных систем, и надо бы разобраться, какой из них подходит под вашу конкретную задачу. При этом внутри каждого типа существует большой выбор различных вендоров, и вопрос выбора становится ещё менее очевидным: не погружённому в специфику продуктов пользователю далеко не всегда понятно, сможет ли конкретная система полностью удовлетворить запрос именно его компании.
Мы – направление FI (Financial Intelligence) компании GlowByte, специализируемся на внедрении информационных систем, знаем особенности, плюсы и минусы каждой. Этой статьёй мы начинаем цикл публикаций о том, как сделать автоматизацию бизнес-процессов эффективной, безболезненной и успешной. Всё, о чём мы будем писать, основано на личном опыте внедрения. Специалисты нашей команды имеют опыт внедрений в различных отраслях и спецификах, а также являются обладателями сертификатов DipIFR и CIMA, поэтому нам легко понять язык заказчика, прочувствовать все его “боли” и оценить, какой из существующих на рынке продуктов лучше всего подойдёт в каждом конкретном случае.
Читать: https://habr.com/ru/companies/glowbyte/articles/777496/
Резервное копирование в Kubernetes с помощью K8up и Kasten K10 by Veeam
Разработчикам и системным администраторам важно обеспечивать надежность и доступность данных в приложениях Kubernetes. Несмотря на высокую степень автоматизации и управления контейнерами, всегда остаются риски сбоев или человеческих ошибок — поэтому необходимо заранее задуматься о резервном копировании.
Меня зовут Филипп, я системный администратор в отделе Data- и ML-продуктов Selectel. В этой статье постараюсь раскрыть, какие есть решения для резервного копирования в Kubernetes, и на простом примере покажу, как с ними работать. Подробности под катом.
Читать: https://habr.com/ru/companies/selectel/articles/777414/
Разработчикам и системным администраторам важно обеспечивать надежность и доступность данных в приложениях Kubernetes. Несмотря на высокую степень автоматизации и управления контейнерами, всегда остаются риски сбоев или человеческих ошибок — поэтому необходимо заранее задуматься о резервном копировании.
Меня зовут Филипп, я системный администратор в отделе Data- и ML-продуктов Selectel. В этой статье постараюсь раскрыть, какие есть решения для резервного копирования в Kubernetes, и на простом примере покажу, как с ними работать. Подробности под катом.
Читать: https://habr.com/ru/companies/selectel/articles/777414/
Перенести терабайты канбан-досок в облако: опыт команды Yandex Tracker
Привет, меня зовут Мария Карпенко, я разработчик в команде Yandex Tracker — сервиса для управления процессами и проектами. Внутри Яндекса сервис используется для постановки задач практически во всех командах, так что общее количество событий по задачам исчисляется уже миллиардами.
Как внутренний сервис Tracker существует с 2012 года, и старые инстансы исторически использовали базы данных on-premise. Но к 2023 году многие части даже из списка легаси должны были переехать в облако — и нам понадобилось продумать бесшовный переезд для достаточно объёмных БД.
В этой статье расскажу, как мы решили эту задачу, — рассказ будет интересен всем, кто планирует переезд в облачную инфраструктуру.
Читать: https://habr.com/ru/companies/yandex_cloud_and_infra/articles/776966/
Привет, меня зовут Мария Карпенко, я разработчик в команде Yandex Tracker — сервиса для управления процессами и проектами. Внутри Яндекса сервис используется для постановки задач практически во всех командах, так что общее количество событий по задачам исчисляется уже миллиардами.
Как внутренний сервис Tracker существует с 2012 года, и старые инстансы исторически использовали базы данных on-premise. Но к 2023 году многие части даже из списка легаси должны были переехать в облако — и нам понадобилось продумать бесшовный переезд для достаточно объёмных БД.
В этой статье расскажу, как мы решили эту задачу, — рассказ будет интересен всем, кто планирует переезд в облачную инфраструктуру.
Читать: https://habr.com/ru/companies/yandex_cloud_and_infra/articles/776966/
How Atlas Edge Server Bridges the Gap Between Connected Retail Store and the Cloud
Read: https://www.mongodb.com/blog/post/how-atlas-edge-server-bridges-gap-between-connected-retail-store-cloud
Read: https://www.mongodb.com/blog/post/how-atlas-edge-server-bridges-gap-between-connected-retail-store-cloud
Atlas Vector Search comanda o NPS de desenvolvedor mais alto na pesquisa Retool State of AI 2023
Read: https://www.mongodb.com/blog/post/atlas-vector-search-commands-highest-developer-nps-retool-state-ai-2023-survey-br
Read: https://www.mongodb.com/blog/post/atlas-vector-search-commands-highest-developer-nps-retool-state-ai-2023-survey-br
👍1
Современные типы архитектуры данных: Погружение в различные подходы к построению хранилищ данных
В данной статье мы рассмотрим ключевые аспекты различных типов хранилищ данных, которые помогут оптимизировать процессы управления данными в вашей компании.
Подробнее
Читать: https://habr.com/ru/articles/778034/
В данной статье мы рассмотрим ключевые аспекты различных типов хранилищ данных, которые помогут оптимизировать процессы управления данными в вашей компании.
Подробнее
Читать: https://habr.com/ru/articles/778034/
Инструкция по переезду и миграции данных с Google Firebase на Self-hosted Supabase
Всем доброго дня! Комментарии к моей предыдущей статье о том, как я развиваю свой pet-проект, а также различные законы, подразумевающие локализацию персональных данных на серверах, размещенных на территории РФ (в частности Федеральный закон от 21.07.2014 № 242-ФЗ «О внесении изменений в отдельные законодательные акты Российской Федерации в части уточнения порядка обработки персональных данных в информационно-телекоммуникационных сетях»), озадачили меня идеей постепенного перевода всех данных приложения в РФ. В качестве сервера БД я отдал предпочтение сервису Supabase, который легко разворачивается в Docker на сервере.
В данном туториале я хочу обзорно пройтись по сравнению двух сервисов, представляющих собой не только СУБД, а BaaS (backend as a service), но внимание заострю именно на работе с данными, постараясь сравнить их функционал, производительность и простоту использования. Также приведу примеры обработки получения, обновления и удаления данных в Google Firebase Realtime Database и Supabase Realtime Database на JavaScript.
Стоит сразу сделать оговорку, что Realtime Database от Firebase - это облачная БД для хранения и синхронизации данных в реальном времени, в то время как БД от Supabase хоть и является её аналогом, но позволяет хостить базу данных самостоятельно ("под капотом" у Supabase располагается объектно-реляционная СУБД PostgreSQL).
Мы рассмотрим шаги, необходимые для переноса данных и обсудим примеры кода для реализации этого процесса.
Читать: https://habr.com/ru/articles/778126/
Всем доброго дня! Комментарии к моей предыдущей статье о том, как я развиваю свой pet-проект, а также различные законы, подразумевающие локализацию персональных данных на серверах, размещенных на территории РФ (в частности Федеральный закон от 21.07.2014 № 242-ФЗ «О внесении изменений в отдельные законодательные акты Российской Федерации в части уточнения порядка обработки персональных данных в информационно-телекоммуникационных сетях»), озадачили меня идеей постепенного перевода всех данных приложения в РФ. В качестве сервера БД я отдал предпочтение сервису Supabase, который легко разворачивается в Docker на сервере.
В данном туториале я хочу обзорно пройтись по сравнению двух сервисов, представляющих собой не только СУБД, а BaaS (backend as a service), но внимание заострю именно на работе с данными, постараясь сравнить их функционал, производительность и простоту использования. Также приведу примеры обработки получения, обновления и удаления данных в Google Firebase Realtime Database и Supabase Realtime Database на JavaScript.
Стоит сразу сделать оговорку, что Realtime Database от Firebase - это облачная БД для хранения и синхронизации данных в реальном времени, в то время как БД от Supabase хоть и является её аналогом, но позволяет хостить базу данных самостоятельно ("под капотом" у Supabase располагается объектно-реляционная СУБД PostgreSQL).
Мы рассмотрим шаги, необходимые для переноса данных и обсудим примеры кода для реализации этого процесса.
Читать: https://habr.com/ru/articles/778126/
❤1
Vector Search and Dedicated Search Nodes: Now in General Availability
Read: https://www.mongodb.com/blog/post/dedicated-search-nodes-vector-search-now-in-general-availability
Read: https://www.mongodb.com/blog/post/dedicated-search-nodes-vector-search-now-in-general-availability
Три года с импортозамещенной виртуализацией: опыт использования РОСПЛАТФОРМЫ
Привет, Хабр! Меня зовут Михаил Терехин, я начальник ИТ‑отдела в ООО «РСХБ‑Финансовые консультации» — дочерней компании Россельхозбанка. Сегодня поделюсь с вами ощущениями от использования отечественной системы виртуализации РОСПЛАТФОРМА и тем, как мы переводили на нее нашу компанию.
Читать: https://habr.com/ru/companies/rshb/articles/778274/
Привет, Хабр! Меня зовут Михаил Терехин, я начальник ИТ‑отдела в ООО «РСХБ‑Финансовые консультации» — дочерней компании Россельхозбанка. Сегодня поделюсь с вами ощущениями от использования отечественной системы виртуализации РОСПЛАТФОРМА и тем, как мы переводили на нее нашу компанию.
Читать: https://habr.com/ru/companies/rshb/articles/778274/
Querying Graphs with SQL and PGQL: What is the difference?
First there was the graph query language PGQL, and now in SQL:2023 there is new SQL syntax for creating and querying graphs. What is the difference between PGQL and SQL?
Read: https://blogs.oracle.com/database/post/querying-graphs-with-sql-and-pgql-what-is-the-difference
First there was the graph query language PGQL, and now in SQL:2023 there is new SQL syntax for creating and querying graphs. What is the difference between PGQL and SQL?
Read: https://blogs.oracle.com/database/post/querying-graphs-with-sql-and-pgql-what-is-the-difference
Oracle
Querying Graphs with SQL and PGQL: What is the difference?
First there was the graph query language PGQL, and now in SQL:2023 there is new SQL syntax for creating and querying graphs. What is the difference between PGQL and SQL?
Где связь? Как управление данными, информацией и знаниями позволило ловить серийных преступников
От метода профилирования ФБР и баз данных ДНК до искусственного интеллекта: основные этапы работы работы с данными по преступлениям.
Читать: https://habr.com/ru/companies/teamly/articles/778420/
От метода профилирования ФБР и баз данных ДНК до искусственного интеллекта: основные этапы работы работы с данными по преступлениям.
Читать: https://habr.com/ru/companies/teamly/articles/778420/