Late October's newsletter for Autonomous Database
Slight change this month because this newsletter brings together new features across all three deployment choices: Serverless. Dedicated, and Cloud@Customer. So here are the latest updates for Autonomous Database...
Read: https://blogs.oracle.com/datawarehousing/post/late-octobers-newsletter-for-autonomous-database
Slight change this month because this newsletter brings together new features across all three deployment choices: Serverless. Dedicated, and Cloud@Customer. So here are the latest updates for Autonomous Database...
Read: https://blogs.oracle.com/datawarehousing/post/late-octobers-newsletter-for-autonomous-database
Oracle
Late October's newsletter for Autonomous Database
Slight change this month because this newsletter brings together new features across all three deployment choices: Serverless. Dedicated, and Cloud@Customer. So here are the latest updates for Autonomous Database...
Announcing Oracle APEX 23.2 Availability
Announcement blog post for Oracle APEX 23.2 availability
Read: https://blogs.oracle.com/apex/post/announcing-oracle-apex-232
Announcement blog post for Oracle APEX 23.2 availability
Read: https://blogs.oracle.com/apex/post/announcing-oracle-apex-232
23c Deep Dive - In-Memory Vector Join Enhancements
In Oracle Database 23c In-Memory Deep Vectorization has been expanded to support the following additional join types: Multi-level hash joins, Multi join key, Semi joins, Outer joins, Full group by aggregation. This enhancement enables additional performance by leveraging Single Instruction Multiple Data (SIMD) vector instructions.
Read: https://blogs.oracle.com/in-memory/post/23c-im-vector-joins
In Oracle Database 23c In-Memory Deep Vectorization has been expanded to support the following additional join types: Multi-level hash joins, Multi join key, Semi joins, Outer joins, Full group by aggregation. This enhancement enables additional performance by leveraging Single Instruction Multiple Data (SIMD) vector instructions.
Read: https://blogs.oracle.com/in-memory/post/23c-im-vector-joins
Oracle
Oracle Database 23c In-Memory Deep Vectorization Enhancements
In Oracle Database 23c In-Memory Deep Vectorization has been expanded to support the following additional join types: Multi-level hash joins, Multi join key, Semi joins, Outer joins, Full group by aggregation. This enhancement enables additional performance…
Выбор СУБД: шпаргалка, чтобы не запутаться
Вопрос выбора СУБД для российской компании или госоргана – вопрос не праздный, тем более сейчас – когда с момента ухода с рынка западных вендоров прошло уже полтора года и пора что-то решать. Но как не запутаться в номенклатуре СУБД и выбрать ту, которая лучше всего подходит? Без ложной скромности скажу: мы в «Кругах Громова» уже немного поднаторели в систематизации, поэтому надеемся, что наша шпаргалка для тех, кто хочет выбрать СУБД, окажется полезной.
Начнем с классики. СУБД делятся на несколько типов. Не будем описывать их подробно, остановимся только на их основном предназначении.
Читать: https://habr.com/ru/articles/775574/
Вопрос выбора СУБД для российской компании или госоргана – вопрос не праздный, тем более сейчас – когда с момента ухода с рынка западных вендоров прошло уже полтора года и пора что-то решать. Но как не запутаться в номенклатуре СУБД и выбрать ту, которая лучше всего подходит? Без ложной скромности скажу: мы в «Кругах Громова» уже немного поднаторели в систематизации, поэтому надеемся, что наша шпаргалка для тех, кто хочет выбрать СУБД, окажется полезной.
Начнем с классики. СУБД делятся на несколько типов. Не будем описывать их подробно, остановимся только на их основном предназначении.
Читать: https://habr.com/ru/articles/775574/
🥰1
Организуем High Availability PostgreSQL
Чтобы система долго работала без сбоев и перерывов, нужно поработать над отказоустойчивостью. В статье дадим несколько способов её построить и покажем готовое решение.
Читать: https://habr.com/ru/companies/avito/articles/775922/
Чтобы система долго работала без сбоев и перерывов, нужно поработать над отказоустойчивостью. В статье дадим несколько способов её построить и покажем готовое решение.
Читать: https://habr.com/ru/companies/avito/articles/775922/
Кейс: как мы доработали SLA с помощью ETL
Привет, Хабр.
Мы с командой Modus решили один из внутренних кейсов по учету времени на решение и статусов задач. В этой статье я расскажу, как мы применили для этого ETL и сэкономили 80% времени и ресурсов на кастомизацию таск-трекера. Если у вас есть ETL – берите на вооружение.
Читать: https://habr.com/ru/companies/modusbi/articles/776248/
Привет, Хабр.
Мы с командой Modus решили один из внутренних кейсов по учету времени на решение и статусов задач. В этой статье я расскажу, как мы применили для этого ETL и сэкономили 80% времени и ресурсов на кастомизацию таск-трекера. Если у вас есть ETL – берите на вооружение.
Читать: https://habr.com/ru/companies/modusbi/articles/776248/
❤1
Вредные советы: как самостоятельно внедрить DWH и потратить впустую деньги и время
DWH — это единый репозиторий структурированных данных для построения бизнес-аналитики, отчётов и обеспечения исторического анализа данных.
Многие компании осознают необходимость создания корпоративного хранилища, но не все понимают, что внедрение DWH при неграмотном, спешном подходе может стать дорогим удовольствием, только усугубляющим проблемы в работе с данными.
Читать: https://habr.com/ru/articles/776258/
DWH — это единый репозиторий структурированных данных для построения бизнес-аналитики, отчётов и обеспечения исторического анализа данных.
Многие компании осознают необходимость создания корпоративного хранилища, но не все понимают, что внедрение DWH при неграмотном, спешном подходе может стать дорогим удовольствием, только усугубляющим проблемы в работе с данными.
Читать: https://habr.com/ru/articles/776258/
✍2❤1
Оптимизация запроса и запрос оптимизации
Как не грабить память, не пытать диск, не мучать кластер. Или делать все это всего одним запросом на Impala к Hadoop.
Среди задач аналитиков данных, в рамках которых необходимо иметь дело с большими объемами однотипных данных, выделяются задачи построения витрин данных, автоматизации процессов сбора и обработки данных. Многие аналитики используют различные реляционные базы данных, в таблицах которых хранятся огромные объемы информации, агрегация и доступ к которым может занимать долгое время, поэтому правильное составление и оптимизация запросов к этим таблицам становится критически необходимым фактором для работы аналитиков, инженеров данных и data scientist.
Читать: https://habr.com/ru/articles/776398/
Как не грабить память, не пытать диск, не мучать кластер. Или делать все это всего одним запросом на Impala к Hadoop.
Среди задач аналитиков данных, в рамках которых необходимо иметь дело с большими объемами однотипных данных, выделяются задачи построения витрин данных, автоматизации процессов сбора и обработки данных. Многие аналитики используют различные реляционные базы данных, в таблицах которых хранятся огромные объемы информации, агрегация и доступ к которым может занимать долгое время, поэтому правильное составление и оптимизация запросов к этим таблицам становится критически необходимым фактором для работы аналитиков, инженеров данных и data scientist.
Читать: https://habr.com/ru/articles/776398/
✍2
Так dd вы ещё не использовали: исследование скорости чтения и записи
Недавно, я вновь побывал в роли технического эксперта, когда занимался переводом книги «Understanding Software Dynamics» от Richard L. Sites. В ходе работы над главой — про скорость работы с жёстким диском, мне поступил вопрос от коллеги: каким образом можно просто и быстро измерить скорость чтения и записи твердотельных носителей информации, в разрабатываемых в компании устройствах? При этом стояла задача реализовать всё это наиболее простыми способами, чтобы они были переносимы между совершенно разными платформами и архитектурами. Носители же информации могут быть любыми: USB Flash, eMMC, SD, NAND и прочее, прочее. Единственное, что их объединяет — это Linux.
Задача захватила меня с головой…
Читать: https://habr.com/ru/companies/timeweb/articles/775230/
Недавно, я вновь побывал в роли технического эксперта, когда занимался переводом книги «Understanding Software Dynamics» от Richard L. Sites. В ходе работы над главой — про скорость работы с жёстким диском, мне поступил вопрос от коллеги: каким образом можно просто и быстро измерить скорость чтения и записи твердотельных носителей информации, в разрабатываемых в компании устройствах? При этом стояла задача реализовать всё это наиболее простыми способами, чтобы они были переносимы между совершенно разными платформами и архитектурами. Носители же информации могут быть любыми: USB Flash, eMMC, SD, NAND и прочее, прочее. Единственное, что их объединяет — это Linux.
Задача захватила меня с головой…
Читать: https://habr.com/ru/companies/timeweb/articles/775230/
FineBI: Обработка данных для начинающих пользователей
Хабр, привет!
На связи команда Business Intelligence GlowByte. Да-да, те самые неугомонные, которые создали самое крупное русскоязычное сообщество FineBI, проводят обучения, собирают дайджесты и ежегодно организуют масштабные конференции.
Меня зовут Александр, я руководитель центра поддержки и обучения BI-решений в GlowByte, и сегодня хочу поделиться с вами небольшим гайдом по обработке данных в FineBI. Этот материал будет полезен начинающим BI-разработчикам.
Данная статья состоит из четырех уроков, которые помогут вам ближе познакомиться с функциями редактирования данных в FineBI. Если после прочтения вы захотите разобраться со всеми особенностями платформы, закрепить базовые знания и прокачать навыки создания сложных визуализаций, приглашаю на наши курсы.
Читать: https://habr.com/ru/companies/glowbyte/articles/776648/
Хабр, привет!
На связи команда Business Intelligence GlowByte. Да-да, те самые неугомонные, которые создали самое крупное русскоязычное сообщество FineBI, проводят обучения, собирают дайджесты и ежегодно организуют масштабные конференции.
Меня зовут Александр, я руководитель центра поддержки и обучения BI-решений в GlowByte, и сегодня хочу поделиться с вами небольшим гайдом по обработке данных в FineBI. Этот материал будет полезен начинающим BI-разработчикам.
Данная статья состоит из четырех уроков, которые помогут вам ближе познакомиться с функциями редактирования данных в FineBI. Если после прочтения вы захотите разобраться со всеми особенностями платформы, закрепить базовые знания и прокачать навыки создания сложных визуализаций, приглашаю на наши курсы.
Читать: https://habr.com/ru/companies/glowbyte/articles/776648/
👍1
MongoDB Atlas AWS CloudFormation and CDK Integration Expansion
Read: https://www.mongodb.com/blog/post/mongodb-atlas-aws-cloud-formation-cdk-integration-expansion
Read: https://www.mongodb.com/blog/post/mongodb-atlas-aws-cloud-formation-cdk-integration-expansion
Clickhouse: прогулки по граблям
Добрый день, Хабр!
Меня зовут Олег, я являюсь Backend-разработчиком в IT-компании «Философт» последние полтора года. Мы занимаемся разработкой платформы для жителей, подключённых к нашей системе, которая призвана помочь взаимодействовать с различными «умными» устройствами, коммуницировать с управляющей компанией, оплачивать счета ЖКХ и т.п.
Изначально разработка велась силами подрядчиков, оставивших после себя крайне посредственного качества монолит, который мы с коллегами приводим в приличный вид, постепенно распиливая на модули, а также занимаемся внедрением новых возможностей и интеграций. Одной из областей взаимодействия с пользователями является отображение показаний приборов учёта (электричество, водоснабжение и т.п.). Не так давно эта область кода была подвергнута достаточно масштабному рефакторингу и переработке, в рамках чего и состоялось наше знакомство с БД Clickhouse.
Читать: https://habr.com/ru/articles/776838/
Добрый день, Хабр!
Меня зовут Олег, я являюсь Backend-разработчиком в IT-компании «Философт» последние полтора года. Мы занимаемся разработкой платформы для жителей, подключённых к нашей системе, которая призвана помочь взаимодействовать с различными «умными» устройствами, коммуницировать с управляющей компанией, оплачивать счета ЖКХ и т.п.
Изначально разработка велась силами подрядчиков, оставивших после себя крайне посредственного качества монолит, который мы с коллегами приводим в приличный вид, постепенно распиливая на модули, а также занимаемся внедрением новых возможностей и интеграций. Одной из областей взаимодействия с пользователями является отображение показаний приборов учёта (электричество, водоснабжение и т.п.). Не так давно эта область кода была подвергнута достаточно масштабному рефакторингу и переработке, в рамках чего и состоялось наше знакомство с БД Clickhouse.
Читать: https://habr.com/ru/articles/776838/
Clickhouse: прогулки по граблям
Добрый день, Хабр!
Меня зовут Олег, я являюсь Backend-разработчиком в IT-компании «Философт» последние полтора года. Мы занимаемся разработкой платформы для жителей, подключённых к нашей системе, которая призвана помочь взаимодействовать с различными «умными» устройствами, коммуницировать с управляющей компанией, оплачивать счета ЖКХ и т.п.
Изначально разработка велась силами подрядчиков, оставивших после себя крайне посредственного качества монолит, который мы с коллегами приводим в приличный вид, постепенно распиливая на модули, а также занимаемся внедрением новых возможностей и интеграций. Одной из областей взаимодействия с пользователями является отображение показаний приборов учёта (электричество, водоснабжение и т.п.). Не так давно эта область кода была подвергнута достаточно масштабному рефакторингу и переработке, в рамках чего и состоялось наше знакомство с БД Clickhouse.
Читать: https://habr.com/ru/articles/776838/
Добрый день, Хабр!
Меня зовут Олег, я являюсь Backend-разработчиком в IT-компании «Философт» последние полтора года. Мы занимаемся разработкой платформы для жителей, подключённых к нашей системе, которая призвана помочь взаимодействовать с различными «умными» устройствами, коммуницировать с управляющей компанией, оплачивать счета ЖКХ и т.п.
Изначально разработка велась силами подрядчиков, оставивших после себя крайне посредственного качества монолит, который мы с коллегами приводим в приличный вид, постепенно распиливая на модули, а также занимаемся внедрением новых возможностей и интеграций. Одной из областей взаимодействия с пользователями является отображение показаний приборов учёта (электричество, водоснабжение и т.п.). Не так давно эта область кода была подвергнута достаточно масштабному рефакторингу и переработке, в рамках чего и состоялось наше знакомство с БД Clickhouse.
Читать: https://habr.com/ru/articles/776838/
SQL HowTo: TOP-N на субинтервалах
Периодически сталкиваюсь с однотипными задачами вида "показать TOP-N позиций на каждом из вложенных интервалов некоторого периода".
Это может быть "5 лучших по успеваемости студентов в каждом семестре за последний учебный год", или "помесячная динамика позиции 10 наиболее продающихся товаров", или, как у нас в сервисе визуализации PostgreSQL-планов explain.tensor.ru, "3 наиболее активных страны за каждый день":
Читать: https://habr.com/ru/companies/tensor/articles/776834/
Периодически сталкиваюсь с однотипными задачами вида "показать TOP-N позиций на каждом из вложенных интервалов некоторого периода".
Это может быть "5 лучших по успеваемости студентов в каждом семестре за последний учебный год", или "помесячная динамика позиции 10 наиболее продающихся товаров", или, как у нас в сервисе визуализации PostgreSQL-планов explain.tensor.ru, "3 наиболее активных страны за каждый день":
Читать: https://habr.com/ru/companies/tensor/articles/776834/
64-битных переменных для банковского счёта «хватит всем»?
«640 КБ хватит всем», — предположительно Билл Гейтс, примерно 1981 год.
Мы решили, что в нашей системе управления финансовыми базами данных TigerBeetle для хранения всех финансовых сумм и балансов будут использоваться 128-битные числа, и что мы откажемся 64-битных целых чисел. Хотя кто-то может заявить, что 64-битного integer, способного хранить в себе целые числа от нуля до 264, достаточно для подсчёта всех песчинок на Земле, мы осознали, что для адекватного хранения всех транзакций нам нужно подняться выше того предела. И в статье мы расскажем, почему.
Читать: https://habr.com/ru/articles/776192/
«640 КБ хватит всем», — предположительно Билл Гейтс, примерно 1981 год.
Мы решили, что в нашей системе управления финансовыми базами данных TigerBeetle для хранения всех финансовых сумм и балансов будут использоваться 128-битные числа, и что мы откажемся 64-битных целых чисел. Хотя кто-то может заявить, что 64-битного integer, способного хранить в себе целые числа от нуля до 264, достаточно для подсчёта всех песчинок на Земле, мы осознали, что для адекватного хранения всех транзакций нам нужно подняться выше того предела. И в статье мы расскажем, почему.
Читать: https://habr.com/ru/articles/776192/
MongoDB ora disponibile nella convenzione Consip: una svolta per la Pubblica Amministrazione
MongoDB is now available in the Consip convention, which is a breakthrough for the Public Administration in Italy. This allows public administrations to purchase MongoDB easily and quickly without the need for a bidding process. MongoDB is a NoSQL database that is scalable and flexible, making it ideal for managing large amounts of data in a secure and efficient way. The inclusion of MongoDB in the Consip convention offers several advantages for the Public Administration, including increased flexibility in developing digital applications, the ability to handle large volumes of data, and support for modern architectures and API-first approach. The text announces that MongoDB Atlas now has availability in 27 AWS regions, offering benefits such as reduced latency and compliance with data sovereignty regulations. The AWS CDK has introduced new L3 resources, including support for MongoDB Atlas Serverless. The migration of AWS CloudFormation resources to the Atlas Go SDK has accelerated development and will allow for the timely publication of more MongoDB Atlas resources on AWS CloudFormation. These integrations are free and open-source, with users only paying for underlying MongoDB Atlas and AWS resources. MongoDB Atlas and AWS CloudFormation provide a faster and easier way to start building applications.
Read: https://www.mongodb.com/blog/post/mongodb-now-available-consip-agreement-turning-point-public-sector-administration-it
MongoDB is now available in the Consip convention, which is a breakthrough for the Public Administration in Italy. This allows public administrations to purchase MongoDB easily and quickly without the need for a bidding process. MongoDB is a NoSQL database that is scalable and flexible, making it ideal for managing large amounts of data in a secure and efficient way. The inclusion of MongoDB in the Consip convention offers several advantages for the Public Administration, including increased flexibility in developing digital applications, the ability to handle large volumes of data, and support for modern architectures and API-first approach. The text announces that MongoDB Atlas now has availability in 27 AWS regions, offering benefits such as reduced latency and compliance with data sovereignty regulations. The AWS CDK has introduced new L3 resources, including support for MongoDB Atlas Serverless. The migration of AWS CloudFormation resources to the Atlas Go SDK has accelerated development and will allow for the timely publication of more MongoDB Atlas resources on AWS CloudFormation. These integrations are free and open-source, with users only paying for underlying MongoDB Atlas and AWS resources. MongoDB Atlas and AWS CloudFormation provide a faster and easier way to start building applications.
Read: https://www.mongodb.com/blog/post/mongodb-now-available-consip-agreement-turning-point-public-sector-administration-it
Building AI with MongoDB: Retrieval-Augmented Generation (RAG) Puts Power in Developers’ Hands
Read: https://www.mongodb.com/blog/post/building-ai-retrieval-augmented-generation-rag-puts-power-developers-hand
Read: https://www.mongodb.com/blog/post/building-ai-retrieval-augmented-generation-rag-puts-power-developers-hand
A Year of Thrill: Celebrating the New MongoDB University
Read: https://www.mongodb.com/blog/post/year-of-thrill-celebrating-new-mongodb-university
Read: https://www.mongodb.com/blog/post/year-of-thrill-celebrating-new-mongodb-university
Разгоняем Ignite в облачной инфраструктуре. Часть 1
Привет, Хабр! На связи Дмитрий Пшевский @pshevskiy и Семен Попов @samansay, технические лидеры юнита Data в Сбере.
Уже более 6 лет мы заботимся о клиентских данных Сбера — храним, дедублицируем, стандартизируем, маркируем. А сегодня хотим поговорить о производительности сервисов при работе с Ignite или другой подобной системой из облачной инфраструктуры. Мы не будем рассматривать аспекты развертывания и оптимизации работы самого кластера и обсудим производительность сервисов именно на прикладном уровне. Расскажем про сложности перехода на микросервисную архитектуру, работу с толстым и тонким клиентом и отказ от транзакций. Эта статья — обзор нашего доклада на JPoint 2023.
Читать: https://habr.com/ru/companies/sberbank/articles/777162/
Привет, Хабр! На связи Дмитрий Пшевский @pshevskiy и Семен Попов @samansay, технические лидеры юнита Data в Сбере.
Уже более 6 лет мы заботимся о клиентских данных Сбера — храним, дедублицируем, стандартизируем, маркируем. А сегодня хотим поговорить о производительности сервисов при работе с Ignite или другой подобной системой из облачной инфраструктуры. Мы не будем рассматривать аспекты развертывания и оптимизации работы самого кластера и обсудим производительность сервисов именно на прикладном уровне. Расскажем про сложности перехода на микросервисную архитектуру, работу с толстым и тонким клиентом и отказ от транзакций. Эта статья — обзор нашего доклада на JPoint 2023.
Читать: https://habr.com/ru/companies/sberbank/articles/777162/
India: A Cornerstone of Growth for MongoDB Technical Services
Read: https://www.mongodb.com/blog/post/cornerstone-growth-for-mongodb-technical-services
Read: https://www.mongodb.com/blog/post/cornerstone-growth-for-mongodb-technical-services
MongoDB Doubles Down on Aotearoa as Part of Continued APAC Expansion
Read: https://www.mongodb.com/blog/post/mongodb-doubles-down-aotearoa-part-continued-apac-expansion
Read: https://www.mongodb.com/blog/post/mongodb-doubles-down-aotearoa-part-continued-apac-expansion