Приключение по перереносу аналитики из Oracle в Iceberg
Мы начали с простой цели: разобраться в небольших операционных данных из нашей среды Oracle E-Business Suite (OEBS). Сначала всё казалось несложным. У нас был классический data warehouse: пакетная обработка, массовые загрузки и привычная реляционная СУБД. Но по мере того как мы углублялись в проект, казалось бы рутинная задача превратилась в исследование и эксперименты с неожиданными поворотами и поиском чего-то действительно универсального.
Читать: https://habr.com/ru/articles/878764/
#ru
@database_design | Другие наши каналы
Мы начали с простой цели: разобраться в небольших операционных данных из нашей среды Oracle E-Business Suite (OEBS). Сначала всё казалось несложным. У нас был классический data warehouse: пакетная обработка, массовые загрузки и привычная реляционная СУБД. Но по мере того как мы углублялись в проект, казалось бы рутинная задача превратилась в исследование и эксперименты с неожиданными поворотами и поиском чего-то действительно универсального.
Читать: https://habr.com/ru/articles/878764/
#ru
@database_design | Другие наши каналы
Нужен ли Postgres альтернативный сборщик статистики таблиц?
Речь здесь пойдёт о стабильности стандартной статистики Postgres и об идее очередного расширения - на этот раз альтернативы команде ANALYZE. Всё началось с того, что заканчивая работу над предыдущей статьёй я вдруг заметил, что результат выполнения одного и того же запроса теста Join Order Benchmark (JOB) в серии последовательных прогонов может отличаться в разы и даже на порядки - причем как по значению параметра execution-time, так и по pages-read. Это выглядело очень странно, поскольку и тест и ноутбук и все настройки оставались теми же - даже погода за окном. И я решил расследовать, что происходит …
Читать: https://habr.com/ru/articles/878724/
#ru
@database_design | Другие наши каналы
Речь здесь пойдёт о стабильности стандартной статистики Postgres и об идее очередного расширения - на этот раз альтернативы команде ANALYZE. Всё началось с того, что заканчивая работу над предыдущей статьёй я вдруг заметил, что результат выполнения одного и того же запроса теста Join Order Benchmark (JOB) в серии последовательных прогонов может отличаться в разы и даже на порядки - причем как по значению параметра execution-time, так и по pages-read. Это выглядело очень странно, поскольку и тест и ноутбук и все настройки оставались теми же - даже погода за окном. И я решил расследовать, что происходит …
Читать: https://habr.com/ru/articles/878724/
#ru
@database_design | Другие наши каналы
Вредоносный код навсегда сохранили в блокчейне
Один из старых хакерских трюков — распространять вредоносное ПО под видом обновления браузера. На взломанном сайте размещается плашка с утверждением, что для просмотра нужно обновить браузер. И кнопка для скачивания обновления, как на скриншоте с прошлогодней атаки ClearFake. Таким образом, жертва самостоятельно устанавливает вредоносное ПО на свой компьютер.
В прошлом году злоумышленники разработали умный способ защитить вредоносный софт от уничтожения. Они разместили его в децентрализованном анонимном блокчейне. То есть интегрировали код в смарт-контракт, который навечно сохранился в открытом доступе.
Читать: https://habr.com/ru/companies/globalsign/articles/878822/
#ru
@database_design | Другие наши каналы
Один из старых хакерских трюков — распространять вредоносное ПО под видом обновления браузера. На взломанном сайте размещается плашка с утверждением, что для просмотра нужно обновить браузер. И кнопка для скачивания обновления, как на скриншоте с прошлогодней атаки ClearFake. Таким образом, жертва самостоятельно устанавливает вредоносное ПО на свой компьютер.
В прошлом году злоумышленники разработали умный способ защитить вредоносный софт от уничтожения. Они разместили его в децентрализованном анонимном блокчейне. То есть интегрировали код в смарт-контракт, который навечно сохранился в открытом доступе.
Читать: https://habr.com/ru/companies/globalsign/articles/878822/
#ru
@database_design | Другие наши каналы
Разработчик с опытом объяснил, почему новички тонут в туториалах, а не в знаниях
Опытный разработчик объяснил, почему новички тонут в туториалах, а не в знаниях, и предложил сосредоточиться на базовых принципах программирования
Читать: «Разработчик с опытом объяснил, почему новички тонут в туториалах, а не в знаниях»
#ru
@database_design | Другие наши каналы
Опытный разработчик объяснил, почему новички тонут в туториалах, а не в знаниях, и предложил сосредоточиться на базовых принципах программирования
Читать: «Разработчик с опытом объяснил, почему новички тонут в туториалах, а не в знаниях»
#ru
@database_design | Другие наши каналы
Путеводитель по техническим транзакциям с Camunda 8 и Spring
Интересно, как работают технические транзакции с Camunda и фреймворком Spring? Узнайте больше о транзакционном поведении в этом посте.
Читать: https://habr.com/ru/articles/879026/
#ru
@database_design | Другие наши каналы
Интересно, как работают технические транзакции с Camunda и фреймворком Spring? Узнайте больше о транзакционном поведении в этом посте.
Читать: https://habr.com/ru/articles/879026/
#ru
@database_design | Другие наши каналы
🔍 Новый MongoDB Django Backend: Режим публичного превью
MongoDB анонсировала публичное превью пакета Django Backend, позволяющего интегрировать Django с MongoDB. Разработчики могут использовать модели Django для работы с документами MongoDB и получать преимущества админки Django. Это объединение ускорит разработку и упростит работу с базами данных. Узнайте больше в блоге MongoDB! Упрощение булевых выражений: ключевые методы
Пост: Исследование освещает подходы для упрощения булевых выражений, включая алгоритм Квайна-МакКласки и закон поглощения. Использование битовых операций ускоряет процесс, а метод Патрика минимизирует избыточность. Затронуты особенности в контексте MongoDB и MQL. Ускорение работы MongoDB с новым алгоритмом
Мы разработали алгоритм для упрощения логических выражений, который в одном случае улучшил производительность MongoDB на 18,100%. Этот проект демонстрирует нашу приверженность решению задач клиентов и постоянному усовершенствованию работы с запросами. Узнайте больше в сообществе MongoDB!
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB анонсировала публичное превью пакета Django Backend, позволяющего интегрировать Django с MongoDB. Разработчики могут использовать модели Django для работы с документами MongoDB и получать преимущества админки Django. Это объединение ускорит разработку и упростит работу с базами данных. Узнайте больше в блоге MongoDB! Упрощение булевых выражений: ключевые методы
Пост: Исследование освещает подходы для упрощения булевых выражений, включая алгоритм Квайна-МакКласки и закон поглощения. Использование битовых операций ускоряет процесс, а метод Патрика минимизирует избыточность. Затронуты особенности в контексте MongoDB и MQL. Ускорение работы MongoDB с новым алгоритмом
Мы разработали алгоритм для упрощения логических выражений, который в одном случае улучшил производительность MongoDB на 18,100%. Этот проект демонстрирует нашу приверженность решению задач клиентов и постоянному усовершенствованию работы с запросами. Узнайте больше в сообществе MongoDB!
Читать подробнее
#en
@database_design | Другие наши каналы
Векторные базы данных: простым языком про устройство и принцип работы
Пройдём путь от простого вектора до целой рекомендательной системы, пробежимся по основным фишкам и внутреннему устройству. Поймём, а где вообще использовать этот инструмент и посмотрим на векторные базы данных в деле.
Читать: «Векторные базы данных: простым языком про устройство и принцип работы»
#ru
@database_design | Другие наши каналы
Пройдём путь от простого вектора до целой рекомендательной системы, пробежимся по основным фишкам и внутреннему устройству. Поймём, а где вообще использовать этот инструмент и посмотрим на векторные базы данных в деле.
Читать: «Векторные базы данных: простым языком про устройство и принцип работы»
#ru
@database_design | Другие наши каналы
Мнение GlowByte: чем можно импортозаместить CPM и надо ли это делать
Всем привет! Это снова мы – направление FI (Financial Intelligence) компании GlowByte. В прошлой статье мы обещали рассказать про отечественные решения класса CPM. Сегодня мы расскажем, почему, на наш взгляд, сейчас лучшее время для внедрения российского софта, а также опишем основные требования заказчиков к подобным платформам.
Читать: https://habr.com/ru/companies/glowbyte/articles/879170/
#ru
@database_design | Другие наши каналы
Всем привет! Это снова мы – направление FI (Financial Intelligence) компании GlowByte. В прошлой статье мы обещали рассказать про отечественные решения класса CPM. Сегодня мы расскажем, почему, на наш взгляд, сейчас лучшее время для внедрения российского софта, а также опишем основные требования заказчиков к подобным платформам.
Читать: https://habr.com/ru/companies/glowbyte/articles/879170/
#ru
@database_design | Другие наши каналы
Мнение GlowByte: чем можно импортозаместить CPM и надо ли это делать
Всем привет! Это снова мы – направление FI (Financial Intelligence) компании GlowByte. В прошлой статье мы обещали рассказать про отечественные решения класса CPM. Сегодня мы расскажем, почему, на наш взгляд, сейчас лучшее время для внедрения российского софта, а также опишем основные требования заказчиков к подобным платформам.
Читать: https://habr.com/ru/companies/glowbyte/articles/879172/
#ru
@database_design | Другие наши каналы
Всем привет! Это снова мы – направление FI (Financial Intelligence) компании GlowByte. В прошлой статье мы обещали рассказать про отечественные решения класса CPM. Сегодня мы расскажем, почему, на наш взгляд, сейчас лучшее время для внедрения российского софта, а также опишем основные требования заказчиков к подобным платформам.
Читать: https://habr.com/ru/companies/glowbyte/articles/879172/
#ru
@database_design | Другие наши каналы
Как GitLab с Liquibase миграции в ClickHouse везли
Привет, Хабр!
Сегодня я расскажу, как с помощью Liquibase, GitLab и немного Python настроить прозрачный, безопасный и удобный процесс миграций для ClickHouse кластера .
Читать: https://habr.com/ru/companies/ligastavok/articles/879280/
#ru
@database_design | Другие наши каналы
Привет, Хабр!
Сегодня я расскажу, как с помощью Liquibase, GitLab и немного Python настроить прозрачный, безопасный и удобный процесс миграций для ClickHouse кластера .
Читать: https://habr.com/ru/companies/ligastavok/articles/879280/
#ru
@database_design | Другие наши каналы
Как настроить интеграцию между Great Expectations и Impala для работы с большими данными
Рассказываем, как мы заставили GX подружиться с Impala.
Читать: «Как настроить интеграцию между Great Expectations и Impala для работы с большими данными»
#ru
@database_design | Другие наши каналы
Рассказываем, как мы заставили GX подружиться с Impala.
Читать: «Как настроить интеграцию между Great Expectations и Impala для работы с большими данными»
#ru
@database_design | Другие наши каналы
Новые версии MariaDB Community Server уже доступны!
Вышли новые обновления для MariaDB Community Server: версии 11.4.5, 10.11.11, 10.6.21 и 10.5.28. Узнайте больше о каждой из них из заметок о выпуске и журналов изменений. Скачать обновления можно на сайте mariadb.com/downloads.
Читать подробнее
#en
@database_design | Другие наши каналы
Вышли новые обновления для MariaDB Community Server: версии 11.4.5, 10.11.11, 10.6.21 и 10.5.28. Узнайте больше о каждой из них из заметок о выпуске и журналов изменений. Скачать обновления можно на сайте mariadb.com/downloads.
Читать подробнее
#en
@database_design | Другие наши каналы
Эксперт из Amazon составил топ-10 тем в разработке, взгляд на которые он изменил за 10 лет
Разработчик Amazon изменил взгляды на ключевые темы программирования за 10 лет: от простоты кода до роли Java, ORM и Serverless-функций
Читать: «Эксперт из Amazon составил топ-10 тем в разработке, взгляд на которые он изменил за 10 лет»
#ru
@database_design | Другие наши каналы
Разработчик Amazon изменил взгляды на ключевые темы программирования за 10 лет: от простоты кода до роли Java, ORM и Serverless-функций
Читать: «Эксперт из Amazon составил топ-10 тем в разработке, взгляд на которые он изменил за 10 лет»
#ru
@database_design | Другие наши каналы
Тест 12 HDD 15k SAS в RAID0 и актуальность использования
Имеют ли право на жизнь SAS HDD диски на 15k в современных серверных платформах?
Тестирование RAID массива из 12 SAS HDD 15k и сравнение с производительностью SATA SSD, NVMe и SAS SSD накопителей.
Читать: https://habr.com/ru/articles/879562/
#ru
@database_design | Другие наши каналы
Имеют ли право на жизнь SAS HDD диски на 15k в современных серверных платформах?
Тестирование RAID массива из 12 SAS HDD 15k и сравнение с производительностью SATA SSD, NVMe и SAS SSD накопителей.
Читать: https://habr.com/ru/articles/879562/
#ru
@database_design | Другие наши каналы
Катапультирование из DSE и миграция на Scylla
Если ты к чему-то привык, и все кажется удобным и комфортным, при понимании, что это может закончиться в любой момент, надо выбирать, что делать дальше. Так и с решениями, которые мы уже как-то внедрили — несмотря на то, что они прекрасно показывают свою эффективность, наступают моменты, когда их приходится пересматривать, и делать это весьма оперативно.
В данном случае речь о системе с СУБД DSE — удобной, отлично адаптированной к использованию под наши задачи, распределенной СУБД NoSQL-типа на базе Apache Cassandra с пудовыми рисками прекращения лицензирования со стороны Datastax.
При этом пересаживаться на другой «стул» требуется, разумеется, бесшовно, без потерь в вопросах производительности, безопасности и эксплуатационного качества в продукте. Вопрос это для нас особо важный, так как сама система, для которой рассматривалась замена СУБД высококритичная, и требования к решению были неизменными: возможность вертикального масштабирования «на лету» для поддержки значительного увеличения объема хранимых данных, высокая производительность записи и поддержка отказоустойчивости, включая распределение СУБД в нескольких ЦОД. У нас уже был накоплен весомый багаж информации в текущей базе, поэтому сама технология СУБД требовалась сродная по типу для исключения проблемы со сложностью миграции данных.
В статье начальник группы внедрения и тестирования продуктов и услуг Nexign Анна Алешина рассказывает, почему мы выбрали Scylla и решили прокачать ее до собственной «фирменной» СУБД Nexylla. Материал будет полезен всем, кто тоже задумывается о миграции на более надежные с точки зрения лицензирования СУБД.
Читать: https://habr.com/ru/companies/nexign/articles/879708/
#ru
@database_design | Другие наши каналы
Если ты к чему-то привык, и все кажется удобным и комфортным, при понимании, что это может закончиться в любой момент, надо выбирать, что делать дальше. Так и с решениями, которые мы уже как-то внедрили — несмотря на то, что они прекрасно показывают свою эффективность, наступают моменты, когда их приходится пересматривать, и делать это весьма оперативно.
В данном случае речь о системе с СУБД DSE — удобной, отлично адаптированной к использованию под наши задачи, распределенной СУБД NoSQL-типа на базе Apache Cassandra с пудовыми рисками прекращения лицензирования со стороны Datastax.
При этом пересаживаться на другой «стул» требуется, разумеется, бесшовно, без потерь в вопросах производительности, безопасности и эксплуатационного качества в продукте. Вопрос это для нас особо важный, так как сама система, для которой рассматривалась замена СУБД высококритичная, и требования к решению были неизменными: возможность вертикального масштабирования «на лету» для поддержки значительного увеличения объема хранимых данных, высокая производительность записи и поддержка отказоустойчивости, включая распределение СУБД в нескольких ЦОД. У нас уже был накоплен весомый багаж информации в текущей базе, поэтому сама технология СУБД требовалась сродная по типу для исключения проблемы со сложностью миграции данных.
В статье начальник группы внедрения и тестирования продуктов и услуг Nexign Анна Алешина рассказывает, почему мы выбрали Scylla и решили прокачать ее до собственной «фирменной» СУБД Nexylla. Материал будет полезен всем, кто тоже задумывается о миграции на более надежные с точки зрения лицензирования СУБД.
Читать: https://habr.com/ru/companies/nexign/articles/879708/
#ru
@database_design | Другие наши каналы
Новый рубеж с Oracle Exadata
Oracle представила ограниченный выпуск глобально распределённой базы данных Exadata на инфраструктуре Exascale. Новое решение обеспечивает встроенную репликацию и разделение вычислительных и хранилищных ресурсов, что обещает повысить эффективность и масштабируемость систем.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle представила ограниченный выпуск глобально распределённой базы данных Exadata на инфраструктуре Exascale. Новое решение обеспечивает встроенную репликацию и разделение вычислительных и хранилищных ресурсов, что обещает повысить эффективность и масштабируемость систем.
Читать подробнее
#en
@database_design | Другие наши каналы
Начните искать по-новому с Oracle AI Vector Search
Хотите расширить возможности поиска в базе данных? Узнайте, как использовать Oracle AI Vector Search в новой версии Oracle Database 23ai. Эта технология позволит осуществлять более точный поиск по большим объемам данных. Оцените преимущества передовых алгоритмов вместе с Oracle.
Читать подробнее
#en
@database_design | Другие наши каналы
Хотите расширить возможности поиска в базе данных? Узнайте, как использовать Oracle AI Vector Search в новой версии Oracle Database 23ai. Эта технология позволит осуществлять более точный поиск по большим объемам данных. Оцените преимущества передовых алгоритмов вместе с Oracle.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Getting Started with Oracle Database 23ai AI Vector Search
This post describes how to get started with Oracle AI Vector Search in Oracle Database 23ai.
Искусственный интеллект и MongoDB меняют управление сетями
Как AI и MongoDB помогают телекоммуникационным компаниям справляться с резкими всплесками трафика в городах, таких как Торонто? Совместное использование платформы MongoDB и архитектуры RAG позволяет быстро выявлять причины проблем и автоматизировать их устранение, существенно сокращая время на диагностику и реагирование.
Читать подробнее
#en
@database_design | Другие наши каналы
Как AI и MongoDB помогают телекоммуникационным компаниям справляться с резкими всплесками трафика в городах, таких как Торонто? Совместное использование платформы MongoDB и архитектуры RAG позволяет быстро выявлять причины проблем и автоматизировать их устранение, существенно сокращая время на диагностику и реагирование.
Читать подробнее
#en
@database_design | Другие наши каналы
Новый уровень в управлении базами данных: Atlas Flex Tier от MongoDB
MongoDB представила новый уровень услуг Atlas Flex Tier, сочетающий гибкость и прогнозируемость расходов. Он предназначен для разработчиков, сталкивающихся с изменяющимися нагрузками, и минимизирует сюрпризные расходы, позволяя сконцентрироваться на инновациях.
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB представила новый уровень услуг Atlas Flex Tier, сочетающий гибкость и прогнозируемость расходов. Он предназначен для разработчиков, сталкивающихся с изменяющимися нагрузками, и минимизирует сюрпризные расходы, позволяя сконцентрироваться на инновациях.
Читать подробнее
#en
@database_design | Другие наши каналы
Свежие новости о мультиоблаке Oracle
Oracle представила ежемесячную сводку обновлений и ресурсов для мультиоблачных решений. Узнайте о последних новостях из Oracle Cloud Infrastructure, AWS, Azure и Google Cloud и оставайтесь в курсе всех технологических изменений и улучшений!
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle представила ежемесячную сводку обновлений и ресурсов для мультиоблачных решений. Узнайте о последних новостях из Oracle Cloud Infrastructure, AWS, Azure и Google Cloud и оставайтесь в курсе всех технологических изменений и улучшений!
Читать подробнее
#en
@database_design | Другие наши каналы
Зачем запускать облачную СУБД на выделенном сервере
Когда речь заходит о выборе инфраструктуры, возникает классический вопрос: использовать готовый сервис в облаке или собрать свой на выделенных серверах. На первый взгляд, все просто: облако — это про скорость и удобство, а выделенные серверы — про мощность и производительность. Но все не так просто.
Облако — это не монолит, а набор кубиков (сервисов), из которых можно собирать решения под любые задачи — в том числе под очень требовательные к производительности. В этой статье мы проверим, насколько вариативно облако, сравним плюсы и минусы двух принципиально разных подходов к инфраструктуре и посмотрим на новый «кубик» в экосистеме Selectel — DBaaS на выделенном сервере. Разберемся, как он появился, зачем нужен и как сочетает производительность выделенного сервера с удобством облака. Готовы? Давайте соберем это облачное «LEGO» вместе!
Читать: https://habr.com/ru/companies/selectel/articles/880338/
#ru
@database_design | Другие наши каналы
Когда речь заходит о выборе инфраструктуры, возникает классический вопрос: использовать готовый сервис в облаке или собрать свой на выделенных серверах. На первый взгляд, все просто: облако — это про скорость и удобство, а выделенные серверы — про мощность и производительность. Но все не так просто.
Облако — это не монолит, а набор кубиков (сервисов), из которых можно собирать решения под любые задачи — в том числе под очень требовательные к производительности. В этой статье мы проверим, насколько вариативно облако, сравним плюсы и минусы двух принципиально разных подходов к инфраструктуре и посмотрим на новый «кубик» в экосистеме Selectel — DBaaS на выделенном сервере. Разберемся, как он появился, зачем нужен и как сочетает производительность выделенного сервера с удобством облака. Готовы? Давайте соберем это облачное «LEGO» вместе!
Читать: https://habr.com/ru/companies/selectel/articles/880338/
#ru
@database_design | Другие наши каналы