Высокодоступный MySQL на конвейере
Что нужно автоматизировать в управляемой базе данных? Какие нас ждут проблемы эксплуатации MySQL в облаках? Разберём существующие решения, позволяющие обеспечивать эффективную конфигурацию под высокую доступность и высокие нагрузки, а также их недостатки и практическое применение.
Поможет нам в этом Дмитрий Смаль, руководитель подразделения Managed MySQL и SQL Server в Яндексе. Каждый день он занимается эксплуатацией и автоматизацией СУБД, а до этого делал нагруженные и не очень web-приложения. В целом любит делать разные интересные штуковины, которые работают! Сегодня мы с ним будем говорить про решение для высокодоступного MySQL.
Читать: https://habr.com/ru/companies/oleg-bunin/articles/754634/
Что нужно автоматизировать в управляемой базе данных? Какие нас ждут проблемы эксплуатации MySQL в облаках? Разберём существующие решения, позволяющие обеспечивать эффективную конфигурацию под высокую доступность и высокие нагрузки, а также их недостатки и практическое применение.
Поможет нам в этом Дмитрий Смаль, руководитель подразделения Managed MySQL и SQL Server в Яндексе. Каждый день он занимается эксплуатацией и автоматизацией СУБД, а до этого делал нагруженные и не очень web-приложения. В целом любит делать разные интересные штуковины, которые работают! Сегодня мы с ним будем говорить про решение для высокодоступного MySQL.
Читать: https://habr.com/ru/companies/oleg-bunin/articles/754634/
FineBI-g brother is watching you: как мы начали анализировать действия пользователей в Fine
Привет, Хабр! Мы — BI-команда Tele2. В прошлом году, как и многие наши коллеги по рынку, мы столкнулись с проблемой поиска альтернативы BI-платформам покинувших нас вендоров. О том, как подходить к замене платформы, уже много рассказано здесь и на других ресурсах. В этой статье мы остановимся на конкретном кейсе — как мы решили задачу поиска и последующего анализа действий и полномочий наших пользователей, а также взяли под контроль обновление источников. Под катом мы рассказываем, как собрать датасеты в FineBI, на которых можно построить дашборды о дашбордах и получить данные о посещаемости отчетов, их расположении в директориях и доступах к ним пользователей.
Читать: https://habr.com/ru/companies/tele2/articles/754748/
Привет, Хабр! Мы — BI-команда Tele2. В прошлом году, как и многие наши коллеги по рынку, мы столкнулись с проблемой поиска альтернативы BI-платформам покинувших нас вендоров. О том, как подходить к замене платформы, уже много рассказано здесь и на других ресурсах. В этой статье мы остановимся на конкретном кейсе — как мы решили задачу поиска и последующего анализа действий и полномочий наших пользователей, а также взяли под контроль обновление источников. Под катом мы рассказываем, как собрать датасеты в FineBI, на которых можно построить дашборды о дашбордах и получить данные о посещаемости отчетов, их расположении в директориях и доступах к ним пользователей.
Читать: https://habr.com/ru/companies/tele2/articles/754748/
Обзор Infortrend GS 2024U — бюджетная СХД с претензией на нечто большее
Хабр, привет! На связи лаборатория вычислительных решений КРОК, и мы продолжаем рассказывать о тестировании СХД и серверов.
Сегодня в очереди на экзекуцию тайваньская СХД Infortrend GS 2024U. Это железка начального уровня, производитель которой в основном делает бюджетные решения. От нее по умолчанию не ожидаешь ничего особенного, но… Впрочем, не будем забегать вперед. Под катом подробный рассказ о тестировании и о том, как лучше использовать эту СХД на практике.
Читать: https://habr.com/ru/companies/croc/articles/754936/
Хабр, привет! На связи лаборатория вычислительных решений КРОК, и мы продолжаем рассказывать о тестировании СХД и серверов.
Сегодня в очереди на экзекуцию тайваньская СХД Infortrend GS 2024U. Это железка начального уровня, производитель которой в основном делает бюджетные решения. От нее по умолчанию не ожидаешь ничего особенного, но… Впрочем, не будем забегать вперед. Под катом подробный рассказ о тестировании и о том, как лучше использовать эту СХД на практике.
Читать: https://habr.com/ru/companies/croc/articles/754936/
Опыт горизонтального масштабирования: как мы перешли с Ignite на Platform V DataGrid в антифроде
Привет, Хабр! Меня зовут Михаил Сапрыкин, я ведущий инженер разработки в Сбере. Наша команда развивает систему антифрода. Раньше мы работали с Apache Ignite, но затем перешли на Platform V DataGrid — распределённую базу данных в оперативной памяти для высокопроизводительных вычислений, которую разрабатывает СберТех.
Расскажу, как и зачем мы это сделали и как это помогло нам справиться с задачей горизонтального масштабирования.
Читать: https://habr.com/ru/companies/sberbank/articles/754934/
Привет, Хабр! Меня зовут Михаил Сапрыкин, я ведущий инженер разработки в Сбере. Наша команда развивает систему антифрода. Раньше мы работали с Apache Ignite, но затем перешли на Platform V DataGrid — распределённую базу данных в оперативной памяти для высокопроизводительных вычислений, которую разрабатывает СберТех.
Расскажу, как и зачем мы это сделали и как это помогло нам справиться с задачей горизонтального масштабирования.
Читать: https://habr.com/ru/companies/sberbank/articles/754934/
Опыт работы с данными или с чем может столкнуться аналитик
В этой статье хотелось бы погрузить вас в мир данных и вспомнить: какие встречались проекты, связанные с хранилищами и данными, какие задачи приходилось решать, а также какие навыки пригодились.
Но вначале придется разобрать извечные вопросы: кто же такие аналитики, что такое данные и понять – должны ли они быть вместе?
Читать: https://habr.com/ru/companies/neoflex/articles/755248/
В этой статье хотелось бы погрузить вас в мир данных и вспомнить: какие встречались проекты, связанные с хранилищами и данными, какие задачи приходилось решать, а также какие навыки пригодились.
Но вначале придется разобрать извечные вопросы: кто же такие аналитики, что такое данные и понять – должны ли они быть вместе?
Читать: https://habr.com/ru/companies/neoflex/articles/755248/
Виды баз данных. Большой обзор типов СУБД
Часто, в обзорах видов баз данных упоминают реляционные и “другие”, “NoSQL” и т.д., либо приводят самые основные типы СУБД (базы данных), забывая о редких. В данной статье я постараюсь описать максимально полно виды баз данных и привести примеры конкретных реализаций. Разумеется, статья не претендует на всеохватность и классифицировать базы данных можно по разному, в том числе по типам оптимальной нагрузки и т.д., но надеюсь, она даст базовое представление о видах СУБД и принципах их работы.
В статье мы рассмотрим следующие типы баз данных:
Читать: https://habr.com/ru/companies/amvera/articles/754702/
Часто, в обзорах видов баз данных упоминают реляционные и “другие”, “NoSQL” и т.д., либо приводят самые основные типы СУБД (базы данных), забывая о редких. В данной статье я постараюсь описать максимально полно виды баз данных и привести примеры конкретных реализаций. Разумеется, статья не претендует на всеохватность и классифицировать базы данных можно по разному, в том числе по типам оптимальной нагрузки и т.д., но надеюсь, она даст базовое представление о видах СУБД и принципах их работы.
В статье мы рассмотрим следующие типы баз данных:
Читать: https://habr.com/ru/companies/amvera/articles/754702/
Виды баз данных. Большой обзор типов СУБД
Часто, в обзорах видов баз данных упоминают реляционные и “другие”, “NoSQL” и т.д., либо приводят самые основные типы СУБД (базы данных), забывая о редких. В данной статье я постараюсь описать максимально полно виды баз данных и привести примеры конкретных реализаций. Разумеется, статья не претендует на всеохватность и классифицировать базы данных можно по разному, в том числе по типам оптимальной нагрузки и т.д., но надеюсь, она даст базовое представление о видах СУБД и принципах их работы.
В статье мы рассмотрим следующие типы баз данных:
Читать: https://habr.com/ru/companies/amvera/articles/754702/
Часто, в обзорах видов баз данных упоминают реляционные и “другие”, “NoSQL” и т.д., либо приводят самые основные типы СУБД (базы данных), забывая о редких. В данной статье я постараюсь описать максимально полно виды баз данных и привести примеры конкретных реализаций. Разумеется, статья не претендует на всеохватность и классифицировать базы данных можно по разному, в том числе по типам оптимальной нагрузки и т.д., но надеюсь, она даст базовое представление о видах СУБД и принципах их работы.
В статье мы рассмотрим следующие типы баз данных:
Читать: https://habr.com/ru/companies/amvera/articles/754702/
Базы данных и начало работы с SQL
Эта статья имеет широкий спектр применения и будет актуальна для тех, кто хочет больше узнать о том, как управляются и обрабатываются данные в современном информационном мире, и особенно для людей, которые интересуются программированием и планируют строить карьеру в IT.
Статья предоставит читателю обзор основ баз данных и систем управления базами данных, а также поможет начать начать работу с языком структурированных запросов SQL.
Читать: https://habr.com/ru/companies/first/articles/755832/
Эта статья имеет широкий спектр применения и будет актуальна для тех, кто хочет больше узнать о том, как управляются и обрабатываются данные в современном информационном мире, и особенно для людей, которые интересуются программированием и планируют строить карьеру в IT.
Статья предоставит читателю обзор основ баз данных и систем управления базами данных, а также поможет начать начать работу с языком структурированных запросов SQL.
Читать: https://habr.com/ru/companies/first/articles/755832/
👍1
Проектирование базы данных в SAP PowerDesigner
Привет!
Проектирование базы данных - это один из важнейших этапов создания информационной системы. Оно включает в себя определение сущностей, их атрибутов и связей между ними, а также выбор наиболее подходящих типов данных и ограничений целостности.
В данной статье мы рассмотрим процесс проектирования базу данных с нуля (в качестве примера возьмем только один слой БД - витринный, он же Data Mart) с использованием ПО SAP PowerDesigner. В качестве СУБД мы будем использовать Oracle 19c, но вы можете выбрать любую другую, по вашим потребностям (как - об этом чуть ниже).
Рассмотренный в статье инструмент будет интересен системным аналитикам, архитекторам, разработчикам БД и даже бизнес-аналитикам, поскольку помимо создания физических и логических моделей в нем можно рисовать ER-диаграммы, BPMN-модели и многое другое.
Читать: https://habr.com/ru/articles/755284/
Привет!
Проектирование базы данных - это один из важнейших этапов создания информационной системы. Оно включает в себя определение сущностей, их атрибутов и связей между ними, а также выбор наиболее подходящих типов данных и ограничений целостности.
В данной статье мы рассмотрим процесс проектирования базу данных с нуля (в качестве примера возьмем только один слой БД - витринный, он же Data Mart) с использованием ПО SAP PowerDesigner. В качестве СУБД мы будем использовать Oracle 19c, но вы можете выбрать любую другую, по вашим потребностям (как - об этом чуть ниже).
Рассмотренный в статье инструмент будет интересен системным аналитикам, архитекторам, разработчикам БД и даже бизнес-аналитикам, поскольку помимо создания физических и логических моделей в нем можно рисовать ER-диаграммы, BPMN-модели и многое другое.
Читать: https://habr.com/ru/articles/755284/
👍1
Семантические базы данных: RDF, SPARQL и Linked Data
Семантические базы данных представляют собой специально организованные хранилища данных, где информация не только описывает факты, но и содержит семантические связи между ними. В отличие от традиционных баз данных, которые ограничиваются хранением и извлечением данных, семантические базы данных исследуют глубинные связи и значения, лежащие в основе этих данных.
Основными строительными блоками семантических баз данных являются RDF (Resource Denoscription Framework) – формальный язык для описания ресурсов и их отношений, SPARQL – язык запросов к RDF данным, и Linked Data – концепция объединения данных разных источников через общие семантические структуры.
Следует отметить, что применение семантических баз данных также имеет свои сложности и вызовы, связанные с проектированием семантических моделей, производительностью и масштабируемостью. Однако, в совокупности, их потенциал и перспективы предоставления более глубокого понимания данных и разнообразных приложений делают их одной из наиболее захватывающих технологических областей нашего времени.
Читать: https://habr.com/ru/companies/otus/articles/755440/
Семантические базы данных представляют собой специально организованные хранилища данных, где информация не только описывает факты, но и содержит семантические связи между ними. В отличие от традиционных баз данных, которые ограничиваются хранением и извлечением данных, семантические базы данных исследуют глубинные связи и значения, лежащие в основе этих данных.
Основными строительными блоками семантических баз данных являются RDF (Resource Denoscription Framework) – формальный язык для описания ресурсов и их отношений, SPARQL – язык запросов к RDF данным, и Linked Data – концепция объединения данных разных источников через общие семантические структуры.
Следует отметить, что применение семантических баз данных также имеет свои сложности и вызовы, связанные с проектированием семантических моделей, производительностью и масштабируемостью. Однако, в совокупности, их потенциал и перспективы предоставления более глубокого понимания данных и разнообразных приложений делают их одной из наиболее захватывающих технологических областей нашего времени.
Читать: https://habr.com/ru/companies/otus/articles/755440/
DATABASE DESIGN
Photo
What's New in Atlas Charts: Summer 2023 Release Roundup
Atlas Charts, a data visualization tool for MongoDB Atlas, has announced several updates in its summer 2023 release. These updates include expanded customization options in the Charts Embedding SDK, an out-of-the-box billing dashboard, support for candlestick charts, and query execution improvements for larger datasets. The Charts Embedding SDK now allows for greater customization of embedded charts and dashboards. The new billing dashboard simplifies monitoring Atlas billing data. Candlestick charts have been added to support financial data visualization. Query execution has been improved to handle more complex queries and longer rendering times. These updates aim to make Atlas Charts more powerful and user-friendly. Alongside these updates, the Talent Sourcing team at MongoDB, which is responsible for sourcing talent for the company, is highlighted with interviews from team members. MongoDB.local Auckland, an event showcasing MongoDB and its community in New Zealand, was also held recently, with announcements of MongoDB's support for the cloud regions of Microsoft, Amazon, and Google in New Zealand. The text informs the reader about the availability of a MongoDB.local event and encourages them to check if there will be one happening in their city. The specific date mentioned is August 17, 2023.
Read: https://www.mongodb.com/blog/post/whats-new-atlas-charts-summer-2023-release-roundup
Atlas Charts, a data visualization tool for MongoDB Atlas, has announced several updates in its summer 2023 release. These updates include expanded customization options in the Charts Embedding SDK, an out-of-the-box billing dashboard, support for candlestick charts, and query execution improvements for larger datasets. The Charts Embedding SDK now allows for greater customization of embedded charts and dashboards. The new billing dashboard simplifies monitoring Atlas billing data. Candlestick charts have been added to support financial data visualization. Query execution has been improved to handle more complex queries and longer rendering times. These updates aim to make Atlas Charts more powerful and user-friendly. Alongside these updates, the Talent Sourcing team at MongoDB, which is responsible for sourcing talent for the company, is highlighted with interviews from team members. MongoDB.local Auckland, an event showcasing MongoDB and its community in New Zealand, was also held recently, with announcements of MongoDB's support for the cloud regions of Microsoft, Amazon, and Google in New Zealand. The text informs the reader about the availability of a MongoDB.local event and encourages them to check if there will be one happening in their city. The specific date mentioned is August 17, 2023.
Read: https://www.mongodb.com/blog/post/whats-new-atlas-charts-summer-2023-release-roundup
Jira для HR-отдела: база данных о сотрудниках и автоматизации управления персоналом
Погрешности в учете рабочего времени и оплате труда, несистематизированный подход к онбордингу и развитию сотрудников, недостаток контроля за выполнением задач и сроками, неудовлетворительное взаимодействие с сотрудниками и отсутствие обратной связи, отсутствие инструментов для анализа продуктивности работы сотрудников — это самые неочевидные ошибки в управлении персоналом, но при этом они оказывают прямое влияние на бизнес.
В данной статье приведу пример организации досок Jira с использованием автоматизаций, который помогает сэкономить прорву времени HR-специалисту.
Читать: https://habr.com/ru/articles/755978/
Погрешности в учете рабочего времени и оплате труда, несистематизированный подход к онбордингу и развитию сотрудников, недостаток контроля за выполнением задач и сроками, неудовлетворительное взаимодействие с сотрудниками и отсутствие обратной связи, отсутствие инструментов для анализа продуктивности работы сотрудников — это самые неочевидные ошибки в управлении персоналом, но при этом они оказывают прямое влияние на бизнес.
В данной статье приведу пример организации досок Jira с использованием автоматизаций, который помогает сэкономить прорву времени HR-специалисту.
Читать: https://habr.com/ru/articles/755978/
TimescaleDB против всех: как база данных справляется с рядом сложных задач
В фильме «Отряд самоубийц: Миссия навылет», когда персонажи Идриса Эльбы (Бладспот) и Джона Сины (Миротворец) знакомятся при участии Аманды Уоллер, звучит следующая фраза:
– Ты сказала, что у всех в отряде уникальные навыки, а он — это тот же я.
Источник
Казалось бы, при чем здесь базы данных? На самом деле, отношения между PostgreSQL и TimescaleDB напоминают эту пару героев. PostgreSQL — одна из самых популярных СУБД в мире. Вокруг решения давно существует комьюнити, а за годы в коммерческой разработке набралось достаточно документации. TimescaleDB, будучи расширением PostgreSQL, умеет многое из ее арсенала, но применяется более точечно. В основном в проектах, где нужно работать с временными рядами или собирать данные с IoT-устройств.
В этом материале мы рассмотрим особенности работы TimescaleDB, а также покажем, как ее использует клиент Selectel — сервис DwarfByte.
Читать: https://habr.com/ru/companies/selectel/articles/756146/
В фильме «Отряд самоубийц: Миссия навылет», когда персонажи Идриса Эльбы (Бладспот) и Джона Сины (Миротворец) знакомятся при участии Аманды Уоллер, звучит следующая фраза:
– Ты сказала, что у всех в отряде уникальные навыки, а он — это тот же я.
Источник
Казалось бы, при чем здесь базы данных? На самом деле, отношения между PostgreSQL и TimescaleDB напоминают эту пару героев. PostgreSQL — одна из самых популярных СУБД в мире. Вокруг решения давно существует комьюнити, а за годы в коммерческой разработке набралось достаточно документации. TimescaleDB, будучи расширением PostgreSQL, умеет многое из ее арсенала, но применяется более точечно. В основном в проектах, где нужно работать с временными рядами или собирать данные с IoT-устройств.
В этом материале мы рассмотрим особенности работы TimescaleDB, а также покажем, как ее использует клиент Selectel — сервис DwarfByte.
Читать: https://habr.com/ru/companies/selectel/articles/756146/
Crafting Precision: Query Enhancements in MongoDB 7.0
Read: https://www.mongodb.com/blog/post/query-enhancement-mongodb-7-0
Read: https://www.mongodb.com/blog/post/query-enhancement-mongodb-7-0
Из цикла ETL: настройка первого отчета в Google Looker
Показали, как построить дашборд в Google Looker на базе логов Dialogflow.
Читать: «Из цикла ETL: настройка первого отчета в Google Looker»
Показали, как построить дашборд в Google Looker на базе логов Dialogflow.
Читать: «Из цикла ETL: настройка первого отчета в Google Looker»
Tproger
Из цикла ETL: настройка первого отчета в Google Looker
Показали, как построить дашборд в Google Looker на базе логов Dialogflow.
Многоступенчатый фильтр: как очистить огромный массив данных от дубликатов
Рассказали, как удалить дубликаты в огромной базе данных, и о том, как обработать большой объем данных невысокого качества.
Читать: «Многоступенчатый фильтр: как очистить огромный массив данных от дубликатов»
Рассказали, как удалить дубликаты в огромной базе данных, и о том, как обработать большой объем данных невысокого качества.
Читать: «Многоступенчатый фильтр: как очистить огромный массив данных от дубликатов»
Tproger
Многоступенчатый фильтр: как очистить огромный массив данных от дубликатов
Рассказали, как удалить дубликаты в огромной базе данных, и о том, как обработать большой объем данных невысокого качества.
Из цикла ETL: Создаем Tripwire-бота на aiogram, часть 1
Рассказали, как создать привлекающего на курс по управлению проектами Telegram-бота на aiogram, с полным разбором кода.
Читать: «Из цикла ETL: Создаем Tripwire-бота на aiogram, часть 1»
Рассказали, как создать привлекающего на курс по управлению проектами Telegram-бота на aiogram, с полным разбором кода.
Читать: «Из цикла ETL: Создаем Tripwire-бота на aiogram, часть 1»
Tproger
Из цикла ETL: Создаем Telegram-бота на aiogram, часть 1
Рассказали, как создать привлекающего на курс по управлению проектами Telegram-бота на aiogram, с полным разбором кода.
Empowering Automotive Developers for the Road Ahead
Read: https://www.mongodb.com/blog/post/empowering-automotive-developers-road-ahead
Read: https://www.mongodb.com/blog/post/empowering-automotive-developers-road-ahead
❤1
Наполняем до краев: влияние порядка столбцов в таблицах на размеры баз данных PostgresQL
При оценке требований базы данных к оборудованию требуется учет многих факторов. И здесь у Postgres есть одна интересная особенность, которая почти всегда ускользает от внимания разработчиков, потому что она искусно спрятана между столбцами таблиц.
И что же там прячется?
Читать: https://habr.com/ru/articles/756074/
При оценке требований базы данных к оборудованию требуется учет многих факторов. И здесь у Postgres есть одна интересная особенность, которая почти всегда ускользает от внимания разработчиков, потому что она искусно спрятана между столбцами таблиц.
И что же там прячется?
Читать: https://habr.com/ru/articles/756074/