11 лет хостинга SaaS: история и мой опыт
Источник
Нашему ресурсу Tanda скоро исполняется 11 лет. По этому поводу один из моих читателей высказал идею, что было бы классно поразмышлять на тему опыта, который я получил за долгие годы управления этим приложением.
В итоге я просидел над этой статьёй целую вечность, потому что процессы развёртывания, хостинга и управления инфраструктурой в целом на протяжении десяти лет являлись, пожалуй, наиболее трудной и беспокойной частью моей работы. В основном причина в том, что я постоянно окунался в омут с головой и зачастую не понимал, что делал. К сожалению, когда у вас есть активное приложение, которое используют многие люди, вы не всегда находите время на подобающее изучение матчасти.
Изложенная в этой статье история разбита на несколько этапов, через которые мы прошли. Я написал её, чтобы те, кто окажется на аналогичном пути, могли миновать некоторые из его острых углов.
Читать: https://habr.com/ru/companies/ruvds/articles/743280/
Источник
Нашему ресурсу Tanda скоро исполняется 11 лет. По этому поводу один из моих читателей высказал идею, что было бы классно поразмышлять на тему опыта, который я получил за долгие годы управления этим приложением.
В итоге я просидел над этой статьёй целую вечность, потому что процессы развёртывания, хостинга и управления инфраструктурой в целом на протяжении десяти лет являлись, пожалуй, наиболее трудной и беспокойной частью моей работы. В основном причина в том, что я постоянно окунался в омут с головой и зачастую не понимал, что делал. К сожалению, когда у вас есть активное приложение, которое используют многие люди, вы не всегда находите время на подобающее изучение матчасти.
Изложенная в этой статье история разбита на несколько этапов, через которые мы прошли. Я написал её, чтобы те, кто окажется на аналогичном пути, могли миновать некоторые из его острых углов.
Читать: https://habr.com/ru/companies/ruvds/articles/743280/
Какие технологии использует Российская медицина? (ручка/клей/оборотка) Часть первая
Я врач хирург, работаю в одной из гос клиник России, и попробую Вам изложить, есть ли электронные карты пациентов, базы данных с мкб, есть ли клинические рекомендации, и как помогает компьютер в жизни штатного врача стационара и поликлиники.
Читать: https://habr.com/ru/articles/747158/
Я врач хирург, работаю в одной из гос клиник России, и попробую Вам изложить, есть ли электронные карты пациентов, базы данных с мкб, есть ли клинические рекомендации, и как помогает компьютер в жизни штатного врача стационара и поликлиники.
Читать: https://habr.com/ru/articles/747158/
Архитектура аналитической платформы Modus: ETL
Начинаем цикл статей об архитектуре аналитических платформ. Поговорим об общем устройстве и подробнее остановимся на анатомии ETL на примере Modus. Вы узнаете, из каких компонентов состоит аналитическая система, откуда она получает и как работает с данными, и что мы в Modus делаем такого, чтобы оптимизировать эти процессы.
Читать: https://habr.com/ru/companies/modusbi/articles/747866/
Начинаем цикл статей об архитектуре аналитических платформ. Поговорим об общем устройстве и подробнее остановимся на анатомии ETL на примере Modus. Вы узнаете, из каких компонентов состоит аналитическая система, откуда она получает и как работает с данными, и что мы в Modus делаем такого, чтобы оптимизировать эти процессы.
Читать: https://habr.com/ru/companies/modusbi/articles/747866/
Высокодоступный MySQL на конвейере
Что нужно автоматизировать в управляемой базе данных? Какие нас ждут проблемы эксплуатации MySQL в облаках? Разберём существующие решения, позволяющие обеспечивать эффективную конфигурацию под высокую доступность и высокие нагрузки, а также их недостатки и практическое применение.
Поможет нам в этом Дмитрий Смаль, руководитель подразделения Managed MySQL и SQL Server в Яндексе. Каждый день он занимается эксплуатацией и автоматизацией СУБД, а до этого делал нагруженные и не очень web-приложения. В целом любит делать разные интересные штуковины, которые работают! Сегодня мы с ним будем говорить про решение для высокодоступного MySQL.
Читать: https://habr.com/ru/companies/oleg-bunin/articles/754634/
Что нужно автоматизировать в управляемой базе данных? Какие нас ждут проблемы эксплуатации MySQL в облаках? Разберём существующие решения, позволяющие обеспечивать эффективную конфигурацию под высокую доступность и высокие нагрузки, а также их недостатки и практическое применение.
Поможет нам в этом Дмитрий Смаль, руководитель подразделения Managed MySQL и SQL Server в Яндексе. Каждый день он занимается эксплуатацией и автоматизацией СУБД, а до этого делал нагруженные и не очень web-приложения. В целом любит делать разные интересные штуковины, которые работают! Сегодня мы с ним будем говорить про решение для высокодоступного MySQL.
Читать: https://habr.com/ru/companies/oleg-bunin/articles/754634/
FineBI-g brother is watching you: как мы начали анализировать действия пользователей в Fine
Привет, Хабр! Мы — BI-команда Tele2. В прошлом году, как и многие наши коллеги по рынку, мы столкнулись с проблемой поиска альтернативы BI-платформам покинувших нас вендоров. О том, как подходить к замене платформы, уже много рассказано здесь и на других ресурсах. В этой статье мы остановимся на конкретном кейсе — как мы решили задачу поиска и последующего анализа действий и полномочий наших пользователей, а также взяли под контроль обновление источников. Под катом мы рассказываем, как собрать датасеты в FineBI, на которых можно построить дашборды о дашбордах и получить данные о посещаемости отчетов, их расположении в директориях и доступах к ним пользователей.
Читать: https://habr.com/ru/companies/tele2/articles/754748/
Привет, Хабр! Мы — BI-команда Tele2. В прошлом году, как и многие наши коллеги по рынку, мы столкнулись с проблемой поиска альтернативы BI-платформам покинувших нас вендоров. О том, как подходить к замене платформы, уже много рассказано здесь и на других ресурсах. В этой статье мы остановимся на конкретном кейсе — как мы решили задачу поиска и последующего анализа действий и полномочий наших пользователей, а также взяли под контроль обновление источников. Под катом мы рассказываем, как собрать датасеты в FineBI, на которых можно построить дашборды о дашбордах и получить данные о посещаемости отчетов, их расположении в директориях и доступах к ним пользователей.
Читать: https://habr.com/ru/companies/tele2/articles/754748/
Обзор Infortrend GS 2024U — бюджетная СХД с претензией на нечто большее
Хабр, привет! На связи лаборатория вычислительных решений КРОК, и мы продолжаем рассказывать о тестировании СХД и серверов.
Сегодня в очереди на экзекуцию тайваньская СХД Infortrend GS 2024U. Это железка начального уровня, производитель которой в основном делает бюджетные решения. От нее по умолчанию не ожидаешь ничего особенного, но… Впрочем, не будем забегать вперед. Под катом подробный рассказ о тестировании и о том, как лучше использовать эту СХД на практике.
Читать: https://habr.com/ru/companies/croc/articles/754936/
Хабр, привет! На связи лаборатория вычислительных решений КРОК, и мы продолжаем рассказывать о тестировании СХД и серверов.
Сегодня в очереди на экзекуцию тайваньская СХД Infortrend GS 2024U. Это железка начального уровня, производитель которой в основном делает бюджетные решения. От нее по умолчанию не ожидаешь ничего особенного, но… Впрочем, не будем забегать вперед. Под катом подробный рассказ о тестировании и о том, как лучше использовать эту СХД на практике.
Читать: https://habr.com/ru/companies/croc/articles/754936/
Опыт горизонтального масштабирования: как мы перешли с Ignite на Platform V DataGrid в антифроде
Привет, Хабр! Меня зовут Михаил Сапрыкин, я ведущий инженер разработки в Сбере. Наша команда развивает систему антифрода. Раньше мы работали с Apache Ignite, но затем перешли на Platform V DataGrid — распределённую базу данных в оперативной памяти для высокопроизводительных вычислений, которую разрабатывает СберТех.
Расскажу, как и зачем мы это сделали и как это помогло нам справиться с задачей горизонтального масштабирования.
Читать: https://habr.com/ru/companies/sberbank/articles/754934/
Привет, Хабр! Меня зовут Михаил Сапрыкин, я ведущий инженер разработки в Сбере. Наша команда развивает систему антифрода. Раньше мы работали с Apache Ignite, но затем перешли на Platform V DataGrid — распределённую базу данных в оперативной памяти для высокопроизводительных вычислений, которую разрабатывает СберТех.
Расскажу, как и зачем мы это сделали и как это помогло нам справиться с задачей горизонтального масштабирования.
Читать: https://habr.com/ru/companies/sberbank/articles/754934/
Опыт работы с данными или с чем может столкнуться аналитик
В этой статье хотелось бы погрузить вас в мир данных и вспомнить: какие встречались проекты, связанные с хранилищами и данными, какие задачи приходилось решать, а также какие навыки пригодились.
Но вначале придется разобрать извечные вопросы: кто же такие аналитики, что такое данные и понять – должны ли они быть вместе?
Читать: https://habr.com/ru/companies/neoflex/articles/755248/
В этой статье хотелось бы погрузить вас в мир данных и вспомнить: какие встречались проекты, связанные с хранилищами и данными, какие задачи приходилось решать, а также какие навыки пригодились.
Но вначале придется разобрать извечные вопросы: кто же такие аналитики, что такое данные и понять – должны ли они быть вместе?
Читать: https://habr.com/ru/companies/neoflex/articles/755248/
Виды баз данных. Большой обзор типов СУБД
Часто, в обзорах видов баз данных упоминают реляционные и “другие”, “NoSQL” и т.д., либо приводят самые основные типы СУБД (базы данных), забывая о редких. В данной статье я постараюсь описать максимально полно виды баз данных и привести примеры конкретных реализаций. Разумеется, статья не претендует на всеохватность и классифицировать базы данных можно по разному, в том числе по типам оптимальной нагрузки и т.д., но надеюсь, она даст базовое представление о видах СУБД и принципах их работы.
В статье мы рассмотрим следующие типы баз данных:
Читать: https://habr.com/ru/companies/amvera/articles/754702/
Часто, в обзорах видов баз данных упоминают реляционные и “другие”, “NoSQL” и т.д., либо приводят самые основные типы СУБД (базы данных), забывая о редких. В данной статье я постараюсь описать максимально полно виды баз данных и привести примеры конкретных реализаций. Разумеется, статья не претендует на всеохватность и классифицировать базы данных можно по разному, в том числе по типам оптимальной нагрузки и т.д., но надеюсь, она даст базовое представление о видах СУБД и принципах их работы.
В статье мы рассмотрим следующие типы баз данных:
Читать: https://habr.com/ru/companies/amvera/articles/754702/
Виды баз данных. Большой обзор типов СУБД
Часто, в обзорах видов баз данных упоминают реляционные и “другие”, “NoSQL” и т.д., либо приводят самые основные типы СУБД (базы данных), забывая о редких. В данной статье я постараюсь описать максимально полно виды баз данных и привести примеры конкретных реализаций. Разумеется, статья не претендует на всеохватность и классифицировать базы данных можно по разному, в том числе по типам оптимальной нагрузки и т.д., но надеюсь, она даст базовое представление о видах СУБД и принципах их работы.
В статье мы рассмотрим следующие типы баз данных:
Читать: https://habr.com/ru/companies/amvera/articles/754702/
Часто, в обзорах видов баз данных упоминают реляционные и “другие”, “NoSQL” и т.д., либо приводят самые основные типы СУБД (базы данных), забывая о редких. В данной статье я постараюсь описать максимально полно виды баз данных и привести примеры конкретных реализаций. Разумеется, статья не претендует на всеохватность и классифицировать базы данных можно по разному, в том числе по типам оптимальной нагрузки и т.д., но надеюсь, она даст базовое представление о видах СУБД и принципах их работы.
В статье мы рассмотрим следующие типы баз данных:
Читать: https://habr.com/ru/companies/amvera/articles/754702/
Базы данных и начало работы с SQL
Эта статья имеет широкий спектр применения и будет актуальна для тех, кто хочет больше узнать о том, как управляются и обрабатываются данные в современном информационном мире, и особенно для людей, которые интересуются программированием и планируют строить карьеру в IT.
Статья предоставит читателю обзор основ баз данных и систем управления базами данных, а также поможет начать начать работу с языком структурированных запросов SQL.
Читать: https://habr.com/ru/companies/first/articles/755832/
Эта статья имеет широкий спектр применения и будет актуальна для тех, кто хочет больше узнать о том, как управляются и обрабатываются данные в современном информационном мире, и особенно для людей, которые интересуются программированием и планируют строить карьеру в IT.
Статья предоставит читателю обзор основ баз данных и систем управления базами данных, а также поможет начать начать работу с языком структурированных запросов SQL.
Читать: https://habr.com/ru/companies/first/articles/755832/
👍1
Проектирование базы данных в SAP PowerDesigner
Привет!
Проектирование базы данных - это один из важнейших этапов создания информационной системы. Оно включает в себя определение сущностей, их атрибутов и связей между ними, а также выбор наиболее подходящих типов данных и ограничений целостности.
В данной статье мы рассмотрим процесс проектирования базу данных с нуля (в качестве примера возьмем только один слой БД - витринный, он же Data Mart) с использованием ПО SAP PowerDesigner. В качестве СУБД мы будем использовать Oracle 19c, но вы можете выбрать любую другую, по вашим потребностям (как - об этом чуть ниже).
Рассмотренный в статье инструмент будет интересен системным аналитикам, архитекторам, разработчикам БД и даже бизнес-аналитикам, поскольку помимо создания физических и логических моделей в нем можно рисовать ER-диаграммы, BPMN-модели и многое другое.
Читать: https://habr.com/ru/articles/755284/
Привет!
Проектирование базы данных - это один из важнейших этапов создания информационной системы. Оно включает в себя определение сущностей, их атрибутов и связей между ними, а также выбор наиболее подходящих типов данных и ограничений целостности.
В данной статье мы рассмотрим процесс проектирования базу данных с нуля (в качестве примера возьмем только один слой БД - витринный, он же Data Mart) с использованием ПО SAP PowerDesigner. В качестве СУБД мы будем использовать Oracle 19c, но вы можете выбрать любую другую, по вашим потребностям (как - об этом чуть ниже).
Рассмотренный в статье инструмент будет интересен системным аналитикам, архитекторам, разработчикам БД и даже бизнес-аналитикам, поскольку помимо создания физических и логических моделей в нем можно рисовать ER-диаграммы, BPMN-модели и многое другое.
Читать: https://habr.com/ru/articles/755284/
👍1
Семантические базы данных: RDF, SPARQL и Linked Data
Семантические базы данных представляют собой специально организованные хранилища данных, где информация не только описывает факты, но и содержит семантические связи между ними. В отличие от традиционных баз данных, которые ограничиваются хранением и извлечением данных, семантические базы данных исследуют глубинные связи и значения, лежащие в основе этих данных.
Основными строительными блоками семантических баз данных являются RDF (Resource Denoscription Framework) – формальный язык для описания ресурсов и их отношений, SPARQL – язык запросов к RDF данным, и Linked Data – концепция объединения данных разных источников через общие семантические структуры.
Следует отметить, что применение семантических баз данных также имеет свои сложности и вызовы, связанные с проектированием семантических моделей, производительностью и масштабируемостью. Однако, в совокупности, их потенциал и перспективы предоставления более глубокого понимания данных и разнообразных приложений делают их одной из наиболее захватывающих технологических областей нашего времени.
Читать: https://habr.com/ru/companies/otus/articles/755440/
Семантические базы данных представляют собой специально организованные хранилища данных, где информация не только описывает факты, но и содержит семантические связи между ними. В отличие от традиционных баз данных, которые ограничиваются хранением и извлечением данных, семантические базы данных исследуют глубинные связи и значения, лежащие в основе этих данных.
Основными строительными блоками семантических баз данных являются RDF (Resource Denoscription Framework) – формальный язык для описания ресурсов и их отношений, SPARQL – язык запросов к RDF данным, и Linked Data – концепция объединения данных разных источников через общие семантические структуры.
Следует отметить, что применение семантических баз данных также имеет свои сложности и вызовы, связанные с проектированием семантических моделей, производительностью и масштабируемостью. Однако, в совокупности, их потенциал и перспективы предоставления более глубокого понимания данных и разнообразных приложений делают их одной из наиболее захватывающих технологических областей нашего времени.
Читать: https://habr.com/ru/companies/otus/articles/755440/
DATABASE DESIGN
Photo
What's New in Atlas Charts: Summer 2023 Release Roundup
Atlas Charts, a data visualization tool for MongoDB Atlas, has announced several updates in its summer 2023 release. These updates include expanded customization options in the Charts Embedding SDK, an out-of-the-box billing dashboard, support for candlestick charts, and query execution improvements for larger datasets. The Charts Embedding SDK now allows for greater customization of embedded charts and dashboards. The new billing dashboard simplifies monitoring Atlas billing data. Candlestick charts have been added to support financial data visualization. Query execution has been improved to handle more complex queries and longer rendering times. These updates aim to make Atlas Charts more powerful and user-friendly. Alongside these updates, the Talent Sourcing team at MongoDB, which is responsible for sourcing talent for the company, is highlighted with interviews from team members. MongoDB.local Auckland, an event showcasing MongoDB and its community in New Zealand, was also held recently, with announcements of MongoDB's support for the cloud regions of Microsoft, Amazon, and Google in New Zealand. The text informs the reader about the availability of a MongoDB.local event and encourages them to check if there will be one happening in their city. The specific date mentioned is August 17, 2023.
Read: https://www.mongodb.com/blog/post/whats-new-atlas-charts-summer-2023-release-roundup
Atlas Charts, a data visualization tool for MongoDB Atlas, has announced several updates in its summer 2023 release. These updates include expanded customization options in the Charts Embedding SDK, an out-of-the-box billing dashboard, support for candlestick charts, and query execution improvements for larger datasets. The Charts Embedding SDK now allows for greater customization of embedded charts and dashboards. The new billing dashboard simplifies monitoring Atlas billing data. Candlestick charts have been added to support financial data visualization. Query execution has been improved to handle more complex queries and longer rendering times. These updates aim to make Atlas Charts more powerful and user-friendly. Alongside these updates, the Talent Sourcing team at MongoDB, which is responsible for sourcing talent for the company, is highlighted with interviews from team members. MongoDB.local Auckland, an event showcasing MongoDB and its community in New Zealand, was also held recently, with announcements of MongoDB's support for the cloud regions of Microsoft, Amazon, and Google in New Zealand. The text informs the reader about the availability of a MongoDB.local event and encourages them to check if there will be one happening in their city. The specific date mentioned is August 17, 2023.
Read: https://www.mongodb.com/blog/post/whats-new-atlas-charts-summer-2023-release-roundup
Jira для HR-отдела: база данных о сотрудниках и автоматизации управления персоналом
Погрешности в учете рабочего времени и оплате труда, несистематизированный подход к онбордингу и развитию сотрудников, недостаток контроля за выполнением задач и сроками, неудовлетворительное взаимодействие с сотрудниками и отсутствие обратной связи, отсутствие инструментов для анализа продуктивности работы сотрудников — это самые неочевидные ошибки в управлении персоналом, но при этом они оказывают прямое влияние на бизнес.
В данной статье приведу пример организации досок Jira с использованием автоматизаций, который помогает сэкономить прорву времени HR-специалисту.
Читать: https://habr.com/ru/articles/755978/
Погрешности в учете рабочего времени и оплате труда, несистематизированный подход к онбордингу и развитию сотрудников, недостаток контроля за выполнением задач и сроками, неудовлетворительное взаимодействие с сотрудниками и отсутствие обратной связи, отсутствие инструментов для анализа продуктивности работы сотрудников — это самые неочевидные ошибки в управлении персоналом, но при этом они оказывают прямое влияние на бизнес.
В данной статье приведу пример организации досок Jira с использованием автоматизаций, который помогает сэкономить прорву времени HR-специалисту.
Читать: https://habr.com/ru/articles/755978/
TimescaleDB против всех: как база данных справляется с рядом сложных задач
В фильме «Отряд самоубийц: Миссия навылет», когда персонажи Идриса Эльбы (Бладспот) и Джона Сины (Миротворец) знакомятся при участии Аманды Уоллер, звучит следующая фраза:
– Ты сказала, что у всех в отряде уникальные навыки, а он — это тот же я.
Источник
Казалось бы, при чем здесь базы данных? На самом деле, отношения между PostgreSQL и TimescaleDB напоминают эту пару героев. PostgreSQL — одна из самых популярных СУБД в мире. Вокруг решения давно существует комьюнити, а за годы в коммерческой разработке набралось достаточно документации. TimescaleDB, будучи расширением PostgreSQL, умеет многое из ее арсенала, но применяется более точечно. В основном в проектах, где нужно работать с временными рядами или собирать данные с IoT-устройств.
В этом материале мы рассмотрим особенности работы TimescaleDB, а также покажем, как ее использует клиент Selectel — сервис DwarfByte.
Читать: https://habr.com/ru/companies/selectel/articles/756146/
В фильме «Отряд самоубийц: Миссия навылет», когда персонажи Идриса Эльбы (Бладспот) и Джона Сины (Миротворец) знакомятся при участии Аманды Уоллер, звучит следующая фраза:
– Ты сказала, что у всех в отряде уникальные навыки, а он — это тот же я.
Источник
Казалось бы, при чем здесь базы данных? На самом деле, отношения между PostgreSQL и TimescaleDB напоминают эту пару героев. PostgreSQL — одна из самых популярных СУБД в мире. Вокруг решения давно существует комьюнити, а за годы в коммерческой разработке набралось достаточно документации. TimescaleDB, будучи расширением PostgreSQL, умеет многое из ее арсенала, но применяется более точечно. В основном в проектах, где нужно работать с временными рядами или собирать данные с IoT-устройств.
В этом материале мы рассмотрим особенности работы TimescaleDB, а также покажем, как ее использует клиент Selectel — сервис DwarfByte.
Читать: https://habr.com/ru/companies/selectel/articles/756146/
Crafting Precision: Query Enhancements in MongoDB 7.0
Read: https://www.mongodb.com/blog/post/query-enhancement-mongodb-7-0
Read: https://www.mongodb.com/blog/post/query-enhancement-mongodb-7-0
Из цикла ETL: настройка первого отчета в Google Looker
Показали, как построить дашборд в Google Looker на базе логов Dialogflow.
Читать: «Из цикла ETL: настройка первого отчета в Google Looker»
Показали, как построить дашборд в Google Looker на базе логов Dialogflow.
Читать: «Из цикла ETL: настройка первого отчета в Google Looker»
Tproger
Из цикла ETL: настройка первого отчета в Google Looker
Показали, как построить дашборд в Google Looker на базе логов Dialogflow.
Многоступенчатый фильтр: как очистить огромный массив данных от дубликатов
Рассказали, как удалить дубликаты в огромной базе данных, и о том, как обработать большой объем данных невысокого качества.
Читать: «Многоступенчатый фильтр: как очистить огромный массив данных от дубликатов»
Рассказали, как удалить дубликаты в огромной базе данных, и о том, как обработать большой объем данных невысокого качества.
Читать: «Многоступенчатый фильтр: как очистить огромный массив данных от дубликатов»
Tproger
Многоступенчатый фильтр: как очистить огромный массив данных от дубликатов
Рассказали, как удалить дубликаты в огромной базе данных, и о том, как обработать большой объем данных невысокого качества.