Newbie Guide: разбираемся с MVCC на простых примерах
Изоляция транзакций в СУБД — важный механизм, который позволяет пользователю получить согласованное состояние данных и работать с ними, не допуская конфликтов и снижения производительности. Организовать изоляцию нужного уровня можно несколькими способами, один из которых — MVCC (Multiversion Concurrency Control, многоверсионное управление конкурентным доступом).
Читать: https://habr.com/ru/companies/vk/articles/740108/
Изоляция транзакций в СУБД — важный механизм, который позволяет пользователю получить согласованное состояние данных и работать с ними, не допуская конфликтов и снижения производительности. Организовать изоляцию нужного уровня можно несколькими способами, один из которых — MVCC (Multiversion Concurrency Control, многоверсионное управление конкурентным доступом).
Читать: https://habr.com/ru/companies/vk/articles/740108/
Кто мощнее в базах данных? Сравниваем производительность БД на серверах с ARM- и x86-процессорами
Всем привет! Ранее я разобрал и протестировал сервер с процессором ARM, который попал к нам в Selectel Lab. Сервер показал хорошие результаты по производительности в ряде классических тестов, но в этот раз захотелось проверить его в боевой задаче — в работе с базами данных. Быть может, архитектура ARM-процессора сделает всех конкурентов на этой территории?
Чтобы ответить на этот вопрос, протестировал ARM вместе с семеркой серверов разных конфигураций с процессорами Intel и AMD. В качестве баз данных для нашего эксперимента выбрал самые популярные — PostgreSQL и MySQL. Результаты тестов с графиками и комментариями — под катом. Надеюсь, они будут полезны вам при выборе сервера под БД.
Читать: https://habr.com/ru/companies/selectel/articles/740492/
Всем привет! Ранее я разобрал и протестировал сервер с процессором ARM, который попал к нам в Selectel Lab. Сервер показал хорошие результаты по производительности в ряде классических тестов, но в этот раз захотелось проверить его в боевой задаче — в работе с базами данных. Быть может, архитектура ARM-процессора сделает всех конкурентов на этой территории?
Чтобы ответить на этот вопрос, протестировал ARM вместе с семеркой серверов разных конфигураций с процессорами Intel и AMD. В качестве баз данных для нашего эксперимента выбрал самые популярные — PostgreSQL и MySQL. Результаты тестов с графиками и комментариями — под катом. Надеюсь, они будут полезны вам при выборе сервера под БД.
Читать: https://habr.com/ru/companies/selectel/articles/740492/
Сравнение производительности YDB, CockroachDB и YugabyteDB на бенчмарке YCSB
Привет! Меня зовут Евгений Иванов, я разработчик YDB. Мне очень нравится заниматься задачами, связанными с производительностью: бенчить, анализировать, оптимизировать. И в YDB мы придаем очень большое значения тому, чтобы быть эффективными. В этом посте я хочу представить Вашему вниманию перевод нашей свежей статьи "YCSB performance series: YDB, CockroachDB, and YugabyteDB".
Реализовать распределённую систему управления базами данных (СУБД), высокопроизводительную, масштабируемую и консистентную, — настоящий вызов. В YDB успешно с ним справились, и наши пользователи могут это подтвердить. Мы ещё не делились показателями нашей производительности на широкую аудиторию, но понимаем их значимость. Поэтому сегодня мы расскажем о результатах нашего исследования производительности.
YDB — это распределённая реляционная СУБД. Производительность распределённых транзакций в TPC-C и других сложных бенчмарках во многом зависит от реализации хранения данных по ключу. В этом посте посте мы сравним результаты тестов YCSB для YDB и двух других известных распределённых SQL-баз данных — CockroachDB и YugabyteDB. Спойлер: YDB превзойдёт конкурентов по многим нагрузкам YCSB.
Читать: https://habr.com/ru/articles/740560/
Привет! Меня зовут Евгений Иванов, я разработчик YDB. Мне очень нравится заниматься задачами, связанными с производительностью: бенчить, анализировать, оптимизировать. И в YDB мы придаем очень большое значения тому, чтобы быть эффективными. В этом посте я хочу представить Вашему вниманию перевод нашей свежей статьи "YCSB performance series: YDB, CockroachDB, and YugabyteDB".
Реализовать распределённую систему управления базами данных (СУБД), высокопроизводительную, масштабируемую и консистентную, — настоящий вызов. В YDB успешно с ним справились, и наши пользователи могут это подтвердить. Мы ещё не делились показателями нашей производительности на широкую аудиторию, но понимаем их значимость. Поэтому сегодня мы расскажем о результатах нашего исследования производительности.
YDB — это распределённая реляционная СУБД. Производительность распределённых транзакций в TPC-C и других сложных бенчмарках во многом зависит от реализации хранения данных по ключу. В этом посте посте мы сравним результаты тестов YCSB для YDB и двух других известных распределённых SQL-баз данных — CockroachDB и YugabyteDB. Спойлер: YDB превзойдёт конкурентов по многим нагрузкам YCSB.
Читать: https://habr.com/ru/articles/740560/
Эффект внутреннего JSON
Джейк с энтузиазмом приступил к своей новой работе, ожидая нового опыта и новых сложных задач. Он жаждал изучать новые стеки технологий и узнать, чему его новая компания может научить его в мире ПО.
Ему сказали, что он будет работать над веб-сайтами и иметь дело с JavaScript, Node.js, JSON и тому подобным. Звучало вполне логично для веб-разработки; странным был только комментарий нетехнического собеседователя, что всё «построено на основе Subversion»; Джейк решил, что просто чего-то недопонял.
Его поставили на проект, в котором использовался собственный «JSON-based Domain Specific Language» компании, или JDSL. Его начальник посоветовал ему изучить копию проекта, на который его назначили, и дал неделю-две на освоение. «Если возникнут вопросы, просто спрашивай, кого угодно, но, судя по твоему опыту, проблем у тебя возникнуть не должно».
Читать: https://habr.com/ru/articles/736900/
Джейк с энтузиазмом приступил к своей новой работе, ожидая нового опыта и новых сложных задач. Он жаждал изучать новые стеки технологий и узнать, чему его новая компания может научить его в мире ПО.
Ему сказали, что он будет работать над веб-сайтами и иметь дело с JavaScript, Node.js, JSON и тому подобным. Звучало вполне логично для веб-разработки; странным был только комментарий нетехнического собеседователя, что всё «построено на основе Subversion»; Джейк решил, что просто чего-то недопонял.
Его поставили на проект, в котором использовался собственный «JSON-based Domain Specific Language» компании, или JDSL. Его начальник посоветовал ему изучить копию проекта, на который его назначили, и дал неделю-две на освоение. «Если возникнут вопросы, просто спрашивай, кого угодно, но, судя по твоему опыту, проблем у тебя возникнуть не должно».
Читать: https://habr.com/ru/articles/736900/
Из SQL в NoSQL: меняем парадигму запросов
Пользовательский опыт напрямую зависит от скорости выполнения запросов к данным. Мы привыкли, что SQL базы данных строят оптимальный план запроса за нас. В случае многих NoSQL баз данных, оптимизация запроса ложится на разработчика. Меня зовут Жора и вместе с @yngvar_antonsson мы провели много времени за аудитом запросов у наших заказчиков. Сегодня мы расскажем про перфоманс, оптимизации и про тяжелые запросы на примере Tarantool. Будет интересно всем, кто уже работает или только собирается работать с Tarantool, а также тем, кто строит кластерные системы поверх своих БД.
Читать: https://habr.com/ru/companies/vk/articles/739540/
Пользовательский опыт напрямую зависит от скорости выполнения запросов к данным. Мы привыкли, что SQL базы данных строят оптимальный план запроса за нас. В случае многих NoSQL баз данных, оптимизация запроса ложится на разработчика. Меня зовут Жора и вместе с @yngvar_antonsson мы провели много времени за аудитом запросов у наших заказчиков. Сегодня мы расскажем про перфоманс, оптимизации и про тяжелые запросы на примере Tarantool. Будет интересно всем, кто уже работает или только собирается работать с Tarantool, а также тем, кто строит кластерные системы поверх своих БД.
Читать: https://habr.com/ru/companies/vk/articles/739540/
Холиварный четверг: подключайтесь к BI-баттлу OpenSource vs проприетарное ПО
О чем стоит подумать в понедельник? Например, можно о том, чтобы поучаствовать в холиваре через три дня в четверг! Мы как раз готовимся провести онлайн-вебинар, посвященный решению задач Business Intelligence на базе OpenSource-технологий и проприетарного ПО. Но не просто так ради холивара, а на примере решения нескольких реальных кейсов. В мероприятии будут участвовать два эксперта, каждый из которых — убежденный сторонник своего подхода. Если тема BI вам близка, если любите похоливарить или просто хочется занять вечер четверга чем-то интересным, подключайтесь! Все подробности ивента — под катом.
Пожалуй, похоливарим...
Читать: https://habr.com/ru/companies/visiology/articles/741236/
О чем стоит подумать в понедельник? Например, можно о том, чтобы поучаствовать в холиваре через три дня в четверг! Мы как раз готовимся провести онлайн-вебинар, посвященный решению задач Business Intelligence на базе OpenSource-технологий и проприетарного ПО. Но не просто так ради холивара, а на примере решения нескольких реальных кейсов. В мероприятии будут участвовать два эксперта, каждый из которых — убежденный сторонник своего подхода. Если тема BI вам близка, если любите похоливарить или просто хочется занять вечер четверга чем-то интересным, подключайтесь! Все подробности ивента — под катом.
Пожалуй, похоливарим...
Читать: https://habr.com/ru/companies/visiology/articles/741236/
BI система на прокачку: как мы используем плагины Fine BI
Вот уже больше года, мы в BI Consult работаем с китайской платформой self service BI-анализа – Fine BI. Работаем, изучаем, интегрируем и рассказываем. На этот раз хотим сделать акцент на интересном и актуальном вопросе - Плагины.
Расскажем про магазин плагинов, составим для вас список полезных плагинов, покажем как устанавливаются плагины без смс, регистрации и одноразовых SIM карт.
В конце статьи вы найдете список всех плагинов, поддерживающих английский язык с описанием, которые подтверждены вендором и готовы к работе.
Читать: https://habr.com/ru/articles/741304/
Вот уже больше года, мы в BI Consult работаем с китайской платформой self service BI-анализа – Fine BI. Работаем, изучаем, интегрируем и рассказываем. На этот раз хотим сделать акцент на интересном и актуальном вопросе - Плагины.
Расскажем про магазин плагинов, составим для вас список полезных плагинов, покажем как устанавливаются плагины без смс, регистрации и одноразовых SIM карт.
В конце статьи вы найдете список всех плагинов, поддерживающих английский язык с описанием, которые подтверждены вендором и готовы к работе.
Читать: https://habr.com/ru/articles/741304/
Балансируем между консистентностью и доступностью в распределённой системе: опыт Tarantool
Поговорим сегодня про выбор, перед которым встают разработчики всех распределённых систем: обеспечивать ли консистентность данных или доступность системы при различных внешних условиях — поломках, плановых отключениях узлов, — а также во время штатной эксплуатации. Теория нам даёт простые, но не всегда применимые на практике ответы: можно выбрать либо консистентность, либо доступность (теорема CAP), а когда проблем с сетью нет — то либо консистентность, либо низкие задержки (PACELC). За скобками остаётся вопрос о том, как делать этот выбор. Система как будто всегда должна быть CP или AP, а что происходит, если вдруг работающая CP-система должна начать вести себя как AP, или, наоборот, перейти обратно из AP в CP?
Читать: https://habr.com/ru/companies/vk/articles/738616/
Поговорим сегодня про выбор, перед которым встают разработчики всех распределённых систем: обеспечивать ли консистентность данных или доступность системы при различных внешних условиях — поломках, плановых отключениях узлов, — а также во время штатной эксплуатации. Теория нам даёт простые, но не всегда применимые на практике ответы: можно выбрать либо консистентность, либо доступность (теорема CAP), а когда проблем с сетью нет — то либо консистентность, либо низкие задержки (PACELC). За скобками остаётся вопрос о том, как делать этот выбор. Система как будто всегда должна быть CP или AP, а что происходит, если вдруг работающая CP-система должна начать вести себя как AP, или, наоборот, перейти обратно из AP в CP?
Читать: https://habr.com/ru/companies/vk/articles/738616/
New Online Archive with Performance Improvements and Enhanced Metrics
Read: https://www.mongodb.com/blog/post/new-online-archive-performance-improvements-enhanced-metrics
Read: https://www.mongodb.com/blog/post/new-online-archive-performance-improvements-enhanced-metrics
Infrastructure Automation and CloudOps with the MariaDB SkySQL Terraform Provider
Read: https://mariadb.com/?p=36561
Read: https://mariadb.com/?p=36561
Как эффективно настроить autovacuum в Postgres для 1С
Кто не любит убирать мусор? Думаю практически все, а вот в Postgres это обязательный ритуал для эффективной работы. Как эффективно настроить уборку за 1С в Postgres можно прочитать в этой статье и еще раз задуматься о бесплатности Postgres.
Навести порядок
Читать: https://habr.com/ru/articles/741566/
Кто не любит убирать мусор? Думаю практически все, а вот в Postgres это обязательный ритуал для эффективной работы. Как эффективно настроить уборку за 1С в Postgres можно прочитать в этой статье и еще раз задуматься о бесплатности Postgres.
Навести порядок
Читать: https://habr.com/ru/articles/741566/
MongoDB University Expands Education Outreach With New Partnerships
Read: https://www.mongodb.com/blog/post/mongodb-university-expands-education-outreach-new-partnerships
Read: https://www.mongodb.com/blog/post/mongodb-university-expands-education-outreach-new-partnerships
Unleashing Innovation in the Start-Up Nation: Inside MongoDB Israel
Read: https://www.mongodb.com/blog/post/unleashing-innovation-start-up-nation-inside-mongodb-israel
Read: https://www.mongodb.com/blog/post/unleashing-innovation-start-up-nation-inside-mongodb-israel
Организация хранения исторических данных в Oracle
Привет! Сегодня поговорим о разных способах организации хранения исторических данных в Oracle. Если вам известно более двух способов, то вы молодец и уже почти всё знаете, в чём вам и остаётся убедиться, просмотрев разделы статьи.
Читать: https://habr.com/ru/companies/sportmaster_lab/articles/741828/
Привет! Сегодня поговорим о разных способах организации хранения исторических данных в Oracle. Если вам известно более двух способов, то вы молодец и уже почти всё знаете, в чём вам и остаётся убедиться, просмотрев разделы статьи.
Читать: https://habr.com/ru/companies/sportmaster_lab/articles/741828/
Альтернатива есть! Обзор 6 российских СУБД для миграции
Привет, Хабр! Сегодня хочу коснуться наболевшей для многих российских компаний темы — замена зарубежного софта на доступное альтернативное. Так как я специализируюсь на системном ПО, все чаще я сталкиваюсь с подобными запросами по части СУБД.
Эта статья — мой обзор 6 СУБД из реестра отечественного ПО, которые можно использовать вместо MS SQL, Oracle и других. Каждую из них мы с командой К2Тех устанавливали и настраивали ручками. И в итоге убедились, что все они представляют собой действительно качественные продукты, на которых можно работать с большими объемами данных. Итак, представляем вам альтернативную «шестерку» СУБД под катом!
Будь как дома, путник!
Читать: https://habr.com/ru/companies/k2tech/articles/741980/
Привет, Хабр! Сегодня хочу коснуться наболевшей для многих российских компаний темы — замена зарубежного софта на доступное альтернативное. Так как я специализируюсь на системном ПО, все чаще я сталкиваюсь с подобными запросами по части СУБД.
Эта статья — мой обзор 6 СУБД из реестра отечественного ПО, которые можно использовать вместо MS SQL, Oracle и других. Каждую из них мы с командой К2Тех устанавливали и настраивали ручками. И в итоге убедились, что все они представляют собой действительно качественные продукты, на которых можно работать с большими объемами данных. Итак, представляем вам альтернативную «шестерку» СУБД под катом!
Будь как дома, путник!
Читать: https://habr.com/ru/companies/k2tech/articles/741980/
👍2
Improved Developer Experience with the Atlas Admin API
Read: https://www.mongodb.com/blog/post/improved-developer-experience-with-atlas-admin-api
Read: https://www.mongodb.com/blog/post/improved-developer-experience-with-atlas-admin-api
Ulta Beauty Solves Seasonal Shopping
Read: https://www.mongodb.com/blog/post/ulta-beauty-solves-seasonal-shopping
Read: https://www.mongodb.com/blog/post/ulta-beauty-solves-seasonal-shopping
Как извлечь больше данных о посетителях сайта через «Яндекс.Метрику» при помощи Python и с минимумом библиотек
Меня зовут Андрей Устьянцев, я ведущий аналитик направления Big Data в Лиге Цифровой Экономики. Эту статью я задумал как вторую в цикле материалов (первую об улучшении лендинга на основе метрик вы можете прочитать здесь). Сам текст будет полезен аналитикам, которым необходим более глубокий анализ данных о посетителях сайта, чем предоставляет стандартный интерфейс «Яндекс.Метрики». Или тем, кто хочет объединить данные из «Метрики» с другими источниками (например, из CRM) для визуализации, поиска инсайтов, проверки продуктовых гипотез etc.
Читать: https://habr.com/ru/companies/digitalleague/articles/742156/
Меня зовут Андрей Устьянцев, я ведущий аналитик направления Big Data в Лиге Цифровой Экономики. Эту статью я задумал как вторую в цикле материалов (первую об улучшении лендинга на основе метрик вы можете прочитать здесь). Сам текст будет полезен аналитикам, которым необходим более глубокий анализ данных о посетителях сайта, чем предоставляет стандартный интерфейс «Яндекс.Метрики». Или тем, кто хочет объединить данные из «Метрики» с другими источниками (например, из CRM) для визуализации, поиска инсайтов, проверки продуктовых гипотез etc.
Читать: https://habr.com/ru/companies/digitalleague/articles/742156/
ViTalk GPT: генератор DAX-запросов для Visiology 3
Привет, Хабр! Сегодня я хочу рассказать о нашем новом чат-боте ViTalk GPT. Он использует ИИ для генерации запросов на языке DAX, которые можно использовать в Visiology 3, причем учитывает не только особенности нашей платформы, но и контекст ваших запросов. О том как это работает, почему ViTalk GPT помогает переносить экспертизу не только из Power BI, в чем секрет создания “готовых” скриптов, которые можно просто вставлять в нужное поле в Visiology 3, и зачем вообще это нужно — читайте под катом.
Читать: https://habr.com/ru/companies/visiology/articles/742152/
Привет, Хабр! Сегодня я хочу рассказать о нашем новом чат-боте ViTalk GPT. Он использует ИИ для генерации запросов на языке DAX, которые можно использовать в Visiology 3, причем учитывает не только особенности нашей платформы, но и контекст ваших запросов. О том как это работает, почему ViTalk GPT помогает переносить экспертизу не только из Power BI, в чем секрет создания “готовых” скриптов, которые можно просто вставлять в нужное поле в Visiology 3, и зачем вообще это нужно — читайте под катом.
Читать: https://habr.com/ru/companies/visiology/articles/742152/
Как использовать клиентские данные для машинного обучения
Рассказываем, как правильно подобрать данные для машинного обучения, какие данные подойдут и как использовать данные клиентов для ML.
Читать: «Как использовать клиентские данные для машинного обучения»
Рассказываем, как правильно подобрать данные для машинного обучения, какие данные подойдут и как использовать данные клиентов для ML.
Читать: «Как использовать клиентские данные для машинного обучения»