Join Us for the Latest Technology Updates on Exadata and Database Cloud
It has been a busy year at Oracle and we are inviting you to join us at DatabaseWorld at CloudWorld to hear about the latest technology updates on Exadata and the Database Cloud in Las Vegas on September 18-23, 2023!
Read: https://blogs.oracle.com/database/post/latest-technology-updates-exadata-dbcloud-dbw2023
It has been a busy year at Oracle and we are inviting you to join us at DatabaseWorld at CloudWorld to hear about the latest technology updates on Exadata and the Database Cloud in Las Vegas on September 18-23, 2023!
Read: https://blogs.oracle.com/database/post/latest-technology-updates-exadata-dbcloud-dbw2023
Building AI with MongoDB: Announcing the First Qualifiers for the Innovators Program
The text discusses the MongoDB AI Innovators Program and announces the first three startups to graduate from the program. The startups include Cloneable, which provides an application layer for bringing AI to devices at the edge of the network; ExTrac, which uses AI-powered analytics to locate, track, and forecast risks to public safety; and CetoAI, which provides predictive analytics for the maritime industry. The text also mentions the release of MongoDB 7.0, which offers enhanced performance, smoother migrations, a streamlined developer experience, and stronger security features. Additionally, the text introduces Queryable Encryption, a technology that allows for end-to-end encryption of sensitive data while still being able to run queries on that data.
Read: https://www.mongodb.com/blog/post/building-ai-mongodb-announcing-first-qualifiers-innovators-program
The text discusses the MongoDB AI Innovators Program and announces the first three startups to graduate from the program. The startups include Cloneable, which provides an application layer for bringing AI to devices at the edge of the network; ExTrac, which uses AI-powered analytics to locate, track, and forecast risks to public safety; and CetoAI, which provides predictive analytics for the maritime industry. The text also mentions the release of MongoDB 7.0, which offers enhanced performance, smoother migrations, a streamlined developer experience, and stronger security features. Additionally, the text introduces Queryable Encryption, a technology that allows for end-to-end encryption of sensitive data while still being able to run queries on that data.
Read: https://www.mongodb.com/blog/post/building-ai-mongodb-announcing-first-qualifiers-innovators-program
Beyond Borders: How MongoDB’s Talent Sourcing Team Fuels Global Hiring
The text discusses MongoDB's Talent Sourcing team and their role in fueling global hiring. The team is centralized in India but provides global support and is divided into specialized sourcing groups for different business units. They work towards generating a steady flow of candidates, reducing the time and cost of hiring. The team contributes to 25% of the overall hiring globally. Several team members share their experiences, highlighting the opportunities for growth, learning, and development that MongoDB provides. The text also mentions MongoDB's Queryable Encryption technology, which allows for end-to-end encryption of sensitive data while still allowing equality queries on that data. The benefits of this technology are outlined, including faster application development, reduced operational risk, and strong technical controls for data privacy. The text also briefly mentions MongoDB's AI Innovators Program, which provides support for startups building AI applications on top of MongoDB Atlas. The text discusses two companies, ExTrac and CetoAI, and their use of AI and data analysis in different industries.
ExTrac is focused on managing large data sets and improving performance as the business scales. They are using AI to analyze data in various formats, such as text, images, and videos, to model trends, track narratives, and predict risk for their customers. They aim to utilize the technical expertise provided by the AI Innovators Program to achieve these goals.
CetoAI, on the other hand, operates in the maritime industry and provides predictive analytics. They use high-frequency data and AI to reduce machinery breakdowns, decrease carbon emissions, and manage operational risk. The company collects real-time data from sensors installed on each vessel and uses AI models for predictive maintenance, fuel optimization, and carbon intensity forecasting. CetoAI chose MongoDB, a database system, to handle the complex data feeds generated by their sensors and to support their business growth. They are exploring additional capabilities offered by MongoDB, such as Atlas Device Sync and Atlas Vector Search, to expand their services.
Overall, both companies are leveraging AI and data analysis to improve their operations and provide better services to their customers.
Read: https://www.mongodb.com/blog/post/beyond-borders-mongodbs-talent-sourcing-team-fuels-global-hiring
The text discusses MongoDB's Talent Sourcing team and their role in fueling global hiring. The team is centralized in India but provides global support and is divided into specialized sourcing groups for different business units. They work towards generating a steady flow of candidates, reducing the time and cost of hiring. The team contributes to 25% of the overall hiring globally. Several team members share their experiences, highlighting the opportunities for growth, learning, and development that MongoDB provides. The text also mentions MongoDB's Queryable Encryption technology, which allows for end-to-end encryption of sensitive data while still allowing equality queries on that data. The benefits of this technology are outlined, including faster application development, reduced operational risk, and strong technical controls for data privacy. The text also briefly mentions MongoDB's AI Innovators Program, which provides support for startups building AI applications on top of MongoDB Atlas. The text discusses two companies, ExTrac and CetoAI, and their use of AI and data analysis in different industries.
ExTrac is focused on managing large data sets and improving performance as the business scales. They are using AI to analyze data in various formats, such as text, images, and videos, to model trends, track narratives, and predict risk for their customers. They aim to utilize the technical expertise provided by the AI Innovators Program to achieve these goals.
CetoAI, on the other hand, operates in the maritime industry and provides predictive analytics. They use high-frequency data and AI to reduce machinery breakdowns, decrease carbon emissions, and manage operational risk. The company collects real-time data from sensors installed on each vessel and uses AI models for predictive maintenance, fuel optimization, and carbon intensity forecasting. CetoAI chose MongoDB, a database system, to handle the complex data feeds generated by their sensors and to support their business growth. They are exploring additional capabilities offered by MongoDB, such as Atlas Device Sync and Atlas Vector Search, to expand their services.
Overall, both companies are leveraging AI and data analysis to improve their operations and provide better services to their customers.
Read: https://www.mongodb.com/blog/post/beyond-borders-mongodbs-talent-sourcing-team-fuels-global-hiring
Зачем инструмент dbt нужен аналитику
Представляем подробный гайд по dbt — Data Build Tool — одному из лучших фреймворков для трансформации данных.
Читать: «Зачем инструмент dbt нужен аналитику»
Представляем подробный гайд по dbt — Data Build Tool — одному из лучших фреймворков для трансформации данных.
Читать: «Зачем инструмент dbt нужен аналитику»
Tproger
Зачем инструмент dbt нужен аналитику / Tproger
Представляем подробный гайд по dbt — Data Build Tool — одному из лучших фреймворков для трансформации данных.
DATABASE DESIGN
Photo
Cloud Strides at MongoDB.local Auckland
The MongoDB.local Auckland event highlighted the increasing need for strong cloud strategies to support data-driven businesses in New Zealand. Kiwi companies, both local and global, are avid users of cloud services and technologies like MongoDB. Recent commitments from Microsoft, Amazon, and Google to build cloud regions in New Zealand will make it easier to build and deploy cloud projects that meet data sovereignty requirements. MongoDB announced its intention to fully support each cloud provider's regions on MongoDB Atlas, bringing a local presence to the leading cloud database platform. The event also featured presentations from customers and partners showcasing their experiences with MongoDB Atlas. Additionally, the blog post discusses three startups that have qualified for MongoDB's AI Innovators Program, including Cloneable, ExTrac, and CetoAI. These startups are using MongoDB Atlas to develop and deploy AI-powered solutions in various industries. The post concludes with an overview of MongoDB's Talent Sourcing team, highlighting the team's contributions to global hiring and the company's supportive work culture. The author, Garima Fulara, is a Senior Sourcer in the Corporate & Marketing department at MongoDB. She takes pride in her role in driving the company's growth by finding the right professionals for the right positions. The company has experienced significant expansion during her time there. The team looks for individuals with strong research skills and knowledge of LinkedIn Recruiter, particularly for niche roles and geographies. The interview process involves a sourcing test and interviews with various stakeholders. The rest of the interview rounds focus on culture, relationship-building skills, communication, and articulation. The company is currently hiring for several open roles on their Talent Sourcing team.
Read: https://www.mongodb.com/blog/post/cloud-strides-mongodb-local-auckland
The MongoDB.local Auckland event highlighted the increasing need for strong cloud strategies to support data-driven businesses in New Zealand. Kiwi companies, both local and global, are avid users of cloud services and technologies like MongoDB. Recent commitments from Microsoft, Amazon, and Google to build cloud regions in New Zealand will make it easier to build and deploy cloud projects that meet data sovereignty requirements. MongoDB announced its intention to fully support each cloud provider's regions on MongoDB Atlas, bringing a local presence to the leading cloud database platform. The event also featured presentations from customers and partners showcasing their experiences with MongoDB Atlas. Additionally, the blog post discusses three startups that have qualified for MongoDB's AI Innovators Program, including Cloneable, ExTrac, and CetoAI. These startups are using MongoDB Atlas to develop and deploy AI-powered solutions in various industries. The post concludes with an overview of MongoDB's Talent Sourcing team, highlighting the team's contributions to global hiring and the company's supportive work culture. The author, Garima Fulara, is a Senior Sourcer in the Corporate & Marketing department at MongoDB. She takes pride in her role in driving the company's growth by finding the right professionals for the right positions. The company has experienced significant expansion during her time there. The team looks for individuals with strong research skills and knowledge of LinkedIn Recruiter, particularly for niche roles and geographies. The interview process involves a sourcing test and interviews with various stakeholders. The rest of the interview rounds focus on culture, relationship-building skills, communication, and articulation. The company is currently hiring for several open roles on their Talent Sourcing team.
Read: https://www.mongodb.com/blog/post/cloud-strides-mongodb-local-auckland
Tarantool 2.11 LTS: Рассказываем про новые возможности администрирования и безопасности
Привет. Меня зовут Владимир Салыкин, я директор по продукту Tarantool. Мы выпустили Tarantool 2.11 LTS — стабильный релиз с долгим циклом поддержки. Работа над ним началась в мае 2022 года, и сейчас релиз включает в себя более тысячи коммитов от 42 авторов. Мы все много работали над решением основных проблем с обслуживанием и администрированием, с которыми ранее сталкивались наши пользователи.
В этой статье мы хотим рассказать про ключевые фичи, которые были добавлены в релизе.
Читать: https://habr.com/ru/companies/vk/articles/739134/
Привет. Меня зовут Владимир Салыкин, я директор по продукту Tarantool. Мы выпустили Tarantool 2.11 LTS — стабильный релиз с долгим циклом поддержки. Работа над ним началась в мае 2022 года, и сейчас релиз включает в себя более тысячи коммитов от 42 авторов. Мы все много работали над решением основных проблем с обслуживанием и администрированием, с которыми ранее сталкивались наши пользователи.
В этой статье мы хотим рассказать про ключевые фичи, которые были добавлены в релизе.
Читать: https://habr.com/ru/companies/vk/articles/739134/
❤1
Как вывести миллиарды ключей из ScyllaDB
Мечтал ли я когда-либо ворочать миллиардами? Честно признаюсь, да. И нельзя сказать, что Вселенная меня не услышала. Вот только я никак не имел в виду миллиарды записей в базе данных...
Ранее я уже писал о нашем опыте использования ScyllaDB в качестве архивного хранилища. Разумеется, исследования и открытия, связанные с новой базой данных, для нас на этом не закончились... Создавая архив для данных, вероятность обращения к которым близка к нулю, мы, конечно, допускали, что время от времени клиенты будут просить вернуть данные обратно в оперативное хранилище. Но запрос на извлечение из архива сразу всех записей стал для нас неожиданностью. Хорошо ещё, что клиента интересовал только ключ записи, а не вся запись целиком. Тем не менее достать 10 млрд. ключей из ScyllaDB за приемлемое время звучало как челлендж. Ну надо так надо.
Читать: https://habr.com/ru/companies/stm_labs/articles/743276/
Мечтал ли я когда-либо ворочать миллиардами? Честно признаюсь, да. И нельзя сказать, что Вселенная меня не услышала. Вот только я никак не имел в виду миллиарды записей в базе данных...
Ранее я уже писал о нашем опыте использования ScyllaDB в качестве архивного хранилища. Разумеется, исследования и открытия, связанные с новой базой данных, для нас на этом не закончились... Создавая архив для данных, вероятность обращения к которым близка к нулю, мы, конечно, допускали, что время от времени клиенты будут просить вернуть данные обратно в оперативное хранилище. Но запрос на извлечение из архива сразу всех записей стал для нас неожиданностью. Хорошо ещё, что клиента интересовал только ключ записи, а не вся запись целиком. Тем не менее достать 10 млрд. ключей из ScyllaDB за приемлемое время звучало как челлендж. Ну надо так надо.
Читать: https://habr.com/ru/companies/stm_labs/articles/743276/
Погрузиться в Redis — материалы, которые помогут начать работу
Как начать работу с Redis командам, у которых мало опыта в администрировании СУБД? Можно попробовать создать кластеры Redis в облаке. Или же сначала «вкатиться» в тему и поближе познакомиться с экосистемой — на этот случай мы подготовили подборку литературы. В списке — свежие издания и классика, которую стоит прочитать каждому начинающему Redis-разработчику.
Кому будет интересно: например, вам нужна среда для разработки программ и приложений, или поддержки работы интернет-магазинов с их пиковыми нагрузками во время сезонных или тематических акций. Статья также пригодится компаниям с большим количеством офисов в разных регионах и командам, которым необходимо обрабатывать транзакции в режиме реального времени.
Читать: https://habr.com/ru/companies/cloud_mts/articles/739952/
Как начать работу с Redis командам, у которых мало опыта в администрировании СУБД? Можно попробовать создать кластеры Redis в облаке. Или же сначала «вкатиться» в тему и поближе познакомиться с экосистемой — на этот случай мы подготовили подборку литературы. В списке — свежие издания и классика, которую стоит прочитать каждому начинающему Redis-разработчику.
Кому будет интересно: например, вам нужна среда для разработки программ и приложений, или поддержки работы интернет-магазинов с их пиковыми нагрузками во время сезонных или тематических акций. Статья также пригодится компаниям с большим количеством офисов в разных регионах и командам, которым необходимо обрабатывать транзакции в режиме реального времени.
Читать: https://habr.com/ru/companies/cloud_mts/articles/739952/
Отвечаю на вопросы после аварии
Мы шутили про эти телефоны, а они пригодились на прошлых выходных. Точнее, пригодилось резервирование телефонии. Не конкретно эти, но похожие)
Вот тут пост про нашу аварию на прошлых выходных. Там всё было по горячим следам, потом я обещал подробнее ответить на вопросы. Отвечаю. Самое главное, пожалуй, что бы я хотел донести, — в комментариях к первому посту было очень много советов, что можно сделать, чтобы избежать такой же аварии. Но большинство из этого мы делать не будем. Потому что это ошибка выжившего: защищаться надо от вероятных рисков, а не от крайне маловероятных, где совпадает сразу пять факторов. Точнее, можно и от них, но есть критерий экономической обоснованности.
Но давайте обо всём по порядку.
— Сколько клиентов пострадало?
— На три часа и более в одном ЦОДе отключилось 7–10 % из 14 наших, то есть менее 0,5 % от общего числа клиентов хостинга (точнее, хостов). Тем не менее мы очень подробно рассказываем про эту аварию, потому что она вызвала очень много вопросов.
Читать: https://habr.com/ru/companies/ruvds/articles/743826/
Мы шутили про эти телефоны, а они пригодились на прошлых выходных. Точнее, пригодилось резервирование телефонии. Не конкретно эти, но похожие)
Вот тут пост про нашу аварию на прошлых выходных. Там всё было по горячим следам, потом я обещал подробнее ответить на вопросы. Отвечаю. Самое главное, пожалуй, что бы я хотел донести, — в комментариях к первому посту было очень много советов, что можно сделать, чтобы избежать такой же аварии. Но большинство из этого мы делать не будем. Потому что это ошибка выжившего: защищаться надо от вероятных рисков, а не от крайне маловероятных, где совпадает сразу пять факторов. Точнее, можно и от них, но есть критерий экономической обоснованности.
Но давайте обо всём по порядку.
— Сколько клиентов пострадало?
— На три часа и более в одном ЦОДе отключилось 7–10 % из 14 наших, то есть менее 0,5 % от общего числа клиентов хостинга (точнее, хостов). Тем не менее мы очень подробно рассказываем про эту аварию, потому что она вызвала очень много вопросов.
Читать: https://habr.com/ru/companies/ruvds/articles/743826/
Выбор структур данных для самописного текстового редактора
Программирование текстовых редакторов может быть очень интересной и сложной задачей. Типы задач, которые должны решать текстовые редакторы, варьируются от тривиальных до невероятно трудных. Недавно я занимался переработкой внутренних структур данных редактора, над которым я работаю. В частности, самой фундаментальной для любого текстового редактора структуры данных: текста.
Ресурсы
Прежде чем мы приступим к разбору того, что я сделал, важно упомянуть очень полезные ресурсы для создания собственного текстового редактора:
* Build Your Own Text Editor — наверно, самый фундаментальный пост о создании текстового редактора с нуля, который я видел. Это превосходный туториал на случай, если вы хотите начать писать собственный текстовый редактор. Стоит заметить, что в редакторе из этого туториала в качестве внутренней структуры для текста используется, по сути, вектор строк.
* Text Editor: Data Structures — отличный обзор множества структур данных, которые можно использовать при реализации текстового редактора. (Спойлер: как минимум одна из них будет рассмотрена в моём посте)
* Плейлист Ded (Text Editor) на YouTube — это потрясающая серия, в которой @tscoding фиксирует процесс создания с нуля текстового редактора. Эти видео стали для меня источником вдохновения.
Зачем?
Если в сети есть так много хороших ресурсов о создании собственного текстового редактора (не говоря уже о том, что уже существует множество феноменальных текстовых редакторов), то зачем я это пишу? На то есть несколько причин:
1. Я хотел заняться проектом, непохожим ни на один свой прошлый.
2. Я хотел создать инструмент, которым смогу пользоваться.
3. Мне всегда хотелось глубже разобраться с созданием собственных структур данных.
Читать: https://habr.com/ru/companies/ruvds/articles/743954/
Программирование текстовых редакторов может быть очень интересной и сложной задачей. Типы задач, которые должны решать текстовые редакторы, варьируются от тривиальных до невероятно трудных. Недавно я занимался переработкой внутренних структур данных редактора, над которым я работаю. В частности, самой фундаментальной для любого текстового редактора структуры данных: текста.
Ресурсы
Прежде чем мы приступим к разбору того, что я сделал, важно упомянуть очень полезные ресурсы для создания собственного текстового редактора:
* Build Your Own Text Editor — наверно, самый фундаментальный пост о создании текстового редактора с нуля, который я видел. Это превосходный туториал на случай, если вы хотите начать писать собственный текстовый редактор. Стоит заметить, что в редакторе из этого туториала в качестве внутренней структуры для текста используется, по сути, вектор строк.
* Text Editor: Data Structures — отличный обзор множества структур данных, которые можно использовать при реализации текстового редактора. (Спойлер: как минимум одна из них будет рассмотрена в моём посте)
* Плейлист Ded (Text Editor) на YouTube — это потрясающая серия, в которой @tscoding фиксирует процесс создания с нуля текстового редактора. Эти видео стали для меня источником вдохновения.
Зачем?
Если в сети есть так много хороших ресурсов о создании собственного текстового редактора (не говоря уже о том, что уже существует множество феноменальных текстовых редакторов), то зачем я это пишу? На то есть несколько причин:
1. Я хотел заняться проектом, непохожим ни на один свой прошлый.
2. Я хотел создать инструмент, которым смогу пользоваться.
3. Мне всегда хотелось глубже разобраться с созданием собственных структур данных.
Читать: https://habr.com/ru/companies/ruvds/articles/743954/
Оптимизация Change Data Capture в БД Oracle
Как внедрить Change Data Capture в Oracle и при этом не отдать все ресурсы
Современную жизнь теперь уже невозможно представить без цифровых технологий. Объем доступных и собранных данных существенно вырос, в результате чего стали появляться ограничения для традиционно используемых инструментов анализа и хранения данных, и именно тогда и возникло понятие больших данных.
А для решения проблем хранения и обработки больших объемов данных возникает потребность в их репликации из классического хранилища-источника в аналитическое хранилище для проведения аналитики без влияния на продуктивную эксплуатацию. Для обеспечения актуальности данных в аналитическом хранилище, их необходимо обновлять их при изменении операционных данных источника. Однако, простая перезагрузка данных - неэффективна, так как обычно изменяется только небольшая часть исходных данных. Поэтому в качестве решения предлагается использовать инкрементную загрузку данных с использованием паттерна "Change Data Capture", которая будет актуализировать аналитическое хранилище посредством периодического обновления данных, которые были изменены.
Читать: https://habr.com/ru/articles/740136/
Как внедрить Change Data Capture в Oracle и при этом не отдать все ресурсы
Современную жизнь теперь уже невозможно представить без цифровых технологий. Объем доступных и собранных данных существенно вырос, в результате чего стали появляться ограничения для традиционно используемых инструментов анализа и хранения данных, и именно тогда и возникло понятие больших данных.
А для решения проблем хранения и обработки больших объемов данных возникает потребность в их репликации из классического хранилища-источника в аналитическое хранилище для проведения аналитики без влияния на продуктивную эксплуатацию. Для обеспечения актуальности данных в аналитическом хранилище, их необходимо обновлять их при изменении операционных данных источника. Однако, простая перезагрузка данных - неэффективна, так как обычно изменяется только небольшая часть исходных данных. Поэтому в качестве решения предлагается использовать инкрементную загрузку данных с использованием паттерна "Change Data Capture", которая будет актуализировать аналитическое хранилище посредством периодического обновления данных, которые были изменены.
Читать: https://habr.com/ru/articles/740136/
Тотально виртуально, гиперконвергентно
По прогнозам MarketsandMarkets, глобальный рынок гиперконвергентных систем к 2025 году достигнет объёма в 17,1 млрд долларов США. Среди факторов, стимулирующих рост рынка гиперконвергентной архитектуры, можно выделить повышенный интерес к облачным вычислениям, виртуализации, стремление сократить расходы на инфраструктуру и упростить управление.
Гиперконвергентной называют программно определяемую инфраструктуру, в которой вычислительные и сетевые ресурсы, а также хранилища составляются из унифицированных компонентов без заранее выделенных ролей. Такая архитектура обеспечивает простоту, скорость и наглядность, а также единообразие вместо дискретности.
В этой статье мы рассмотрим сервер Altos BrainSphere R380 F5, который отлично подходит для использования в качестве унифицированного компонента гиперконвергентной архитектуры.
Читать: https://habr.com/ru/companies/acer/articles/744452/
По прогнозам MarketsandMarkets, глобальный рынок гиперконвергентных систем к 2025 году достигнет объёма в 17,1 млрд долларов США. Среди факторов, стимулирующих рост рынка гиперконвергентной архитектуры, можно выделить повышенный интерес к облачным вычислениям, виртуализации, стремление сократить расходы на инфраструктуру и упростить управление.
Гиперконвергентной называют программно определяемую инфраструктуру, в которой вычислительные и сетевые ресурсы, а также хранилища составляются из унифицированных компонентов без заранее выделенных ролей. Такая архитектура обеспечивает простоту, скорость и наглядность, а также единообразие вместо дискретности.
В этой статье мы рассмотрим сервер Altos BrainSphere R380 F5, который отлично подходит для использования в качестве унифицированного компонента гиперконвергентной архитектуры.
Читать: https://habr.com/ru/companies/acer/articles/744452/
Newbie Guide: разбираемся с MVCC на простых примерах
Изоляция транзакций в СУБД — важный механизм, который позволяет пользователю получить согласованное состояние данных и работать с ними, не допуская конфликтов и снижения производительности. Организовать изоляцию нужного уровня можно несколькими способами, один из которых — MVCC (Multiversion Concurrency Control, многоверсионное управление конкурентным доступом).
Читать: https://habr.com/ru/companies/vk/articles/740108/
Изоляция транзакций в СУБД — важный механизм, который позволяет пользователю получить согласованное состояние данных и работать с ними, не допуская конфликтов и снижения производительности. Организовать изоляцию нужного уровня можно несколькими способами, один из которых — MVCC (Multiversion Concurrency Control, многоверсионное управление конкурентным доступом).
Читать: https://habr.com/ru/companies/vk/articles/740108/
От флешек к ДНК: разбираемся в новой технологии хранения данных
В ближайшие три года общее количество цифровых данных увеличится в три раза и достигнет 175 миллиардов терабайт. Надежно сохранить такое количество информации на жестких дисках и магнитных лентах будет практически невозможно, строительство дата-центров тоже не спасет ситуацию, поэтому ученые сейчас активно работают над технологией хранения данных в ДНК.
В этой статье мы расскажем, что из себя представляют ДНК-накопители, в чем их преимущества и недостатки, и по шагам разберем, как информацию сохранять в молекуле и извлекать из нее.
Читать: https://habr.com/ru/companies/itglobalcom/articles/743248/
В ближайшие три года общее количество цифровых данных увеличится в три раза и достигнет 175 миллиардов терабайт. Надежно сохранить такое количество информации на жестких дисках и магнитных лентах будет практически невозможно, строительство дата-центров тоже не спасет ситуацию, поэтому ученые сейчас активно работают над технологией хранения данных в ДНК.
В этой статье мы расскажем, что из себя представляют ДНК-накопители, в чем их преимущества и недостатки, и по шагам разберем, как информацию сохранять в молекуле и извлекать из нее.
Читать: https://habr.com/ru/companies/itglobalcom/articles/743248/
Кто мощнее в базах данных? Сравниваем производительность БД на серверах с ARM- и x86-процессорами
Всем привет! Ранее я разобрал и протестировал сервер с процессором ARM, который попал к нам в Selectel Lab. Сервер показал хорошие результаты по производительности в ряде классических тестов, но в этот раз захотелось проверить его в боевой задаче — в работе с базами данных. Быть может, архитектура ARM-процессора сделает всех конкурентов на этой территории?
Чтобы ответить на этот вопрос, протестировал ARM вместе с семеркой серверов разных конфигураций с процессорами Intel и AMD. В качестве баз данных для нашего эксперимента выбрал самые популярные — PostgreSQL и MySQL. Результаты тестов с графиками и комментариями — под катом. Надеюсь, они будут полезны вам при выборе сервера под БД.
Читать: https://habr.com/ru/companies/selectel/articles/740492/
Всем привет! Ранее я разобрал и протестировал сервер с процессором ARM, который попал к нам в Selectel Lab. Сервер показал хорошие результаты по производительности в ряде классических тестов, но в этот раз захотелось проверить его в боевой задаче — в работе с базами данных. Быть может, архитектура ARM-процессора сделает всех конкурентов на этой территории?
Чтобы ответить на этот вопрос, протестировал ARM вместе с семеркой серверов разных конфигураций с процессорами Intel и AMD. В качестве баз данных для нашего эксперимента выбрал самые популярные — PostgreSQL и MySQL. Результаты тестов с графиками и комментариями — под катом. Надеюсь, они будут полезны вам при выборе сервера под БД.
Читать: https://habr.com/ru/companies/selectel/articles/740492/
Есть 14 языков для хранения данных… Или как появился IEML
Велась как-то работа на одним движком для создания GUI, некоторого подобия Qt. Выделялся он тем, что конечный пользователь мог этот интерфейс кастомизировать с помощью конфига до самых мелочей.
Изначально в качества такого конфига был взят YAML, звучало разумно, простой для обывателя формат, справится, если не бабушка, то хотя бы слегка прошаренный геймер.
В процессе интеграции обнаружилось, что нам этого формата не хватает, да и некоторые другие его минусы стали проявляться. В итоге было решено создать свой формат.
Читать: https://habr.com/ru/articles/745682/
Велась как-то работа на одним движком для создания GUI, некоторого подобия Qt. Выделялся он тем, что конечный пользователь мог этот интерфейс кастомизировать с помощью конфига до самых мелочей.
Изначально в качества такого конфига был взят YAML, звучало разумно, простой для обывателя формат, справится, если не бабушка, то хотя бы слегка прошаренный геймер.
В процессе интеграции обнаружилось, что нам этого формата не хватает, да и некоторые другие его минусы стали проявляться. В итоге было решено создать свой формат.
Читать: https://habr.com/ru/articles/745682/
Сравнение производительности YDB, CockroachDB и YugabyteDB на бенчмарке YCSB
Привет! Меня зовут Евгений Иванов, я разработчик YDB. Мне очень нравится заниматься задачами, связанными с производительностью: бенчить, анализировать, оптимизировать. И в YDB мы придаем очень большое значения тому, чтобы быть эффективными. В этом посте я хочу представить Вашему вниманию перевод нашей свежей статьи "YCSB performance series: YDB, CockroachDB, and YugabyteDB".
Реализовать распределённую систему управления базами данных (СУБД), высокопроизводительную, масштабируемую и консистентную, — настоящий вызов. В YDB успешно с ним справились, и наши пользователи могут это подтвердить. Мы ещё не делились показателями нашей производительности на широкую аудиторию, но понимаем их значимость. Поэтому сегодня мы расскажем о результатах нашего исследования производительности.
YDB — это распределённая реляционная СУБД. Производительность распределённых транзакций в TPC-C и других сложных бенчмарках во многом зависит от реализации хранения данных по ключу. В этом посте посте мы сравним результаты тестов YCSB для YDB и двух других известных распределённых SQL-баз данных — CockroachDB и YugabyteDB. Спойлер: YDB превзойдёт конкурентов по многим нагрузкам YCSB.
Читать: https://habr.com/ru/companies/ydb/articles/740560/
Привет! Меня зовут Евгений Иванов, я разработчик YDB. Мне очень нравится заниматься задачами, связанными с производительностью: бенчить, анализировать, оптимизировать. И в YDB мы придаем очень большое значения тому, чтобы быть эффективными. В этом посте я хочу представить Вашему вниманию перевод нашей свежей статьи "YCSB performance series: YDB, CockroachDB, and YugabyteDB".
Реализовать распределённую систему управления базами данных (СУБД), высокопроизводительную, масштабируемую и консистентную, — настоящий вызов. В YDB успешно с ним справились, и наши пользователи могут это подтвердить. Мы ещё не делились показателями нашей производительности на широкую аудиторию, но понимаем их значимость. Поэтому сегодня мы расскажем о результатах нашего исследования производительности.
YDB — это распределённая реляционная СУБД. Производительность распределённых транзакций в TPC-C и других сложных бенчмарках во многом зависит от реализации хранения данных по ключу. В этом посте посте мы сравним результаты тестов YCSB для YDB и двух других известных распределённых SQL-баз данных — CockroachDB и YugabyteDB. Спойлер: YDB превзойдёт конкурентов по многим нагрузкам YCSB.
Читать: https://habr.com/ru/companies/ydb/articles/740560/
Как предложить рынку ИТ-продукт, если пользователи еще не знают, что он им нужен
Как показал небольшой ресерч, на Хабре представлено немало материалов об управлении развитием продукта. Много теории посвящено тому, как вывести свой проект на рынок, правильно позиционировать его и найти аудиторию. Но, как вы понимаете, когда дело доходит до практики, возникает целый ряд интересных нюансов. В этом посте в блоге ЛАНИТ я поделюсь своим опытом вывода на рынок продукта, для которого раньше не было ниши. Уверен, история создания нашего продукта с нуля окажется полезной тем, кто задумывается о продвижении своего собственного решения.
Читать: https://habr.com/ru/companies/lanit/articles/744696/
Как показал небольшой ресерч, на Хабре представлено немало материалов об управлении развитием продукта. Много теории посвящено тому, как вывести свой проект на рынок, правильно позиционировать его и найти аудиторию. Но, как вы понимаете, когда дело доходит до практики, возникает целый ряд интересных нюансов. В этом посте в блоге ЛАНИТ я поделюсь своим опытом вывода на рынок продукта, для которого раньше не было ниши. Уверен, история создания нашего продукта с нуля окажется полезной тем, кто задумывается о продвижении своего собственного решения.
Читать: https://habr.com/ru/companies/lanit/articles/744696/
Из SQL в NoSQL: меняем парадигму запросов
Пользовательский опыт напрямую зависит от скорости выполнения запросов к данным. Мы привыкли, что SQL базы данных строят оптимальный план запроса за нас. В случае многих NoSQL баз данных, оптимизация запроса ложится на разработчика. Меня зовут Жора и вместе с @yngvar_antonsson мы провели много времени за аудитом запросов у наших заказчиков. Сегодня мы расскажем про перфоманс, оптимизации и про тяжелые запросы на примере Tarantool. Будет интересно всем, кто уже работает или только собирается работать с Tarantool, а также тем, кто строит кластерные системы поверх своих БД.
Читать: https://habr.com/ru/companies/vk/articles/739540/
Пользовательский опыт напрямую зависит от скорости выполнения запросов к данным. Мы привыкли, что SQL базы данных строят оптимальный план запроса за нас. В случае многих NoSQL баз данных, оптимизация запроса ложится на разработчика. Меня зовут Жора и вместе с @yngvar_antonsson мы провели много времени за аудитом запросов у наших заказчиков. Сегодня мы расскажем про перфоманс, оптимизации и про тяжелые запросы на примере Tarantool. Будет интересно всем, кто уже работает или только собирается работать с Tarantool, а также тем, кто строит кластерные системы поверх своих БД.
Читать: https://habr.com/ru/companies/vk/articles/739540/