Поиск и устранение повреждений данных
Это выдержка из восьмой главы книги Rodney Landrum: «SQL Server Tacklebox», в которой описывается, как DBA может устранить последствия повреждения данных. Будут продемонстрированы инструменты и сценарии, необходимые для своевременного поиска и устранения повреждений данных и предотвращения их попадания в резервные копии.
Читать: https://habr.com/ru/post/721348/
Это выдержка из восьмой главы книги Rodney Landrum: «SQL Server Tacklebox», в которой описывается, как DBA может устранить последствия повреждения данных. Будут продемонстрированы инструменты и сценарии, необходимые для своевременного поиска и устранения повреждений данных и предотвращения их попадания в резервные копии.
Читать: https://habr.com/ru/post/721348/
🔥1
Большая часть работы с базами данных — бесполезна
Я привык к привкусу отчаяния, которое так глубоко укоренилось в моем сердце и сердцах моих коллег, что превратилась в безнадежную пассивность. Это отчаяние, которое приходит от осознания того, что мы тратим большую часть нашего времени, не производя ничего ценного.
Это то, в чем мы признаемся тихо, иногда со смехом, потому что знаем, что могло быть намного хуже. По большей части все мы работаем в пространстве данных в крупных организациях либо в государственном секторе, либо что-то вроде этого. Это невероятно комфортная жизнь. Давления не существует, мы заканчиваем работу в 17:00, и, безусловно, бывают судьбы гораздо хуже. Но все же мы отчаиваемся.
В чем смысл вашей работы?
Читать: https://habr.com/ru/post/721372/
Я привык к привкусу отчаяния, которое так глубоко укоренилось в моем сердце и сердцах моих коллег, что превратилась в безнадежную пассивность. Это отчаяние, которое приходит от осознания того, что мы тратим большую часть нашего времени, не производя ничего ценного.
Это то, в чем мы признаемся тихо, иногда со смехом, потому что знаем, что могло быть намного хуже. По большей части все мы работаем в пространстве данных в крупных организациях либо в государственном секторе, либо что-то вроде этого. Это невероятно комфортная жизнь. Давления не существует, мы заканчиваем работу в 17:00, и, безусловно, бывают судьбы гораздо хуже. Но все же мы отчаиваемся.
В чем смысл вашей работы?
Читать: https://habr.com/ru/post/721372/
🤔2
Эволюция электронного наряда-допуска или как исключить убытки, избавившись от бумаги, и зачем для этого лицензия ФСБ
Эволюция электронного наряда-допуска или как исключить убытки, избавившись от бумаги, и зачем для этого лицензия ФСБ
Читать: https://habr.com/ru/post/702516/
Эволюция электронного наряда-допуска или как исключить убытки, избавившись от бумаги, и зачем для этого лицензия ФСБ
Читать: https://habr.com/ru/post/702516/
Десять самых распространённых проблем с качеством данных и способы их устранения
Введение
Данные стали основой всех бизнесов мира. В процессе принятия решений организации сильно полагаются на свои ресурсы данных, но, к сожалению, «на 100% чистых и точных данных» не существует. На данные влияют различные факторы, снижающие их качество. По словам специалистов, лучшим способом борьбы с проблемами данных является выявление их первопричин и внедрение новых процессов для повышения их качества. В этой статье рассказывается о распространённых проблемах с качеством данных и об оптимальных способах их устранения. Но сначала давайте разберёмся, почему важно знание этих проблем и как они могут влиять на ведение бизнеса.
Читать: https://habr.com/ru/post/718708/
Введение
Данные стали основой всех бизнесов мира. В процессе принятия решений организации сильно полагаются на свои ресурсы данных, но, к сожалению, «на 100% чистых и точных данных» не существует. На данные влияют различные факторы, снижающие их качество. По словам специалистов, лучшим способом борьбы с проблемами данных является выявление их первопричин и внедрение новых процессов для повышения их качества. В этой статье рассказывается о распространённых проблемах с качеством данных и об оптимальных способах их устранения. Но сначала давайте разберёмся, почему важно знание этих проблем и как они могут влиять на ведение бизнеса.
Читать: https://habr.com/ru/post/718708/
Women Leaders at MongoDB: Raising the Bar with May Petry
Read: https://www.mongodb.com/blog/post/women-leaders-mongodb-raising-bar-may-petry
Read: https://www.mongodb.com/blog/post/women-leaders-mongodb-raising-bar-may-petry
New Backported Features Available in MariaDB Enterprise Server Releases 10.3-10.6
Read: https://mariadb.com/?p=35037
Read: https://mariadb.com/?p=35037
1983г. Сериальный терминал Tandberg Data TDV 2215 S, эксперименты, ROM-дампы, схемотехника
Первая часть заметок относилась к восстановлению физической работоспособности терминала. После того, как терминал удалось оживить, в комментариях были заданы вопросы, ответы на которые и составили последующие заметки. По мере изучения терминала, проявились тезисы, которые захотелось расширить и осветить, а именно:
* Проиллюстрировать схемотехнику устройства, основные узлы, CPU, ROM.
* Пассивное отображение алфавитно-цифровой информации, это хорошо, но как поведут себя управляющие ESC-последовательности, Midnight Commander, а также хотелось-бы увидеть псевдографическое изображение.
* Spiritus in Mashina. Считать дампы ROMов и сохранить их.
* Уделить внимание красавице-клавиатуре.
Начнём…
Читать: https://habr.com/ru/post/722222/
Первая часть заметок относилась к восстановлению физической работоспособности терминала. После того, как терминал удалось оживить, в комментариях были заданы вопросы, ответы на которые и составили последующие заметки. По мере изучения терминала, проявились тезисы, которые захотелось расширить и осветить, а именно:
* Проиллюстрировать схемотехнику устройства, основные узлы, CPU, ROM.
* Пассивное отображение алфавитно-цифровой информации, это хорошо, но как поведут себя управляющие ESC-последовательности, Midnight Commander, а также хотелось-бы увидеть псевдографическое изображение.
* Spiritus in Mashina. Считать дампы ROMов и сохранить их.
* Уделить внимание красавице-клавиатуре.
Начнём…
Читать: https://habr.com/ru/post/722222/
Как Discord хранит триллионы сообщений
В 2017 году мы написали пост о том, как храним миллиарды сообщений [перевод на Хабре]. В нём мы рассказали о том, как начали с использования MongoDB, то потом выполнили миграцию данных в Cassandra, потому что искали надёжную, устойчивую к сбоям базу данных, имеющую относительно низкую стоимость обслуживания. Мы знали, что будем расти, так и произошло!
Нам нужна была база данных, способная расти вместе с нами, но чтобы стоимость обслуживания не росла вместе с объёмом хранимых данных. К сожалению, оказалось, что это не так — кластер Cassandra демонстрировал серьёзные проблемы с производительностью, поэтому нам требовалось всё больше усилий, чтобы просто поддерживать его, не говоря уже о совершенствовании.
Спустя почти шесть лет мы многое изменили; изменился и способ хранения сообщений.
Читать: https://habr.com/ru/post/722124/
В 2017 году мы написали пост о том, как храним миллиарды сообщений [перевод на Хабре]. В нём мы рассказали о том, как начали с использования MongoDB, то потом выполнили миграцию данных в Cassandra, потому что искали надёжную, устойчивую к сбоям базу данных, имеющую относительно низкую стоимость обслуживания. Мы знали, что будем расти, так и произошло!
Нам нужна была база данных, способная расти вместе с нами, но чтобы стоимость обслуживания не росла вместе с объёмом хранимых данных. К сожалению, оказалось, что это не так — кластер Cassandra демонстрировал серьёзные проблемы с производительностью, поэтому нам требовалось всё больше усилий, чтобы просто поддерживать его, не говоря уже о совершенствовании.
Спустя почти шесть лет мы многое изменили; изменился и способ хранения сообщений.
Читать: https://habr.com/ru/post/722124/
Как Discord хранит триллионы сообщений
В 2017 году мы написали пост о том, как храним миллиарды сообщений [перевод на Хабре]. В нём мы рассказали о том, как начали с использования MongoDB, то потом выполнили миграцию данных в Cassandra, потому что искали надёжную, устойчивую к сбоям базу данных, имеющую относительно низкую стоимость обслуживания. Мы знали, что будем расти, так и произошло!
Нам нужна была база данных, способная расти вместе с нами, но чтобы стоимость обслуживания не росла вместе с объёмом хранимых данных. К сожалению, оказалось, что это не так — кластер Cassandra демонстрировал серьёзные проблемы с производительностью, поэтому нам требовалось всё больше усилий, чтобы просто поддерживать его, не говоря уже о совершенствовании.
Спустя почти шесть лет мы многое изменили; изменился и способ хранения сообщений.
Читать: https://habr.com/ru/post/722124/
В 2017 году мы написали пост о том, как храним миллиарды сообщений [перевод на Хабре]. В нём мы рассказали о том, как начали с использования MongoDB, то потом выполнили миграцию данных в Cassandra, потому что искали надёжную, устойчивую к сбоям базу данных, имеющую относительно низкую стоимость обслуживания. Мы знали, что будем расти, так и произошло!
Нам нужна была база данных, способная расти вместе с нами, но чтобы стоимость обслуживания не росла вместе с объёмом хранимых данных. К сожалению, оказалось, что это не так — кластер Cassandra демонстрировал серьёзные проблемы с производительностью, поэтому нам требовалось всё больше усилий, чтобы просто поддерживать его, не говоря уже о совершенствовании.
Спустя почти шесть лет мы многое изменили; изменился и способ хранения сообщений.
Читать: https://habr.com/ru/post/722124/
Оператор SQL WHERE: синтаксис и примеры
Разобрали SQL запрос WHERE, объяснили его синтаксис и расписали примеры использования оператора WHERE с одним и сразу несколькими условиями.
Читать: «Оператор SQL WHERE: синтаксис и примеры»
Разобрали SQL запрос WHERE, объяснили его синтаксис и расписали примеры использования оператора WHERE с одним и сразу несколькими условиями.
Читать: «Оператор SQL WHERE: синтаксис и примеры»
Проверка корневых структур на изоморфизм
Задача проверки корневых (под)деревьев на изоморфизм является достаточно известной в рамках олимпиадного мира, однако представленная большинством авторов реализация основывается на неэффективном полиномиальном хэшировании. Проблема данного метода заключается в возможных возникновениях коллизий. В данной статье описан более простой метод, использующий красно-черное дерево (в народе std::map) за ту же асимптотику.
Читать: https://habr.com/ru/post/722292/
Задача проверки корневых (под)деревьев на изоморфизм является достаточно известной в рамках олимпиадного мира, однако представленная большинством авторов реализация основывается на неэффективном полиномиальном хэшировании. Проблема данного метода заключается в возможных возникновениях коллизий. В данной статье описан более простой метод, использующий красно-черное дерево (в народе std::map) за ту же асимптотику.
Читать: https://habr.com/ru/post/722292/
Оператор SQL WHERE: синтаксис и примеры
Разобрали SQL запрос WHERE, объяснили его синтаксис и расписали примеры использования оператора WHERE с одним и сразу несколькими условиями.
Читать: «Оператор SQL WHERE: синтаксис и примеры»
Разобрали SQL запрос WHERE, объяснили его синтаксис и расписали примеры использования оператора WHERE с одним и сразу несколькими условиями.
Читать: «Оператор SQL WHERE: синтаксис и примеры»
Digital Payments - Latin America Focus
Read: https://www.mongodb.com/blog/post/digital-payments-latin-america-focus
Read: https://www.mongodb.com/blog/post/digital-payments-latin-america-focus
Как Digital twins помогают создать автономную фабрику
Подход к использованию концепции Digital twin для создания производства нового типа - автономной масштабируемой смарт фабрики.
Читать: https://habr.com/ru/post/722420/
Подход к использованию концепции Digital twin для создания производства нового типа - автономной масштабируемой смарт фабрики.
Читать: https://habr.com/ru/post/722420/
Процесс ELT: основные компоненты, преимущества и инструменты создания
Если ваша задача заключается в аналитике данных или в машинном обучении, то успех её выполнения зависит от создаваемых вами конвейеров данных и способов их создания. Но даже для опытных дата-инженеров проектирование нового конвейера данных каждый раз становится уникальным событием.
Интеграция данных из множества разделённых источников и их обработка для обеспечения контекста содержит в себе и возможности, и трудности. Один из способов преодоления трудностей и получения новых возможностей в области интеграции данных — создание конвейера ELT (Extract, Load, Transform).
В этой статье мы подробно рассмотрим процесс ELT, в том числе его работу, преимущества и распространённые способы применения. Также мы поговорим о различиях между ELT и ETL (Extract, Transform, Load) и дадим советы по созданию и оптимизации конвейера ELT.
Читать: https://habr.com/ru/post/719594/
Если ваша задача заключается в аналитике данных или в машинном обучении, то успех её выполнения зависит от создаваемых вами конвейеров данных и способов их создания. Но даже для опытных дата-инженеров проектирование нового конвейера данных каждый раз становится уникальным событием.
Интеграция данных из множества разделённых источников и их обработка для обеспечения контекста содержит в себе и возможности, и трудности. Один из способов преодоления трудностей и получения новых возможностей в области интеграции данных — создание конвейера ELT (Extract, Load, Transform).
В этой статье мы подробно рассмотрим процесс ELT, в том числе его работу, преимущества и распространённые способы применения. Также мы поговорим о различиях между ELT и ETL (Extract, Transform, Load) и дадим советы по созданию и оптимизации конвейера ELT.
Читать: https://habr.com/ru/post/719594/
Как усмирить данные в таблицах одним скриптом
Привет, Хабр! Меня зовут Анастасия Иванова, я технический писатель МТС Exolve. В этой статье я расскажу о том, как поместить информацию о звонках в привычный формат таблиц на примере нашей платформы (краткий обзор сервиса вы найдете тут) и Google Таблиц. В частности, вы узнаете о том, как импортировать статистику входящих и исходящих вызовов, а также исходящих голосовых SMS.
Для этого мы напишем скрипт на языке программирования от Google (Apps Script), который будет делать HTTP-запрос в Statistics API и сохранять полученные данные в Google Таблицу. Мы покажем пример импорта некоторых данных статистики, далее вы сами сможете изменить скрипт, чтобы подстроить его под свои нужды.
Читать: https://habr.com/ru/post/722322/
Привет, Хабр! Меня зовут Анастасия Иванова, я технический писатель МТС Exolve. В этой статье я расскажу о том, как поместить информацию о звонках в привычный формат таблиц на примере нашей платформы (краткий обзор сервиса вы найдете тут) и Google Таблиц. В частности, вы узнаете о том, как импортировать статистику входящих и исходящих вызовов, а также исходящих голосовых SMS.
Для этого мы напишем скрипт на языке программирования от Google (Apps Script), который будет делать HTTP-запрос в Statistics API и сохранять полученные данные в Google Таблицу. Мы покажем пример импорта некоторых данных статистики, далее вы сами сможете изменить скрипт, чтобы подстроить его под свои нужды.
Читать: https://habr.com/ru/post/722322/
Сравнение MySQL и PostgreSQL в 2023 году
PostgreSQL и MySQL - это надежные, безопасные и масштабируемые базы данных, которые существуют уже много лет. Каждая из них имеет уникальные сильные и слабые стороны, что делает какую-либо из них более подходящей для конкретных нужд. В этой статье мы проведем их сравнение, чтобы помочь с принятием обоснованного решения в 2023 году.
Читать: https://habr.com/ru/post/722304/
PostgreSQL и MySQL - это надежные, безопасные и масштабируемые базы данных, которые существуют уже много лет. Каждая из них имеет уникальные сильные и слабые стороны, что делает какую-либо из них более подходящей для конкретных нужд. В этой статье мы проведем их сравнение, чтобы помочь с принятием обоснованного решения в 2023 году.
Читать: https://habr.com/ru/post/722304/
Геопространственная DuckDB
Большую часть прошлого года я работал с Hexvarium. Базирующаяся в Атертоне, штат Калифорния, компания строит и управляет оптоволоконными сетями. В настоящее время у них есть несколько сетей в районе залива, но у них есть планы по расширению в США.
Моя роль заключается в управлении платформой данных, которая содержит 30 миллиардов записей примерно из 70 источников информации. Эти данные используются инженерами, разрабатывающими оптимальные планы развертывания оптоволоконной сети с помощью LocalSolver. Далее приведен пример одного из таких планов.
Читать: https://habr.com/ru/post/721832/
Большую часть прошлого года я работал с Hexvarium. Базирующаяся в Атертоне, штат Калифорния, компания строит и управляет оптоволоконными сетями. В настоящее время у них есть несколько сетей в районе залива, но у них есть планы по расширению в США.
Моя роль заключается в управлении платформой данных, которая содержит 30 миллиардов записей примерно из 70 источников информации. Эти данные используются инженерами, разрабатывающими оптимальные планы развертывания оптоволоконной сети с помощью LocalSolver. Далее приведен пример одного из таких планов.
Читать: https://habr.com/ru/post/721832/
Потоки событий бесполезны без действий
Каждая точка данных в системе, регулярно генерирующей данные, соответствует событию (Event). Потоки событий (Event Stream) — это непрерывный поток событий или точек данных. Иногда потоки данных называют в сообществе разработчиков потоками данных (Data Stream), потому что они состоят из непрерывных точек данных. Event Stream Processing — это действия, выполняемые с генерируемыми событиями.
В этой статье подробно рассматриваются потоки данных и Event Stream Processing, рассказывается, как работает Event Stream Processing, объясняются различия между Event Stream Processing и Batch Processing, преимущества и способы применения ESP, а завершается она наглядным примером Event Stream Processing.
Читать: https://habr.com/ru/post/722570/
Каждая точка данных в системе, регулярно генерирующей данные, соответствует событию (Event). Потоки событий (Event Stream) — это непрерывный поток событий или точек данных. Иногда потоки данных называют в сообществе разработчиков потоками данных (Data Stream), потому что они состоят из непрерывных точек данных. Event Stream Processing — это действия, выполняемые с генерируемыми событиями.
В этой статье подробно рассматриваются потоки данных и Event Stream Processing, рассказывается, как работает Event Stream Processing, объясняются различия между Event Stream Processing и Batch Processing, преимущества и способы применения ESP, а завершается она наглядным примером Event Stream Processing.
Читать: https://habr.com/ru/post/722570/
Потоки событий бесполезны без действий
Каждая точка данных в системе, регулярно генерирующей данные, соответствует событию (Event). Потоки событий (Event Stream) — это непрерывный поток событий или точек данных. Иногда потоки данных называют в сообществе разработчиков потоками данных (Data Stream), потому что они состоят из непрерывных точек данных. Event Stream Processing — это действия, выполняемые с генерируемыми событиями.
В этой статье подробно рассматриваются потоки данных и Event Stream Processing, рассказывается, как работает Event Stream Processing, объясняются различия между Event Stream Processing и Batch Processing, преимущества и способы применения ESP, а завершается она наглядным примером Event Stream Processing.
Читать: https://habr.com/ru/post/722570/
Каждая точка данных в системе, регулярно генерирующей данные, соответствует событию (Event). Потоки событий (Event Stream) — это непрерывный поток событий или точек данных. Иногда потоки данных называют в сообществе разработчиков потоками данных (Data Stream), потому что они состоят из непрерывных точек данных. Event Stream Processing — это действия, выполняемые с генерируемыми событиями.
В этой статье подробно рассматриваются потоки данных и Event Stream Processing, рассказывается, как работает Event Stream Processing, объясняются различия между Event Stream Processing и Batch Processing, преимущества и способы применения ESP, а завершается она наглядным примером Event Stream Processing.
Читать: https://habr.com/ru/post/722570/