Управление качеством данных: роли, процессы, инструменты
Данные — это кровь любой организации и основа её коммерческого успеха. Вероятно, вы слышали подобные лозунги от лекторов на конференциях или в онлайн-заголовках. Но так оно и есть: вам нужно полагаться на точную информацию, чтобы выполнить задачу или создать сервис, будь то планирование оптимального маршрута для доставки суши разным заказчикам или отправка персонализированных новостных рассылок. В первом случае необходимы точные подробности заказа. Во втором случае нужно сегментировать клиентов на основании их активности и интересов. Для этого необходимо собрать и проанализировать соответствующие данные, а для этого потребуются время и усилия.
Читать: https://habr.com/ru/post/694690/
Данные — это кровь любой организации и основа её коммерческого успеха. Вероятно, вы слышали подобные лозунги от лекторов на конференциях или в онлайн-заголовках. Но так оно и есть: вам нужно полагаться на точную информацию, чтобы выполнить задачу или создать сервис, будь то планирование оптимального маршрута для доставки суши разным заказчикам или отправка персонализированных новостных рассылок. В первом случае необходимы точные подробности заказа. Во втором случае нужно сегментировать клиентов на основании их активности и интересов. Для этого необходимо собрать и проанализировать соответствующие данные, а для этого потребуются время и усилия.
Читать: https://habr.com/ru/post/694690/
Кто ворует крипту: хакеры, сотрудники или владельцы. И какая биржа следующая?
Весь циклический процесс взломов происходит из-за утечек данных пользователей. Взломы криптовалютных бирж наносят особый ущерб, потерь денежных средств хранящихся в криптовалютных кошельках пользователей бирж. Хотя криптовалюты сами по себе защищены, но биржи могут быть подвержены множеству уязвимостей, что делает их главной целью для хакеров.
Можно надеяться, что со временем криптовалютные биржи станут более безопасными. К сожалению, реальность такова, что с каждым годом взламывается все больше бирж. Поскольку криптовалюты и биржи остаются в значительной степени нерегулируемыми, неясно, кто обладает юрисдикцией над криптовалютными рынками.
Посмотрим, что дальше...
Читать: https://habr.com/ru/post/698924/
Весь циклический процесс взломов происходит из-за утечек данных пользователей. Взломы криптовалютных бирж наносят особый ущерб, потерь денежных средств хранящихся в криптовалютных кошельках пользователей бирж. Хотя криптовалюты сами по себе защищены, но биржи могут быть подвержены множеству уязвимостей, что делает их главной целью для хакеров.
Можно надеяться, что со временем криптовалютные биржи станут более безопасными. К сожалению, реальность такова, что с каждым годом взламывается все больше бирж. Поскольку криптовалюты и биржи остаются в значительной степени нерегулируемыми, неясно, кто обладает юрисдикцией над криптовалютными рынками.
Посмотрим, что дальше...
Читать: https://habr.com/ru/post/698924/
Аналитические панели в реальном времени. В поисках (Apache) Doris
Можно было бы назвать эту статью "Yet another analytical database", если бы не тот факт, что Apache Doris построен на архитектуре MPP, которая изначально ориентирована на параллельные вычисления и использование распределенного хранения и обработки данных на кластерах. Изначально проект Baidu, инструмент позволяет подготавливать аналитические панели с обновлением в реальном времени, при этом источниками данных могут быть как потоки из внешних источников (логи событий, time series-данные), так и источники из Data Lake (например, Apache Iceberg или Hive). В этой статье мы рассмотрим основные моменты использования Apache Doris на простом примере хранения и простой обработки данных о погоде.
Читать: https://habr.com/ru/post/699268/
Можно было бы назвать эту статью "Yet another analytical database", если бы не тот факт, что Apache Doris построен на архитектуре MPP, которая изначально ориентирована на параллельные вычисления и использование распределенного хранения и обработки данных на кластерах. Изначально проект Baidu, инструмент позволяет подготавливать аналитические панели с обновлением в реальном времени, при этом источниками данных могут быть как потоки из внешних источников (логи событий, time series-данные), так и источники из Data Lake (например, Apache Iceberg или Hive). В этой статье мы рассмотрим основные моменты использования Apache Doris на простом примере хранения и простой обработки данных о погоде.
Читать: https://habr.com/ru/post/699268/
Обзор-позор CNEWS: Рейтинг BI 2022
Привет, Хабр! В этом посте я хочу поделиться своими мыслями о вышедшем в конце прошлой недели рейтинге BI от “уважаемого” издания CNEWS. Это удивительное творение журналистской и аналитической мысли подтолкнуло меня к тому, что, наверное, не стоит читать “самый посещаемый ИТ-портал в России”. Под катом — подробный разбор, почему обзор BI от CNEWS кажется мне настолько нелепым и даже глупым.
Что же там такого наваяли в CNEWS?
Читать: https://habr.com/ru/post/699464/
Привет, Хабр! В этом посте я хочу поделиться своими мыслями о вышедшем в конце прошлой недели рейтинге BI от “уважаемого” издания CNEWS. Это удивительное творение журналистской и аналитической мысли подтолкнуло меня к тому, что, наверное, не стоит читать “самый посещаемый ИТ-портал в России”. Под катом — подробный разбор, почему обзор BI от CNEWS кажется мне настолько нелепым и даже глупым.
Что же там такого наваяли в CNEWS?
Читать: https://habr.com/ru/post/699464/
Introducing the Next Generation of MongoDB Education
Read: https://www.mongodb.com/blog/post/introducing-next-generation-mongodb-education
Read: https://www.mongodb.com/blog/post/introducing-next-generation-mongodb-education
Как работать с curl в Windows
Curl (client URL) — это инструмент командной строки на основе библиотеки libcurl для передачи данных с сервера и на сервер при помощи различных протоколов, в том числе HTTP, HTTPS, FTP, FTPS, IMAP, IMAPS, POP3, POP3S, SMTP и SMTPS. Он очень популярен в сфере автоматизации и скриптов благодаря широкому диапазону функций и поддерживаемых протоколов. В этой статье мы расскажем, как использовать curl в Windows на различных примерах.
Читать: https://habr.com/ru/post/699226/
Curl (client URL) — это инструмент командной строки на основе библиотеки libcurl для передачи данных с сервера и на сервер при помощи различных протоколов, в том числе HTTP, HTTPS, FTP, FTPS, IMAP, IMAPS, POP3, POP3S, SMTP и SMTPS. Он очень популярен в сфере автоматизации и скриптов благодаря широкому диапазону функций и поддерживаемых протоколов. В этой статье мы расскажем, как использовать curl в Windows на различных примерах.
Читать: https://habr.com/ru/post/699226/
[recovery mode] Храним процедуры, функции и триггеры на Java
Всем привет! Сегодня мы расскажем о полезной возможности СУБД Ред База Данных - создании внешних подпрограмм, то есть процедур, функций и триггеров на языке Java. Например, язык PSQL не позволяет работать с объектами файловой системы или сети, а Java запросто решает такие задачи и существенно расширяет возможности встроенного языка.
Читать: https://habr.com/ru/post/699732/
Всем привет! Сегодня мы расскажем о полезной возможности СУБД Ред База Данных - создании внешних подпрограмм, то есть процедур, функций и триггеров на языке Java. Например, язык PSQL не позволяет работать с объектами файловой системы или сети, а Java запросто решает такие задачи и существенно расширяет возможности встроенного языка.
Читать: https://habr.com/ru/post/699732/
Как Postgres хранит строки
Мне стало интересно разобраться, как PostgreSQL хранит данные на диске, и в процессе своего исследования я обнаружил несколько интересных фактов, которыми хочу с вами поделиться.
Мы будем рассматривать только файлы кучи (heap). Heap-файл — это просто файл записей. Не путайте heap-файл с heap-памятью. Хотя их использование очень похоже: хранение динамических данных.
Читать: https://habr.com/ru/post/699812/
Мне стало интересно разобраться, как PostgreSQL хранит данные на диске, и в процессе своего исследования я обнаружил несколько интересных фактов, которыми хочу с вами поделиться.
Мы будем рассматривать только файлы кучи (heap). Heap-файл — это просто файл записей. Не путайте heap-файл с heap-памятью. Хотя их использование очень похоже: хранение динамических данных.
Читать: https://habr.com/ru/post/699812/
👍2
All About MariaDB MaxScale Database Proxy For Read-Write Splitting
Read: https://mariadb.com/?p=33950
Read: https://mariadb.com/?p=33950
Репортаж с ViRush 2022: Презентация Visiology 3.0, BI в разных отраслях, сотни партнеров и успешная миграция с Tableau
Привет, Хабр! На прошлой неделе состоялась ежегодная конференция ViRush, и этот пост предназначен для тех, кто на ней не был, но интересуется развитием BI на базе российских платформ в целом и Visiology в частности. Для самых занятых мы подготовили краткий репортаж с мероприятия. И если вы хотите узнать, почему мигрировать с Tableau нужно именно на Visiology, как переносить экспертизу из PowerBI, за счет чего корпорации МСП удалось сделать такие красивые дашборды, а также почему участники ViRush были так увлечены происходящим, давайте под кат.
Читать: https://habr.com/ru/post/699818/
Привет, Хабр! На прошлой неделе состоялась ежегодная конференция ViRush, и этот пост предназначен для тех, кто на ней не был, но интересуется развитием BI на базе российских платформ в целом и Visiology в частности. Для самых занятых мы подготовили краткий репортаж с мероприятия. И если вы хотите узнать, почему мигрировать с Tableau нужно именно на Visiology, как переносить экспертизу из PowerBI, за счет чего корпорации МСП удалось сделать такие красивые дашборды, а также почему участники ViRush были так увлечены происходящим, давайте под кат.
Читать: https://habr.com/ru/post/699818/
Сломать контроль ресурсов в контрольных группах Linux. Часть 2
В предыдущей публикации мы рассмотрели, как организованы контрольные группы и почему их наследование не всегда гарантирует справедливый учёт ресурсов. Также успели проанализировать один из сценариев, при котором «вредоносные» контейнеры потребляют больше ресурсов, чем разрешено. В этой статье разберёмся с оставшимися сценариями и обсудим, как решать проблемы безопасности, возникающие из-за недостатков механизма cgroups.
Читать: https://habr.com/ru/post/699880/
В предыдущей публикации мы рассмотрели, как организованы контрольные группы и почему их наследование не всегда гарантирует справедливый учёт ресурсов. Также успели проанализировать один из сценариев, при котором «вредоносные» контейнеры потребляют больше ресурсов, чем разрешено. В этой статье разберёмся с оставшимися сценариями и обсудим, как решать проблемы безопасности, возникающие из-за недостатков механизма cgroups.
Читать: https://habr.com/ru/post/699880/
TDE в Platform V DataGrid: учим систему шифрования менять ключи на лету
Привет, Хабр! Это Никита Амельчев и Павел Переслегин. Мы создаём Platform V DataGrid — распределённую базу данных, которая используется в сервисах Сбера и внешних клиентов. В статье расскажем, как мы усилили базовые функции шифрования TDE в нашем продукте и как решали вопрос совмещения полного шифрования и высокой производительности базы данных.
Читать: https://habr.com/ru/post/700036/
Привет, Хабр! Это Никита Амельчев и Павел Переслегин. Мы создаём Platform V DataGrid — распределённую базу данных, которая используется в сервисах Сбера и внешних клиентов. В статье расскажем, как мы усилили базовые функции шифрования TDE в нашем продукте и как решали вопрос совмещения полного шифрования и высокой производительности базы данных.
Читать: https://habr.com/ru/post/700036/
Enhancing the .NET Development Experience with Roslyn Static Analysis
Read: https://www.mongodb.com/blog/post/enhancing-net-development-experience-roslyn-static-analysis
Read: https://www.mongodb.com/blog/post/enhancing-net-development-experience-roslyn-static-analysis
MongoDB World 2022 Recap — Performance Gotchas of Replicas Spanning Multiple Data Centers
Read: https://www.mongodb.com/blog/post/mongodb-world-recap-performance-gotchas-replicas-spanning-multiple-data-centers
Read: https://www.mongodb.com/blog/post/mongodb-world-recap-performance-gotchas-replicas-spanning-multiple-data-centers
Сборка мусора в неисправных JVM, проактивный подход
Команда Netflix Cloud Data Engineering работает с различными приложениями для JVM, включая такие популярные хранилища данных, как Cassandra и Elasticsearch. Хотя большинство наших кластеров стабильно работают, обходясь выделенной им памятью, иногда «запрос смерти» или ошибка в самом хранилище данных приводят к перерасходу памяти, что может спровоцировать лишние циклы сборки мусора или даже привести к исчерпанию памяти в JVM.
Читать: https://habr.com/ru/post/700224/
Команда Netflix Cloud Data Engineering работает с различными приложениями для JVM, включая такие популярные хранилища данных, как Cassandra и Elasticsearch. Хотя большинство наших кластеров стабильно работают, обходясь выделенной им памятью, иногда «запрос смерти» или ошибка в самом хранилище данных приводят к перерасходу памяти, что может спровоцировать лишние циклы сборки мусора или даже привести к исчерпанию памяти в JVM.
Читать: https://habr.com/ru/post/700224/
👍1
Какие базы данных регистрировали российские компании и почему? 7 примеров из практики
Под базой данных подразумевается набор самостоятельных материалов, собранный и систематизированный таким образом, чтобы быть доступными к обработке электронными вычислительными машинами (ЭВМ). Обычно представления о базах данных ограничиваются контактными данными пользователей для настройки рекламы и решения других задач в сети. Однако на самом деле подборка красивых туристических мест с перечнем характеристик — тоже база данных. Это же относится к перечню растений, встречающихся на определённой территории и почти любой информации, если она представляет собой набор самостоятельных материалов. О том, как крупные компании защищают свои базы данных, читайте в нашей статье.
Читать: https://habr.com/ru/post/700306/
Под базой данных подразумевается набор самостоятельных материалов, собранный и систематизированный таким образом, чтобы быть доступными к обработке электронными вычислительными машинами (ЭВМ). Обычно представления о базах данных ограничиваются контактными данными пользователей для настройки рекламы и решения других задач в сети. Однако на самом деле подборка красивых туристических мест с перечнем характеристик — тоже база данных. Это же относится к перечню растений, встречающихся на определённой территории и почти любой информации, если она представляет собой набор самостоятельных материалов. О том, как крупные компании защищают свои базы данных, читайте в нашей статье.
Читать: https://habr.com/ru/post/700306/
Сохранение изображения в БД C#
Порой необходимо сохранить те или иные изображения в базу данных. Сохранять в бд путь до картинки не самый оптимальный выход из ситуации, так как это будет работать локально на одном пк и то не всегда.
Оптимальным выходом из данной ситуации является представление изображения в виде массива байтов byte[]
Набор байтов - это самый простой способ представления файла изображения в виде данных. Строка не подходит, поскольку она содержит коды символов, а файл изображения не состоит из символов. Так как не существует специального класса для хранения данных файла изображения, для этого отлично подходит массив байтов.
Любой файл можно рассматривать как набор байтов, поэтому массив байтов является результатом чтения файла в виде двоичных данных. Файл также может быть декодирован как определенный формат, например, текстовый файл, результатом которого является строка, или формат сжатого изображения (JPEG, GIF, PNG и т. д.), результатом которого является Bitmap.
Читать: https://habr.com/ru/post/700406/
Порой необходимо сохранить те или иные изображения в базу данных. Сохранять в бд путь до картинки не самый оптимальный выход из ситуации, так как это будет работать локально на одном пк и то не всегда.
Оптимальным выходом из данной ситуации является представление изображения в виде массива байтов byte[]
Набор байтов - это самый простой способ представления файла изображения в виде данных. Строка не подходит, поскольку она содержит коды символов, а файл изображения не состоит из символов. Так как не существует специального класса для хранения данных файла изображения, для этого отлично подходит массив байтов.
Любой файл можно рассматривать как набор байтов, поэтому массив байтов является результатом чтения файла в виде двоичных данных. Файл также может быть декодирован как определенный формат, например, текстовый файл, результатом которого является строка, или формат сжатого изображения (JPEG, GIF, PNG и т. д.), результатом которого является Bitmap.
Читать: https://habr.com/ru/post/700406/
Чему мы научились после того, как я случайно уничтожил продуктивную базу данных
«Собственно, б***ь, вот…», думал я, пока в телефонной трубке звучали длинные гудки. Я звонил своему боссу — не сомневаюсь, этим ясным пятничным утром он только и мечтал услышать, как его старший разработчик только что своими руками, не нарочно, удалил базу данных бэк-офиса.
Гудки напомнили мне писк больничной аппаратуры — когда монитор отмеряет последние пульсы умирающего больного. В данном случае, речь шла о моей карьере. Наконец, трубку на том конце кто-то снял. Мне оставалось уповать лишь на мудрость моего начальника. В глубине души я верил, что, выслушав меня, он произнесет какую-нибудь вдохновляющую речь, после которой я найду в себе силы всё исправить. Но он сказал: «Как это, мать твою, вообще случилось?!».
Что ж, сейчас я расскажу вам, как.
Читать: https://habr.com/ru/post/700450/
«Собственно, б***ь, вот…», думал я, пока в телефонной трубке звучали длинные гудки. Я звонил своему боссу — не сомневаюсь, этим ясным пятничным утром он только и мечтал услышать, как его старший разработчик только что своими руками, не нарочно, удалил базу данных бэк-офиса.
Гудки напомнили мне писк больничной аппаратуры — когда монитор отмеряет последние пульсы умирающего больного. В данном случае, речь шла о моей карьере. Наконец, трубку на том конце кто-то снял. Мне оставалось уповать лишь на мудрость моего начальника. В глубине души я верил, что, выслушав меня, он произнесет какую-нибудь вдохновляющую речь, после которой я найду в себе силы всё исправить. Но он сказал: «Как это, мать твою, вообще случилось?!».
Что ж, сейчас я расскажу вам, как.
Читать: https://habr.com/ru/post/700450/
NVMe накопители для серверного оборудования. Лучше чем SSD и HDD?
Привет, с Вами Galt systems! Технологии в IT сфере не стоят на месте, и такой, казалось бы, простой процесс как «хранение данных» тоже развивается. С течением времени прогрессировали и характеристики накопителей: Производительность, время отклика, надежность и, конечно же, долговечность.
Если вы решились на апгрейд вашей системы хранения данных, то самым современным, надежным и производительным решением будут SSD NVMe накопители.
На сегодняшний день наиболее производительными твердотельными накопителями являются накопители с интерфейсом NVMe. Производительность SSD-накопителей с интерфейсами SAS и SATA сдерживается пропускной способностью их интерфейсов. Хотя они используют такую же флэш-память, что и NVMe, их нельзя сделать столь же быстрыми из-за ограничений интерфейса.
Характеристики NVMe
NVMe SSD работают быстрее, чем стандартные 3,5- и 2,5-дюймовые накопители: скорость чтения данных может быть до шести раз выше, чем у обычных SSD. Это связано с тем, что твердотельные накопители предыдущих поколений подключаются к устройствам через SATA, интерфейс компьютерной шины Serial ATA, или SAS, последовательный интерфейс Serial Attached SCSI. Массивы NVMe, тем временем, используют более современную шину PCI Express с разъёмом M.2 и способны обрабатывать гораздо больше команд одновременно, чем предыдущие версии накопителей. Так, SAS обрабатывает 256 запросов, а NVMe может обрабатывать до 64 000 команд одновременно. SATA-диски же, в отличие от NVMe SSD M2 и SAS, ещё более медленные и могут обрабатывать только 32 запроса.
Читать: https://habr.com/ru/post/700528/
Привет, с Вами Galt systems! Технологии в IT сфере не стоят на месте, и такой, казалось бы, простой процесс как «хранение данных» тоже развивается. С течением времени прогрессировали и характеристики накопителей: Производительность, время отклика, надежность и, конечно же, долговечность.
Если вы решились на апгрейд вашей системы хранения данных, то самым современным, надежным и производительным решением будут SSD NVMe накопители.
На сегодняшний день наиболее производительными твердотельными накопителями являются накопители с интерфейсом NVMe. Производительность SSD-накопителей с интерфейсами SAS и SATA сдерживается пропускной способностью их интерфейсов. Хотя они используют такую же флэш-память, что и NVMe, их нельзя сделать столь же быстрыми из-за ограничений интерфейса.
Характеристики NVMe
NVMe SSD работают быстрее, чем стандартные 3,5- и 2,5-дюймовые накопители: скорость чтения данных может быть до шести раз выше, чем у обычных SSD. Это связано с тем, что твердотельные накопители предыдущих поколений подключаются к устройствам через SATA, интерфейс компьютерной шины Serial ATA, или SAS, последовательный интерфейс Serial Attached SCSI. Массивы NVMe, тем временем, используют более современную шину PCI Express с разъёмом M.2 и способны обрабатывать гораздо больше команд одновременно, чем предыдущие версии накопителей. Так, SAS обрабатывает 256 запросов, а NVMe может обрабатывать до 64 000 команд одновременно. SATA-диски же, в отличие от NVMe SSD M2 и SAS, ещё более медленные и могут обрабатывать только 32 запроса.
Читать: https://habr.com/ru/post/700528/
👍1