Репортаж с ViRush 2022: Презентация Visiology 3.0, BI в разных отраслях, сотни партнеров и успешная миграция с Tableau
Привет, Хабр! На прошлой неделе состоялась ежегодная конференция ViRush, и этот пост предназначен для тех, кто на ней не был, но интересуется развитием BI на базе российских платформ в целом и Visiology в частности. Для самых занятых мы подготовили краткий репортаж с мероприятия. И если вы хотите узнать, почему мигрировать с Tableau нужно именно на Visiology, как переносить экспертизу из PowerBI, за счет чего корпорации МСП удалось сделать такие красивые дашборды, а также почему участники ViRush были так увлечены происходящим, давайте под кат.
Читать: https://habr.com/ru/post/699818/
Привет, Хабр! На прошлой неделе состоялась ежегодная конференция ViRush, и этот пост предназначен для тех, кто на ней не был, но интересуется развитием BI на базе российских платформ в целом и Visiology в частности. Для самых занятых мы подготовили краткий репортаж с мероприятия. И если вы хотите узнать, почему мигрировать с Tableau нужно именно на Visiology, как переносить экспертизу из PowerBI, за счет чего корпорации МСП удалось сделать такие красивые дашборды, а также почему участники ViRush были так увлечены происходящим, давайте под кат.
Читать: https://habr.com/ru/post/699818/
Сломать контроль ресурсов в контрольных группах Linux. Часть 2
В предыдущей публикации мы рассмотрели, как организованы контрольные группы и почему их наследование не всегда гарантирует справедливый учёт ресурсов. Также успели проанализировать один из сценариев, при котором «вредоносные» контейнеры потребляют больше ресурсов, чем разрешено. В этой статье разберёмся с оставшимися сценариями и обсудим, как решать проблемы безопасности, возникающие из-за недостатков механизма cgroups.
Читать: https://habr.com/ru/post/699880/
В предыдущей публикации мы рассмотрели, как организованы контрольные группы и почему их наследование не всегда гарантирует справедливый учёт ресурсов. Также успели проанализировать один из сценариев, при котором «вредоносные» контейнеры потребляют больше ресурсов, чем разрешено. В этой статье разберёмся с оставшимися сценариями и обсудим, как решать проблемы безопасности, возникающие из-за недостатков механизма cgroups.
Читать: https://habr.com/ru/post/699880/
TDE в Platform V DataGrid: учим систему шифрования менять ключи на лету
Привет, Хабр! Это Никита Амельчев и Павел Переслегин. Мы создаём Platform V DataGrid — распределённую базу данных, которая используется в сервисах Сбера и внешних клиентов. В статье расскажем, как мы усилили базовые функции шифрования TDE в нашем продукте и как решали вопрос совмещения полного шифрования и высокой производительности базы данных.
Читать: https://habr.com/ru/post/700036/
Привет, Хабр! Это Никита Амельчев и Павел Переслегин. Мы создаём Platform V DataGrid — распределённую базу данных, которая используется в сервисах Сбера и внешних клиентов. В статье расскажем, как мы усилили базовые функции шифрования TDE в нашем продукте и как решали вопрос совмещения полного шифрования и высокой производительности базы данных.
Читать: https://habr.com/ru/post/700036/
Enhancing the .NET Development Experience with Roslyn Static Analysis
Read: https://www.mongodb.com/blog/post/enhancing-net-development-experience-roslyn-static-analysis
Read: https://www.mongodb.com/blog/post/enhancing-net-development-experience-roslyn-static-analysis
MongoDB World 2022 Recap — Performance Gotchas of Replicas Spanning Multiple Data Centers
Read: https://www.mongodb.com/blog/post/mongodb-world-recap-performance-gotchas-replicas-spanning-multiple-data-centers
Read: https://www.mongodb.com/blog/post/mongodb-world-recap-performance-gotchas-replicas-spanning-multiple-data-centers
Сборка мусора в неисправных JVM, проактивный подход
Команда Netflix Cloud Data Engineering работает с различными приложениями для JVM, включая такие популярные хранилища данных, как Cassandra и Elasticsearch. Хотя большинство наших кластеров стабильно работают, обходясь выделенной им памятью, иногда «запрос смерти» или ошибка в самом хранилище данных приводят к перерасходу памяти, что может спровоцировать лишние циклы сборки мусора или даже привести к исчерпанию памяти в JVM.
Читать: https://habr.com/ru/post/700224/
Команда Netflix Cloud Data Engineering работает с различными приложениями для JVM, включая такие популярные хранилища данных, как Cassandra и Elasticsearch. Хотя большинство наших кластеров стабильно работают, обходясь выделенной им памятью, иногда «запрос смерти» или ошибка в самом хранилище данных приводят к перерасходу памяти, что может спровоцировать лишние циклы сборки мусора или даже привести к исчерпанию памяти в JVM.
Читать: https://habr.com/ru/post/700224/
👍1
Какие базы данных регистрировали российские компании и почему? 7 примеров из практики
Под базой данных подразумевается набор самостоятельных материалов, собранный и систематизированный таким образом, чтобы быть доступными к обработке электронными вычислительными машинами (ЭВМ). Обычно представления о базах данных ограничиваются контактными данными пользователей для настройки рекламы и решения других задач в сети. Однако на самом деле подборка красивых туристических мест с перечнем характеристик — тоже база данных. Это же относится к перечню растений, встречающихся на определённой территории и почти любой информации, если она представляет собой набор самостоятельных материалов. О том, как крупные компании защищают свои базы данных, читайте в нашей статье.
Читать: https://habr.com/ru/post/700306/
Под базой данных подразумевается набор самостоятельных материалов, собранный и систематизированный таким образом, чтобы быть доступными к обработке электронными вычислительными машинами (ЭВМ). Обычно представления о базах данных ограничиваются контактными данными пользователей для настройки рекламы и решения других задач в сети. Однако на самом деле подборка красивых туристических мест с перечнем характеристик — тоже база данных. Это же относится к перечню растений, встречающихся на определённой территории и почти любой информации, если она представляет собой набор самостоятельных материалов. О том, как крупные компании защищают свои базы данных, читайте в нашей статье.
Читать: https://habr.com/ru/post/700306/
Сохранение изображения в БД C#
Порой необходимо сохранить те или иные изображения в базу данных. Сохранять в бд путь до картинки не самый оптимальный выход из ситуации, так как это будет работать локально на одном пк и то не всегда.
Оптимальным выходом из данной ситуации является представление изображения в виде массива байтов byte[]
Набор байтов - это самый простой способ представления файла изображения в виде данных. Строка не подходит, поскольку она содержит коды символов, а файл изображения не состоит из символов. Так как не существует специального класса для хранения данных файла изображения, для этого отлично подходит массив байтов.
Любой файл можно рассматривать как набор байтов, поэтому массив байтов является результатом чтения файла в виде двоичных данных. Файл также может быть декодирован как определенный формат, например, текстовый файл, результатом которого является строка, или формат сжатого изображения (JPEG, GIF, PNG и т. д.), результатом которого является Bitmap.
Читать: https://habr.com/ru/post/700406/
Порой необходимо сохранить те или иные изображения в базу данных. Сохранять в бд путь до картинки не самый оптимальный выход из ситуации, так как это будет работать локально на одном пк и то не всегда.
Оптимальным выходом из данной ситуации является представление изображения в виде массива байтов byte[]
Набор байтов - это самый простой способ представления файла изображения в виде данных. Строка не подходит, поскольку она содержит коды символов, а файл изображения не состоит из символов. Так как не существует специального класса для хранения данных файла изображения, для этого отлично подходит массив байтов.
Любой файл можно рассматривать как набор байтов, поэтому массив байтов является результатом чтения файла в виде двоичных данных. Файл также может быть декодирован как определенный формат, например, текстовый файл, результатом которого является строка, или формат сжатого изображения (JPEG, GIF, PNG и т. д.), результатом которого является Bitmap.
Читать: https://habr.com/ru/post/700406/
Чему мы научились после того, как я случайно уничтожил продуктивную базу данных
«Собственно, б***ь, вот…», думал я, пока в телефонной трубке звучали длинные гудки. Я звонил своему боссу — не сомневаюсь, этим ясным пятничным утром он только и мечтал услышать, как его старший разработчик только что своими руками, не нарочно, удалил базу данных бэк-офиса.
Гудки напомнили мне писк больничной аппаратуры — когда монитор отмеряет последние пульсы умирающего больного. В данном случае, речь шла о моей карьере. Наконец, трубку на том конце кто-то снял. Мне оставалось уповать лишь на мудрость моего начальника. В глубине души я верил, что, выслушав меня, он произнесет какую-нибудь вдохновляющую речь, после которой я найду в себе силы всё исправить. Но он сказал: «Как это, мать твою, вообще случилось?!».
Что ж, сейчас я расскажу вам, как.
Читать: https://habr.com/ru/post/700450/
«Собственно, б***ь, вот…», думал я, пока в телефонной трубке звучали длинные гудки. Я звонил своему боссу — не сомневаюсь, этим ясным пятничным утром он только и мечтал услышать, как его старший разработчик только что своими руками, не нарочно, удалил базу данных бэк-офиса.
Гудки напомнили мне писк больничной аппаратуры — когда монитор отмеряет последние пульсы умирающего больного. В данном случае, речь шла о моей карьере. Наконец, трубку на том конце кто-то снял. Мне оставалось уповать лишь на мудрость моего начальника. В глубине души я верил, что, выслушав меня, он произнесет какую-нибудь вдохновляющую речь, после которой я найду в себе силы всё исправить. Но он сказал: «Как это, мать твою, вообще случилось?!».
Что ж, сейчас я расскажу вам, как.
Читать: https://habr.com/ru/post/700450/
NVMe накопители для серверного оборудования. Лучше чем SSD и HDD?
Привет, с Вами Galt systems! Технологии в IT сфере не стоят на месте, и такой, казалось бы, простой процесс как «хранение данных» тоже развивается. С течением времени прогрессировали и характеристики накопителей: Производительность, время отклика, надежность и, конечно же, долговечность.
Если вы решились на апгрейд вашей системы хранения данных, то самым современным, надежным и производительным решением будут SSD NVMe накопители.
На сегодняшний день наиболее производительными твердотельными накопителями являются накопители с интерфейсом NVMe. Производительность SSD-накопителей с интерфейсами SAS и SATA сдерживается пропускной способностью их интерфейсов. Хотя они используют такую же флэш-память, что и NVMe, их нельзя сделать столь же быстрыми из-за ограничений интерфейса.
Характеристики NVMe
NVMe SSD работают быстрее, чем стандартные 3,5- и 2,5-дюймовые накопители: скорость чтения данных может быть до шести раз выше, чем у обычных SSD. Это связано с тем, что твердотельные накопители предыдущих поколений подключаются к устройствам через SATA, интерфейс компьютерной шины Serial ATA, или SAS, последовательный интерфейс Serial Attached SCSI. Массивы NVMe, тем временем, используют более современную шину PCI Express с разъёмом M.2 и способны обрабатывать гораздо больше команд одновременно, чем предыдущие версии накопителей. Так, SAS обрабатывает 256 запросов, а NVMe может обрабатывать до 64 000 команд одновременно. SATA-диски же, в отличие от NVMe SSD M2 и SAS, ещё более медленные и могут обрабатывать только 32 запроса.
Читать: https://habr.com/ru/post/700528/
Привет, с Вами Galt systems! Технологии в IT сфере не стоят на месте, и такой, казалось бы, простой процесс как «хранение данных» тоже развивается. С течением времени прогрессировали и характеристики накопителей: Производительность, время отклика, надежность и, конечно же, долговечность.
Если вы решились на апгрейд вашей системы хранения данных, то самым современным, надежным и производительным решением будут SSD NVMe накопители.
На сегодняшний день наиболее производительными твердотельными накопителями являются накопители с интерфейсом NVMe. Производительность SSD-накопителей с интерфейсами SAS и SATA сдерживается пропускной способностью их интерфейсов. Хотя они используют такую же флэш-память, что и NVMe, их нельзя сделать столь же быстрыми из-за ограничений интерфейса.
Характеристики NVMe
NVMe SSD работают быстрее, чем стандартные 3,5- и 2,5-дюймовые накопители: скорость чтения данных может быть до шести раз выше, чем у обычных SSD. Это связано с тем, что твердотельные накопители предыдущих поколений подключаются к устройствам через SATA, интерфейс компьютерной шины Serial ATA, или SAS, последовательный интерфейс Serial Attached SCSI. Массивы NVMe, тем временем, используют более современную шину PCI Express с разъёмом M.2 и способны обрабатывать гораздо больше команд одновременно, чем предыдущие версии накопителей. Так, SAS обрабатывает 256 запросов, а NVMe может обрабатывать до 64 000 команд одновременно. SATA-диски же, в отличие от NVMe SSD M2 и SAS, ещё более медленные и могут обрабатывать только 32 запроса.
Читать: https://habr.com/ru/post/700528/
👍1
5 Key Questions for App-Driven Analytics
Read: https://www.mongodb.com/blog/post/five-key-questions-app-driven-analytics
Read: https://www.mongodb.com/blog/post/five-key-questions-app-driven-analytics
5 Key Questions for App-Driven Analytics
Read: https://www.mongodb.com/blog/post/five-key-questions-app-driven-analytics
Read: https://www.mongodb.com/blog/post/five-key-questions-app-driven-analytics
5 Key Questions for App-Driven Analytics
Read: https://www.mongodb.com/blog/post/five-key-questions-app-driven-analytics
Read: https://www.mongodb.com/blog/post/five-key-questions-app-driven-analytics
5 Key Questions for App-Driven Analytics
Read: https://www.mongodb.com/blog/post/five-key-questions-app-driven-analytics
Read: https://www.mongodb.com/blog/post/five-key-questions-app-driven-analytics
5 Key Questions for App-Driven Analytics
Read: https://www.mongodb.com/blog/post/five-key-questions-app-driven-analytics
Read: https://www.mongodb.com/blog/post/five-key-questions-app-driven-analytics
Start on your journey to operationalize AI-enhanced real-time applications with MongoDB and Databricks
Read: https://www.mongodb.com/blog/post/start-your-journey-operationalize-ai-enhanced-real-time-applications-mongodb-databricks
Read: https://www.mongodb.com/blog/post/start-your-journey-operationalize-ai-enhanced-real-time-applications-mongodb-databricks
Как мы обновили старый кластер Elasticsearch на 3 ПБ без простоев. Часть 1 — Введение
Прим. переводчика: автор статьи рассказывает о причинах, побудивших их попробовать провести обновление кластера Elasticsearch размером более 3 петабайт, и приводит результаты замеров работоспособности нового кластера в сравнении со старым.
Еще в 2018 году, то есть пять лет назад, в нашем блоге был опубликован пост с описанием нашего кластера Elasticsearch на 400+ узлов. Тогда была затронута важная тема:
Мы решили не обновлять кластер. Хотелось бы, но пока есть более срочные задачи. Да и как именно будет происходить обновление, пока не решено. Один из вариантов — создать новый кластер, а не обновлять старый.
Что ж, долгожданный день обновления, наконец, наступил.
Читать: https://habr.com/ru/post/700628/
Прим. переводчика: автор статьи рассказывает о причинах, побудивших их попробовать провести обновление кластера Elasticsearch размером более 3 петабайт, и приводит результаты замеров работоспособности нового кластера в сравнении со старым.
Еще в 2018 году, то есть пять лет назад, в нашем блоге был опубликован пост с описанием нашего кластера Elasticsearch на 400+ узлов. Тогда была затронута важная тема:
Мы решили не обновлять кластер. Хотелось бы, но пока есть более срочные задачи. Да и как именно будет происходить обновление, пока не решено. Один из вариантов — создать новый кластер, а не обновлять старый.
Что ж, долгожданный день обновления, наконец, наступил.
Читать: https://habr.com/ru/post/700628/
🔥1
ETL и ELT: ключевые различия, о которых должен знать каждый
ETL и ELT — самые широко используемые способы доставки данных из одного или нескольких источников в централизованную систему для удобства доступа и анализа. Обе этих методики состоят из этапов extract (извлечения), transform (преобразования) и load (загрузки). Разница заключается в последовательности действий. Хотя можно подумать, что небольшое изменение в порядке этапов никак не влияет, на самом деле для потока интеграции это меняет всё.
В этом посте мы подробно рассмотрим процессы ETL и ELT, а также сравним их по важным критериям, чтобы вы могли понять, какой лучше подходит для вашего конвейера данных.
Читать: https://habr.com/ru/post/695546/
ETL и ELT — самые широко используемые способы доставки данных из одного или нескольких источников в централизованную систему для удобства доступа и анализа. Обе этих методики состоят из этапов extract (извлечения), transform (преобразования) и load (загрузки). Разница заключается в последовательности действий. Хотя можно подумать, что небольшое изменение в порядке этапов никак не влияет, на самом деле для потока интеграции это меняет всё.
В этом посте мы подробно рассмотрим процессы ETL и ELT, а также сравним их по важным критериям, чтобы вы могли понять, какой лучше подходит для вашего конвейера данных.
Читать: https://habr.com/ru/post/695546/
Зачем компаниям и разработчикам базы данных в облаке: инструкция по применению
Бизнес применяет самые разные способы хранения корпоративных документов и персональных данных. Среди них встречаются нестандартные решения. Так, в одной западной компании, занимающейся разработкой, записи хранили в обычном текстовом файле JSON на диске, пока не перешли на etcd — key-value базу данных (позже компания вернулась к концепции единого файла из-за личных предпочтений фаундера).
В принципе любая компания может развернуть систему управления базами данных самостоятельно, если есть собственный ИТ-отдел и необходимые компетенции. Однако не каждая компания может себе позволить нанять администратора баз данных, чтобы тот занимался поддержкой. Следил за ресурсами, использованием оперативной памяти и хранилища и при необходимости их увеличивал, а также обеспечивал мониторинг, регулярное бэкапирование, настраивал оптимальную конфигурацию сервера СУБД.
Упростить все эти задачи можно, используя облачные базы данных по модели DBaaS (Database-as-a-Service). Что еще могут предложить базы данных в облаке? Как минимум две вещи — масштабируемость и производительность. О них расскажем далее. Материал подан доступно для начинающих.
Читать: https://habr.com/ru/post/700908/
Бизнес применяет самые разные способы хранения корпоративных документов и персональных данных. Среди них встречаются нестандартные решения. Так, в одной западной компании, занимающейся разработкой, записи хранили в обычном текстовом файле JSON на диске, пока не перешли на etcd — key-value базу данных (позже компания вернулась к концепции единого файла из-за личных предпочтений фаундера).
В принципе любая компания может развернуть систему управления базами данных самостоятельно, если есть собственный ИТ-отдел и необходимые компетенции. Однако не каждая компания может себе позволить нанять администратора баз данных, чтобы тот занимался поддержкой. Следил за ресурсами, использованием оперативной памяти и хранилища и при необходимости их увеличивал, а также обеспечивал мониторинг, регулярное бэкапирование, настраивал оптимальную конфигурацию сервера СУБД.
Упростить все эти задачи можно, используя облачные базы данных по модели DBaaS (Database-as-a-Service). Что еще могут предложить базы данных в облаке? Как минимум две вещи — масштабируемость и производительность. О них расскажем далее. Материал подан доступно для начинающих.
Читать: https://habr.com/ru/post/700908/
Зачем компаниям и разработчикам базы данных в облаке: инструкция по применению
Бизнес применяет самые разные способы хранения корпоративных документов и персональных данных. Среди них встречаются нестандартные решения. Так, в одной западной компании, занимающейся разработкой, записи хранили в обычном текстовом файле JSON на диске, пока не перешли на etcd — key-value базу данных (позже компания вернулась к концепции единого файла из-за личных предпочтений фаундера).
В принципе любая компания может развернуть систему управления базами данных самостоятельно, если есть собственный ИТ-отдел и необходимые компетенции. Однако не каждая компания может себе позволить нанять администратора баз данных, чтобы тот занимался поддержкой. Следил за ресурсами, использованием оперативной памяти и хранилища и при необходимости их увеличивал, а также обеспечивал мониторинг, регулярное бэкапирование, настраивал оптимальную конфигурацию сервера СУБД.
Упростить все эти задачи можно, используя облачные базы данных по модели DBaaS (Database-as-a-Service). Что еще могут предложить базы данных в облаке? Как минимум две вещи — масштабируемость и производительность. О них расскажем далее. Материал подан доступно для начинающих.
Читать: https://habr.com/ru/post/700908/
Бизнес применяет самые разные способы хранения корпоративных документов и персональных данных. Среди них встречаются нестандартные решения. Так, в одной западной компании, занимающейся разработкой, записи хранили в обычном текстовом файле JSON на диске, пока не перешли на etcd — key-value базу данных (позже компания вернулась к концепции единого файла из-за личных предпочтений фаундера).
В принципе любая компания может развернуть систему управления базами данных самостоятельно, если есть собственный ИТ-отдел и необходимые компетенции. Однако не каждая компания может себе позволить нанять администратора баз данных, чтобы тот занимался поддержкой. Следил за ресурсами, использованием оперативной памяти и хранилища и при необходимости их увеличивал, а также обеспечивал мониторинг, регулярное бэкапирование, настраивал оптимальную конфигурацию сервера СУБД.
Упростить все эти задачи можно, используя облачные базы данных по модели DBaaS (Database-as-a-Service). Что еще могут предложить базы данных в облаке? Как минимум две вещи — масштабируемость и производительность. О них расскажем далее. Материал подан доступно для начинающих.
Читать: https://habr.com/ru/post/700908/