Как мы используем Greenplum в платформе данных Тинькофф
Меня зовут Дмитрий Немчин, я руковожу отделом, который отвечает за движки хранения и обработки данных в платформе данных Тинькофф. Несколько лет назад мы поняли, что продукты, на которых работало хранилище, перестали нас устраивать. Объемы росли, понадобилось масштабируемое решение. В этом тексте я расскажу, как мы пришли к Greenplum в качестве ядра хранилища данных и как используем его.
Читать: https://habr.com/ru/post/694652/
Меня зовут Дмитрий Немчин, я руковожу отделом, который отвечает за движки хранения и обработки данных в платформе данных Тинькофф. Несколько лет назад мы поняли, что продукты, на которых работало хранилище, перестали нас устраивать. Объемы росли, понадобилось масштабируемое решение. В этом тексте я расскажу, как мы пришли к Greenplum в качестве ядра хранилища данных и как используем его.
Читать: https://habr.com/ru/post/694652/
Собираем мобильный и энергоэффективный NAS
Есть идея построить NAS. Основную функцию которого можно описать как "черный ящик" - собрать все свои данные, собранные годами и разместить в относительно компактном устройстве. Предлагаю ознакомиться с идеей, которая, возможно найдёт отклик у сообщества.
Читать: https://habr.com/ru/post/694684/
Есть идея построить NAS. Основную функцию которого можно описать как "черный ящик" - собрать все свои данные, собранные годами и разместить в относительно компактном устройстве. Предлагаю ознакомиться с идеей, которая, возможно найдёт отклик у сообщества.
Читать: https://habr.com/ru/post/694684/
Как мы делали МЦОД для самого холодного региона России
Привет, Хабр! Меня зовут Федор Клименко, я СЕО компании GreenMDC – мы занимаемся разработкой и производством модульных дата-центров. И иногда доставляем и собираем наши МЦОДы в экзотических регионах. Например, в марте запустили МЦОД в Якутске, где зимой столбик термометра опускается до -60 градусов. Сегодня расскажу о том, как мы везли дата-центр за 9 000 км и собирали его при -30, сколько слоев одежды было на монтажниках, как мы нашли работающий при такой погоде кран и избежали пайки фреонопроводов на морозе.
Предыстория
Для начала скажу, что хоть и являюсь гендиром компании, но в душе остаюсь инженером и люблю путешествовать. А потому часто работаю «в полях» и лично принимаю участие в монтаже и запуске МЦОДов, особенно, если проект интересный – такой как в Якутске.
Этот модульный ЦОД мы разработали по заказу «Республиканского центра информационных технологий» Республики Саха (Якутия) и сделали это в рамках проекта по цифровизации региональных госуслуг. Соответственно, МЦОД хранит и обрабатывает информацию, которая касается таких сфер жизни, как здравоохранение, образование, служба МЧС, банковские услуги, сельское хозяйство и др. Здесь, например, разместился портал госуслуг, мониторинг обстановки при ЧС, в том числе лесных пожаров, колл-центр 122, интеллектуальная транспортная система региона и единая система электронного документооборота.
Читать: https://habr.com/ru/post/694694/
Привет, Хабр! Меня зовут Федор Клименко, я СЕО компании GreenMDC – мы занимаемся разработкой и производством модульных дата-центров. И иногда доставляем и собираем наши МЦОДы в экзотических регионах. Например, в марте запустили МЦОД в Якутске, где зимой столбик термометра опускается до -60 градусов. Сегодня расскажу о том, как мы везли дата-центр за 9 000 км и собирали его при -30, сколько слоев одежды было на монтажниках, как мы нашли работающий при такой погоде кран и избежали пайки фреонопроводов на морозе.
Предыстория
Для начала скажу, что хоть и являюсь гендиром компании, но в душе остаюсь инженером и люблю путешествовать. А потому часто работаю «в полях» и лично принимаю участие в монтаже и запуске МЦОДов, особенно, если проект интересный – такой как в Якутске.
Этот модульный ЦОД мы разработали по заказу «Республиканского центра информационных технологий» Республики Саха (Якутия) и сделали это в рамках проекта по цифровизации региональных госуслуг. Соответственно, МЦОД хранит и обрабатывает информацию, которая касается таких сфер жизни, как здравоохранение, образование, служба МЧС, банковские услуги, сельское хозяйство и др. Здесь, например, разместился портал госуслуг, мониторинг обстановки при ЧС, в том числе лесных пожаров, колл-центр 122, интеллектуальная транспортная система региона и единая система электронного документооборота.
Читать: https://habr.com/ru/post/694694/
👍1
Как оценить размер данных: краткий гайд
Оценка размера данных — это относительно простой навык, который одновременно: а) легко никогда не освоить; б) весьма полезен после того, как вы им овладели. Он может пригодиться при проектировании систем, в отладке сложной проблемы распределенной системы и, разумеется, при обсуждении архитектурных задач на собеседовании.
Автор Уилл Ларсон*, технический директор компании Calm, в своей статье признается, что никогда не был особенно хорош в «оценке». Поэтому он решил потратить несколько часов на развитие этого навыка, что со временем вылилось в текстовые заметки на эту тему. Под катом автор делится полезными правилами для оценки требуемого дискового пространства, а затем собирает фрагмент кода на SQLite3, чтобы продемонстрировать, как можно проверить результаты вашей «оценки».
*Обращаем ваше внимание, что позиция автора не всегда может совпадать с мнением МойОфис.
Читать: https://habr.com/ru/post/694728/
Оценка размера данных — это относительно простой навык, который одновременно: а) легко никогда не освоить; б) весьма полезен после того, как вы им овладели. Он может пригодиться при проектировании систем, в отладке сложной проблемы распределенной системы и, разумеется, при обсуждении архитектурных задач на собеседовании.
Автор Уилл Ларсон*, технический директор компании Calm, в своей статье признается, что никогда не был особенно хорош в «оценке». Поэтому он решил потратить несколько часов на развитие этого навыка, что со временем вылилось в текстовые заметки на эту тему. Под катом автор делится полезными правилами для оценки требуемого дискового пространства, а затем собирает фрагмент кода на SQLite3, чтобы продемонстрировать, как можно проверить результаты вашей «оценки».
*Обращаем ваше внимание, что позиция автора не всегда может совпадать с мнением МойОфис.
Читать: https://habr.com/ru/post/694728/
Импорт данных с MSSQL на PostgreSQL
В наличии была база данных MSSQL (с которой забираем данные), а также PostgreSQL Pro Enterprise 10.3, развернутая на CentOS 7 (на которую импортируем). Ну и полное отсутствие интернета.
Читать: https://habr.com/ru/post/694766/
В наличии была база данных MSSQL (с которой забираем данные), а также PostgreSQL Pro Enterprise 10.3, развернутая на CentOS 7 (на которую импортируем). Ну и полное отсутствие интернета.
Читать: https://habr.com/ru/post/694766/
MongoDB Supports Cutting-Edge Startups with NVIDIA Inception
Read: https://www.mongodb.com/blog/post/mongodb-supports-cutting-edge-startups-nvidia-inception
Read: https://www.mongodb.com/blog/post/mongodb-supports-cutting-edge-startups-nvidia-inception
Enterprise Data Warehouse: компоненты, основные концепции и типы архитектур EDW
Ежедневно мы принимаем множество решений на основании предыдущего опыта. Наш мозг хранит триллионы бит данных о прошлых событиях и использует эти воспоминания каждый раз, когда мы сталкиваемся с необходимостью принятия решения. Как и люди, компании генерируют и собирают множество данных о прошлом, и эти данные можно использовать для принятия более осознанных решений.
Наш мозг может и обрабатывать, и хранить информацию, а компаниям для работы с данными требуется множество разных инструментов. И одним из самых важных является корпоративное хранилище данных (enterprise data warehouse, EDW).
В этой статье мы расскажем о том, что же такое EDW, каких типов они бывают и какие функции имеют, а также как они используются в обработке данных. Мы объясним, как корпоративные хранилища отличаются от обычных, какие типы хранилищ данных существуют и как они работают. В первую очередь мы хотим дать вам информацию о ценности для бизнеса каждого архитектурного и концептуального подхода к построению хранилища.
Читать: https://habr.com/ru/post/693360/
Ежедневно мы принимаем множество решений на основании предыдущего опыта. Наш мозг хранит триллионы бит данных о прошлых событиях и использует эти воспоминания каждый раз, когда мы сталкиваемся с необходимостью принятия решения. Как и люди, компании генерируют и собирают множество данных о прошлом, и эти данные можно использовать для принятия более осознанных решений.
Наш мозг может и обрабатывать, и хранить информацию, а компаниям для работы с данными требуется множество разных инструментов. И одним из самых важных является корпоративное хранилище данных (enterprise data warehouse, EDW).
В этой статье мы расскажем о том, что же такое EDW, каких типов они бывают и какие функции имеют, а также как они используются в обработке данных. Мы объясним, как корпоративные хранилища отличаются от обычных, какие типы хранилищ данных существуют и как они работают. В первую очередь мы хотим дать вам информацию о ценности для бизнеса каждого архитектурного и концептуального подхода к построению хранилища.
Читать: https://habr.com/ru/post/693360/
По существу: чем графовая база данных отличается от реляционной?
Конечно, вы и сами можете легко нагуглить ответы на этот вопрос, однако, как я обнаружил, большинство ответов, которые вы найдете, раскрывают эту тему чересчур поверхностно.
В сегодняшнем вечно занятом мире новые данные, теперь представляющие из себя фундаментальные активы большинства предприятий, создаются без остановки. Системы доступны 24/7, генерируя данные каждую секунду каждого дня. И даже больше, эти сложные композиции систем генерации и обработки данных непрерывно взаимодействуют друг с другом для предоставления услуг конечному пользователю. В последнее время я все чаще натыкаюсь на один вопрос, который заключается в следующем: как обстоят дела с графовыми базами данных и чем они выделяются на фоне реляционных? И в итоге я решил как следует разобраться в этой теме. Найти множество ответов на этот вопрос не представляет особого труда, достаточно просто немного погуглить. Однако, как я обнаружил, большинство ответов перечисляют преимущества очень поверхностно.
Именно поэтому я решил поделиться с вами в этой статье кратким разбором того, в чем по моему мнению заключается их истинная ценность — независимо от маркетинговых презентаций крупных компаний и технологических инфлюенсеров.
Читать: https://habr.com/ru/post/695180/
Конечно, вы и сами можете легко нагуглить ответы на этот вопрос, однако, как я обнаружил, большинство ответов, которые вы найдете, раскрывают эту тему чересчур поверхностно.
В сегодняшнем вечно занятом мире новые данные, теперь представляющие из себя фундаментальные активы большинства предприятий, создаются без остановки. Системы доступны 24/7, генерируя данные каждую секунду каждого дня. И даже больше, эти сложные композиции систем генерации и обработки данных непрерывно взаимодействуют друг с другом для предоставления услуг конечному пользователю. В последнее время я все чаще натыкаюсь на один вопрос, который заключается в следующем: как обстоят дела с графовыми базами данных и чем они выделяются на фоне реляционных? И в итоге я решил как следует разобраться в этой теме. Найти множество ответов на этот вопрос не представляет особого труда, достаточно просто немного погуглить. Однако, как я обнаружил, большинство ответов перечисляют преимущества очень поверхностно.
Именно поэтому я решил поделиться с вами в этой статье кратким разбором того, в чем по моему мнению заключается их истинная ценность — независимо от маркетинговых презентаций крупных компаний и технологических инфлюенсеров.
Читать: https://habr.com/ru/post/695180/
Modernizing Banking Technology Architecture with MongoDB and Gravity9
Read: https://www.mongodb.com/blog/post/modernizing-banking-technology-architecture-mongodb-gravity9
Read: https://www.mongodb.com/blog/post/modernizing-banking-technology-architecture-mongodb-gravity9
Тайм-капсула. Архив со сжатием файловой системы
Тайм-капсула — слепок файловой системы (ФС), желательно с максимальным сжатием, на заданную дату/время. Используется для долговременного хранения в архиве, резервного копирования и восстановления в случае сбоя/потери данных. Нас интересует, как делать такие слепки самостоятельно и какие файлы получаются при этом.
Кто-то привык к обычному
Читать: https://habr.com/ru/post/694486/
Тайм-капсула — слепок файловой системы (ФС), желательно с максимальным сжатием, на заданную дату/время. Используется для долговременного хранения в архиве, резервного копирования и восстановления в случае сбоя/потери данных. Нас интересует, как делать такие слепки самостоятельно и какие файлы получаются при этом.
Кто-то привык к обычному
tar cvzf output.tar.gz /source/pathдля клонирования дисков, но есть более универсальный инструмент FSArchiver, который сохраняет файловые атрибуты, несколько файловых систем в одном архиве и контрольные суммы файлов с хорошим уровнем сжатия. Читать: https://habr.com/ru/post/694486/
Built With MongoDB: ChargeHub Simplifies the Electric Charging Experience
Read: https://www.mongodb.com/blog/post/built-mongodb-charge-hub-simplifies-electric-charging-experience
Read: https://www.mongodb.com/blog/post/built-mongodb-charge-hub-simplifies-electric-charging-experience
Как и зачем разрабатывать информационное обеспечение автоматизированных систем
Существующие подходы и технологии, используемые при разработке информационного и лингвистического обеспечения автоматизированных систем, отстают от требований времени. Необходимо глубокое переосмысление методов и способов формирования и предоставления информации с учетом современного уровня развития информационных технологий.
Читать: https://habr.com/ru/post/695718/
Существующие подходы и технологии, используемые при разработке информационного и лингвистического обеспечения автоматизированных систем, отстают от требований времени. Необходимо глубокое переосмысление методов и способов формирования и предоставления информации с учетом современного уровня развития информационных технологий.
Читать: https://habr.com/ru/post/695718/
MongoDB & IIoT: Turning Data into Business Intelligence
Read: https://www.mongodb.com/blog/post/mongodb-iiot-turning-data-into-business-intelligence
Read: https://www.mongodb.com/blog/post/mongodb-iiot-turning-data-into-business-intelligence
Atlas Charts Adds Support for Serverless and Online Archive Data Sources
Read: https://www.mongodb.com/blog/post/atlas-charts-adds-support-serverless-online-archive-data-sources
Read: https://www.mongodb.com/blog/post/atlas-charts-adds-support-serverless-online-archive-data-sources
Программа для ведения архива медиафайлов в полевых условиях
Почему для фольклорных экспедиций нужно писать программы?
Как быть со множеством фотографий, видео и аудио, которые необходимо каталогизировать, описать и поделиться с коллегами?
Рассказываю, как мы описываем примерно 200 часов интервью за 10 дней экспедиции.
Читать: https://habr.com/ru/post/696256/
Почему для фольклорных экспедиций нужно писать программы?
Как быть со множеством фотографий, видео и аудио, которые необходимо каталогизировать, описать и поделиться с коллегами?
Рассказываю, как мы описываем примерно 200 часов интервью за 10 дней экспедиции.
Читать: https://habr.com/ru/post/696256/
Топ полезных SQL-запросов для PostgreSQL
Статей о работе с PostgreSQL и её преимуществах достаточно много, но не всегда из них понятно, как следить за состоянием базы и метриками, влияющими на её оптимальную работу. В статье подробно рассмотрим SQL-запросы, которые помогут вам отслеживать эти показатели и просто могут быть полезны как пользователю.
Читать: https://habr.com/ru/post/696274/
Статей о работе с PostgreSQL и её преимуществах достаточно много, но не всегда из них понятно, как следить за состоянием базы и метриками, влияющими на её оптимальную работу. В статье подробно рассмотрим SQL-запросы, которые помогут вам отслеживать эти показатели и просто могут быть полезны как пользователю.
Читать: https://habr.com/ru/post/696274/
Это мэтч: как мы подружили российские инфраструктурные решения на демо-стенде
Сегодня многим из нас приходится работать с новыми продуктами. Этого никто не просил, просто старые перестали быть доступны. И, как показала практика, однозначных аналогов, увы, не существует. Чтобы создать альтернативу используемым ранее экосистемам, нужно собрать пазл из нескольких продуктов российских разработчиков. Но их действительно много. Как же выбрать подходящие? Мы решили, что проще установить наиболее интересные на один стенд, провести интеграции и пусть каждый сам смотрит. Как мы это делали, и что там теперь “крутится”, читайте под катом.
Читать: https://habr.com/ru/post/696432/
Сегодня многим из нас приходится работать с новыми продуктами. Этого никто не просил, просто старые перестали быть доступны. И, как показала практика, однозначных аналогов, увы, не существует. Чтобы создать альтернативу используемым ранее экосистемам, нужно собрать пазл из нескольких продуктов российских разработчиков. Но их действительно много. Как же выбрать подходящие? Мы решили, что проще установить наиболее интересные на один стенд, провести интеграции и пусть каждый сам смотрит. Как мы это делали, и что там теперь “крутится”, читайте под катом.
Читать: https://habr.com/ru/post/696432/
PostgreSQL для звездочетов
Свободная СУБД PostgreSQL известна не только как высокопроизводительное решение для выполнения запросов и хранения данных в реляционной модели, но также своим механизмом расширения, который позволяет создавать дополнительные функции, типы данных, индексы и иные структуры данных для разных предметных областей. В этой статье мы рассмотрим некоторые подходы к сохранению и обработки данных астрономических каталогов (альманахов) с использованием возможностей PostgreSQL.
Читать: https://habr.com/ru/post/696556/
Свободная СУБД PostgreSQL известна не только как высокопроизводительное решение для выполнения запросов и хранения данных в реляционной модели, но также своим механизмом расширения, который позволяет создавать дополнительные функции, типы данных, индексы и иные структуры данных для разных предметных областей. В этой статье мы рассмотрим некоторые подходы к сохранению и обработки данных астрономических каталогов (альманахов) с использованием возможностей PostgreSQL.
Читать: https://habr.com/ru/post/696556/
How to Land Your Next Customer Success Role at MongoDB
Read: https://www.mongodb.com/blog/post/how-land-your-next-customer-success-role-mongodb
Read: https://www.mongodb.com/blog/post/how-land-your-next-customer-success-role-mongodb