🔑 В компаниях, которые работают с BigData, часто возникает вопрос: какую СУБД внедрить — универсальную или специализированную?

В экспертной колонке на CNews директор департамента продуктового маркетинга Arenadata Антон Коваленко рассказывает, в чем их принципиальные отличия и для каких задач подходит каждая из них.

«Сегодня бизнесу нужны решения, которые способны обеспечить высокую производительность, гибкость и функциональность, соответствующие их конкретным потребностям и стратегии развития. Именно поэтому специализированные СУБД становятся все более популярными среди компаний, где используются большие данные», — подчеркнул Антон Коваленко.

➡️ В статье представлены мнения экспертов из Банка «Уралсиб», дата-офиса Банка «Санкт-Петербург» и золотодобывающего предприятия «Полюс» о том, как ограничения универсальных СУБД влияют на бизнес, и в чем преимущества специализированных СУБД для решения сложных аналитических задач и обеспечения масштабируемости бизнеса.

Полный текст статьи читайте здесь>>

#Arenadata #SQL #BigData #ClickHouse

🏦Банк «Санкт-Петербург» в рамках развития IT-инфраструктуры осуществил миграцию функционала КХД c решения Oracle на Arenadata Hadoop (ADH).

✔️В результате реализации проекта банк создал и внедрил в промышленную эксплуатацию стабильную, отказоустойчивую платформу, соответствующую системным критериям Business Critical.

Ян Гузов, CDO Банка «Санкт-Петербург»:

«Важным критерием выбора была гарантия того, что продуктовая экспертиза останется на российском рынке независимо от внешних условий. Было понятно, что Arenadata — отечественный вендор, который вовремя будет предоставлять нам актуальные версии своего дистрибутива, своевременную и качественную техподдержку»

Узнать, какие критерии были важны для банка при выборе новый платформы и как она используется сейчас, можно на нашем сайте>>

#Hadoop #bigdata #ADH #БСПБ #ArenadataHadoop #Arenadata

💎АЛРОСА — крупнейшая алмазодобывающая компания, мировой лидер по объёму добычи и запасов алмазов. Для получения оптимальных экземпляров этого уникального и важного для российской экономики минерала АЛРОСА анализирует большие объёмы данных на разных производственных этапах.

❔Как выглядит процесс добычи алмазов и производства готового продукта — бриллиантов? Какие именно данные собирает компания и какую ценность это даёт бизнесу? Какие технологии использует команда центра компетенций по управлению данными, чтобы хранить и правильно структурировать информацию?

🗣На эти вопросы и не только отвечает Кирилл Севергин, руководитель центра компетенций по управлению данными ООО «АЛРОСА ИТ» в эфире передачи «Большие данные большой страны» с Андреем Жуковым на телеканале «ПРО БИЗНЕС».

#АЛРОСА #Greenplum #ClickHouse #ArenadataDB #ArenadataStreaming #ArenadataQuickMarts #Arenadata

https://www.youtube.com/watch?v=rrdRNy6cSqM&t=3s

⚡️Вслед за Arenadata Hadoop теперь Arenadata DB (ADB) и Arenadata QuickMarts (ADQM) 📃 сертифицированы ФСТЭК по 4-му уровню доверия!

Ранее ADB и ADQM были сертифицированы по 6-му уровню доверия и технических условий. Теперь оба этих продукта можно использовать в организациях, к которым предъявляются особые требования по информационной безопасности, включая значимые объекты критической информационной инфраструктуры.

Александр Ермаков, технический директор Arenadata:

Мы, как разработчик СУБД, постоянно работаем над улучшением безопасности наших продуктов. Этот факт подтверждает то, что и Arenadata DB, и Arenadata QuickMarts успешно прошли испытания регулятора для сертификации по более высокому уровню доверия ФСТЭК.

Подробнее в новости на нашем сайте >>

#ADH #Hadoop #ФСТЭК #Arenadata #ArenadataQuickMarts #ArenadataDB #ADB #ADQM

2️⃣ В нашем блоге на Хабре вышла статья о нюансах применения record-oriented-подхода в NiFi. 👌Вас ждет JSON, Avro-схема и JOLT-спецификация.

В этом материале архитектор поддержки продаж Arenadata Иван Клименко показывает на примере, что шаблонный подход record-oriented не всегда применим при разработке потоков обработки и трансформации данных в NiFi.

Иван подробно описал, что делать, если в построенный на записях поток обработки приходят данные, которые выпадают из общей парадигмы. Также он рассказал о возможных ошибках и дал несколько рекомендаций для разработчиков.

Ваши вопросы традиционно ждём в комментариях на Хабре>>

Если вы ещё не подписаны на наш блог, не забудьте это сделать 😉

#DataEngineering #Arenadata #DataProcessing #BigData #DataTransformation #IT #Хабр #Apache

🎞 Продолжаем делиться самыми интересными выступлениями с конференции ArenaDay.

На этот раз — кейс 🍔 «Вкусно — и точка» о том, как за год удалось построить масштабируемую систему высокой доступности для обработки и анализа данных, а также запустить процесс оптимизации логистики с привлечением технологий машинного обучения и обработки данных из семи источников.

⚙️ Проект был реализован партнёром Группы Arenadata — компанией Navicon.

Спикеры — архитектор цифровых платформ «Вкусно — и точка!» Дмитрий Исаков и директор по стратегическому развитию Navicon Мария Аверина — рассказали о том, как удалось реализовать проект в сжатые сроки, а также о продуктах, которые стали его основой: Arenadata DB, Arenadata Streaming, Arenadata QuickMarts, Arenadata Cluster Manager и Arenadata Catalog.

🔜 Напоминаем, что все выступления с ArenaDay мы собрали в отдельном плейлисте на нашем YouTube-канале.

#Arenadata #ArenaDay #bigdata #ADB #ArenadataStreaming #ArenadataDB #ArenadataCatalog

🎞 Если вы пропустили наш последний вебинар по Arenadata DB и текущей ситуации с Greenplum, у вас есть возможность посмотреть запись на нашем YouTube-канале.

🗣В ходе вебинара наши эксперты: руководитель отдела архитектуры и системного анализа Дмитрий Воронков, директор департамента продуктового маркетинга Антон Коваленко и технический менеджер проекта Руслан Мусакалимов обсудили ключевые обновления Arenadata DB за последний год.

⏯Они рассказали об обновлении ядра, коннекторах, системе управления Control, ADBM и DR, а также обсудили текущую ситуацию с open source проектом Greenplum.

⏯Отдельный блок вебинара был посвящён ответам на многочисленные вопросы участников.

#Arenadata #Greenplum #ArenadataDB

📱 Цифровизация в России развивается неравномерно, её уровень значительно варьируется по отраслям. Почему так происходит, попытался разобраться «Коммерсантъ», опросив участников рынка.

⏯Как отмечают некоторые эксперты, в цифровых лидерах финансовый сектор, телеком, ритейл, e-commerce, а в последние годы и обрабатывающая промышленность, при этом высокие технологии пока практически не затронули, например, сферу АПК.

Антон Балагаев, директор по консалтингу Arenadata, в своем комментарии ▪️ подчеркнул, что в векторе развития ИТ-сектора диджитализация не по всем направлениям идёт равномерно:

Мы умеем оцифровывать процессы: выделять в чем-то аналоговом измеримую составляющую и сохранять её, для этого у нас есть научно-техническая база, специалисты, лучшие мировые практики. Основные трудности связаны со второй составляющей цифровой трансформации — автоматизацией.

Полный текст статьи читайте здесь >>

#IT #Цифровизация #Arenadata

🏆 В 2024 году проект по импортозамещению ИТ-инфраструктуры в Газпромбанке был отмечен престижной ИТ-премией TAdviser IT Prize в номинации «Импортозамещение в банковском секторе: стратегия года».

💳Газпромбанк создает принципиально новую импортонезависимую и высокопроизводительную ИТ-инфраструктуру с использованием Машины больших данных Скала^р МБД.Г на основе Arenadata DB. Разработчиком ИТ-архитектуры банка выступил партнёр Группы Arenadata — системный интегратор 🧡 Rubytech.

⏯О дорожной карте импортозамещения, процессе выбора ИТ-решений и ключевых этапах проекта порталу CNews рассказал замначальника Департамента инфраструктуры информационных технологий Газпромбанка Максим Клепиков.

«Мы прошли огромный путь по созданию независимой ИТ-инфраструктуры. Важно, что от момента зарождения идеи импортозамещения в Газпромбанке до реализации полноценного прототипа рабочей целевой ИТ-инфраструктуры, готовой к масштабированию, прошло совсем немного времени», — отметил он.

Читать кейс на сайте >>

#Arenadata #Газпромбанк #ArenadataDB #Rubytech

⌨️ Хотите прокачать свои знания в бизнес-анализе, освоить новый инструмент PIX BI и обменяться опытом с коллегами? Тогда не пропустите BI-Хакатон, организованный Arenadata, PIX Robotics и GlowByte!

🟩На Хакатоне вы научитесь работать с self-service инструментом PIX BI и сможете создать собственное приложение на основе предоставленных дата-сетов.

🟩После соревнования Антон Коваленко, директор департамента продуктового маркетинга Arenadata, расскажет, как реализовать быструю аналитику с помощью решения PIX BI и Arenadata QuickMarts - единственной сборки ClickHouse в России с сертификатом ФСТЭК.

🟩Мероприятие будет проходить в оффлайн формате. Вас ждёт увлекательное практическое задание и честная борьба. Напомним, что на команду необходимо иметь хотя бы один ноутбук 😉

📅 Дата: 27 августа, 9:00 (мск)
📌 Регистрация: открыта до 20 августа
🔗 Подать заявку можно по ссылке

#Arenadata #PIXRobotics #GlowByte #Хакатон

🎞 Продолжаем делиться самыми интересными выступлениями с конференции ArenaDay.

🗣Сегодня — доклад Андрея Пряникова, заместителя гендиректора по развитию бизнеса Clean Data, на тему «Данные как описание реального мира». Продукты Clean Data — «Гражданский фактор» и Data Quality Framework — входят в дата-платформу Arenadata.

Андрей подробно описал линейку продуктов компании, отличия качественных данных от некачественных, процессы стандартизации данных и создание эталонных профилей физических и юридических лиц.

Ждем ваши вопросы по продуктам компании Clean Data на 📩 почту info@arenadata.io

Также напоминаем, что все выступления с ArenaDay мы собрали в отдельном плейлисте на нашем YouTube-канале.

#CleanData #Arenadata #ArenaDay

Строим амфитеатр и открываем музей эволюции данных — Arenadata готовится к ИТ-пикнику, который пройдёт 17 августа в музее-заповеднике «Коломенское». Вас ждут познавательные лекции, интерактивы для детей и взрослых, а также музыкальная программа.

👥 Лектории разделены по направлениям: научпоп, архитектура, разработка, качество данных, кибербезопасность, управление процессами.

🗣Спикеры — эксперты из Arenadata, МТС, Касперского, Т-Банка, Авито и других бигтехов, а также учёные и известные инфлюенсеры.

🎶 Концертная часть включает выступления Найка Борзова, TRITIA, Драгни и других исполнителей.

🏟 На «арене» нашей Группы вас ждут:

⏯ Музей и экспонаты, демонстрирующие, на чём хранились данные в разные эпохи — от древнейших времён (30 тыс. лет назад) до современности.
⏯Уникальные ИТ-предсказания на память.
⏯Задания на ловкость, логику и пространственное мышление.
⏯И ещё много всего интересного, включая подарки!

Дата: 17 августа
Место: Музей-заповедник «Коломенское»
Площадка № 10
Регистрация: по ссылке>>

⏱️ А вы знали, что по результатам тестов и реального использования Arenadata QuickMarts (ADQM) показывает многократное превосходство в скорости выполнения аналитических запросов по сравнению с другими решениями на рынке?

🔑 Чем ADQM отличается от других СУБД, где её применяют и каких результатов она помогает достичь бизнесу, на портале TAdviser рассказал директор департамента продуктового маркетинга Arenadata Антон Коваленко.

Arenadata QuickMarts подходит компаниям из разных сфер бизнеса, среди которых промышленность, FMCG, ритейл и e-commerce, банки, телекоммуникации и госсектор. Продукт оптимизирован для хранения информации в колоночных форматах, что позволяет до ⬆️2,5 раз повысить скорость формирования аналитических отчетов.

Техническая зрелость и функциональность решения позволяет использовать ADQM для замещения продуктов многих иностранных вендоров, среди которых Oracle Exadata, Microsoft SQL, Teradata, SAP BW/4HANA, Vertica, Amazon Timestream и InfluxDB Enterprise, – подчеркнул он.

Полный текст статьи >>


#Arenadata #ADQM #ArenadataQuickMarts #ClickHouse #Импортозамещение
Подписаться на канал Arenadata.

🔑🍷Хотите узнать, как правильно хранить данные на примере винного шкафа?

Представьте, что вы храните бутылки с вином в шкафу. Чтобы напиток не испортился, необходимо учитывать целый ряд параметров, включая температуру, влажность и освещённость. Схожая ситуация в хранилище данных - важно следить за качеством, структурой и безопасностью данных.

🟩На митапе «Data & Wine: про вино и данные» Артём Нестерчук, product owner Arenadata Catalog, подробно объяснил процессы на каждой «полке» этого шкафа и описал, какие преимущества для бизнеса принесёт внедрение каталога данных.

Качество данных имеет критическое значение для бизнеса, поскольку на их основе принимаются решения. Инженеру данных также важно, чтобы размещенные в хранилище данные соответствовали формату, - подчеркнул Артём.

💹Компания DataCatalog входит в Группу Arenadatа.
#Arenadata #ADC #ArenadataCatalog
Подписаться на канал Arenadata.

🎞 Продолжаем делиться самыми интересными выступлениями с конференции ArenaDay. Сегодня — доклад «Экосистема озера данных в «Норникеле»».

🏭 Добыча цветных металлов — сложный процесс, вокруг которого формируются терабайты информации, и компания поставила цель использовать эти данные максимально эффективно.

🔑 В настоящее время «Норникель» располагает общим хранилищем данных объёмом 1,5 PB и ML-инфраструктурой с производительностью 350 терафлопс. Единой точкой доступа к данным и одним из основных компонентов новой платформы стала аналитическая СУБД Arenadata DB.

🗣Мансур Гасратов, руководитель экосистемы «Озеро данных» в «Норникеле», и Пётр Федосов, ведущий инженер экосистемы, подробно рассказали о хранении и обработке сверхбольших объёмов структурированных и неструктурированных данных.

⏯Спикеры также представили информацию об экономическом эффекте от внедрения новой платформы и объяснили, как с помощью продуктов Arenadata удалось успешно интегрировать производственные площадки Кольского, Заполярного и Забайкальского дивизионов, существенно повысив эффективность работы на всех уровнях.

🔜 Напоминаем, что все выступления с ArenaDay мы собрали в отдельном плейлисте на нашем YouTube-канале.

#ArenadataDB #Норникель #ArenaDay
💬 Подписаться на канал Arenadata.

Подготовка к ИТ-пикнику, на котором Arenadata представит 🏟 амфитеатр и музей эволюции данных, идёт полным ходом.

Сегодня расскажем про образовательные лекции под открытым небом, которые пройдут в рамках мероприятия.

В шатре «Эксперименты в ИТ» с докладом «AI вокруг данных» выступит Станислав Габдулгазиев, архитектор департамента поддержки продаж Arenadata.

🗣Станислав расскажет об автоматизации миграции прикладного кода с использованием AI-инструментов, а именно – переводе диалектов SQL-языков, используемых в СУБД зарубежных вендоров, на диалекты SQL, поддерживаемые продуктами Arenadata.

✔️Слушатели узнают, как и насколько предложенный подход поможет снизить объём трудозатрат в задачах миграции и импортозамещения.

✔️Дополнительно будут рассмотрены перспективные разработки использования AI-инструментов в платформе Arenadata.

Программа лектория тут>>

💼 Напоминаем, что для посетителей будет работать зона карьерных консультаций с представителями рекрутинга Arenadata.

📅 Дата и время: 17 августа, 16:00
📍 Место: «Коломенское»
🎪 Лекционный шатёр № 5
🔗Регистрация на мероприятие по ссылке>>

💬 Подписаться на канал Arenadata.
#Arenadata #ИТпикник #Карьера #AI #Технологии

Любите работать с данными и увлекаетесь фэнтези? Тогда приглашаем вас окунуться в мир приключений и знаний с 📖тетрадью стюарда данных!

⌨️Дата стюард — новая должность в организациях. Эти специалисты отвечают за управление, качество и безопасность данных.

Чтобы разобраться в специфике их работы, предлагаем пройти небольшое путешествие, подготовленное Центром информационного менеджмента при поддержке Arenadata.

👑 Представьте себя в Королевстве Этерия, где вам предстоит овладеть мастерством управления данными. Каждая глава тетради отвечает на важные вопросы, касающиеся практической деятельности стюарда данных.

Вы изучите информационные риски, жизненный цикл и качество данных. Вас ждут лесные лагеря бандитов, древние лабиринты и битвы с гоблинами, а также завоевание признания короля!

🧙🏻‍♂️Игорь Моисеев, директор по развитию DataCatalog (входит в Группу Arenadata):

Желаем доблестному искателю дата-приключений пройти все уровни Data Governance, укротить всех драконов и выйти победителем! На этом эпическом пути ему помогут знания, волшебный инструмент Arenadata Catalog и мудрые маги из Гильдии дата-авантюристов.

Тетрадь доступна для свободного скачивания ⬇️

#DataSteward #УправлениеДанными #ArenadataCatalog #Arenadata
💬 Подписаться на канал Arenadata>>

Эксперты обсуждают правительственную инициативу о грантах до 50 млн руб. для разработчиков систем 🤖 искусственного интеллекта. Такая мера поддержки может быть включена в нацпроект «Экономика данных».

Хватит ли этой суммы для создания ИИ-продукта, как это повлияет на отрасль и сможет ли стимулировать спрос на ИИ-решения в корпоративном и государственном секторах, разбирался «Коммерсантъ».

⏯Участники рынки считают, что льготное кредитование и гранты на создание и использование мощностей для ИИ могут пользоваться спросом из-за высоких затрат на инфраструктуру.

🗣 Антон Балагаев, директор по консалтингу Arenadata, пояснил, что рыночные цены на аренду такой инфраструктуры в течение года сопоставимы, а иногда и превышают стоимость её приобретения в собственность.

Полный текст статьи доступен на сайте издания после регистрации>>

#ИИ #AI #Arenadata

💬 Подписаться на канал Arenadata>>

2️⃣ В нашем блоге на Хабре вышла статья о том, как решить проблему оптимизации механизма UPSERT в Greenplum 6.

⌨️Автор статьи, инженер технической поддержки Arenadata Антон Васильев, подробно рассказывает, как реализовать UPSERT (UPdate or inSERT) с помощью команды CREATE RULE и системы правил, а также с помощью UDF-функции.

✔Вы узнаете о различиях в скорости выполнения SQL-запроса разными оптимизаторами, проблеме эксклюзивной блокировки в Greenplum для UPDATE и «костылях» для работы с Append Optimized–таблицами.

Как реализуется UPSERT в Greenplum 7, можно узнать в статье руководителя группы Си разработки Arenadata Василия Иванова.

Ваши вопросы ждём в комментариях на Хабре>>

#Greenplum #Arenadata #Habr