🔑 Как сейчас развивается рынок Big Data и какую экономическую выгоду компании получают благодаря огромным массивам информации, разбирался ▪️ «Коммерсантъ».

🔊 Свой комментарий по этой теме дал генеральный директор Группы Arenadata Максим Пустовой:

Данные становятся ценным активом для компании и элементом конкурентного преимущества: на их основе бизнес строит стратегию развития отношений с клиентами, повышает операционную эффективность или извлекает прямую пользу через их монетизацию

Максим также подчеркнул, что сегодня есть тренд на консолидацию рынка — ведущие производители решений по работе с данными консолидируют более мелких разработчиков, создавая платформу продуктов, которая закрывает весь спектр потребностей клиентов по работе с данными.

Как пишет «Коммерсантъ», высокий спрос на внедрение решений по управлению и обработке данных связан с активной цифровизацией отраслей экономики, развитием систем автоматизации и аналитики, ИИ и интернета вещей.

#BigData #Бизнес #Цифровизация

О том, как управление данными помогает торговым сетям, банкам и промышленным организациям, читайте в полной версии статьи >>

🎞 Продолжаем делиться самыми интересными выступлениями с конференции ArenaDay.

🛰 Сегодня — астрономически интересное выступление кандидата физико-математических наук Владимира Сурдина.

🟢Владимир рассказал о будущем космонавтики, новых ракетах, проектах и целях.

🔜 Все выступления с ArenaDay мы собрали в отдельном плейлисте на нашем YouTube-канале.

#ArenaDay #Space #Arenadata

✅ Расширяем экосистему коннекторов к источникам метаданных

📊 Эффективное управление метаданными означает возможность построения графа происхождения данных от момента их появления до момента финального использования. Часто такой конечной точкой является дашборд BI-системы.

🔗 Компания DataCatalog разработала коннектор для сканирования метаданных BI платформы Visiology. Настроив оптимальное расписание, можно проводить автоматизированное сканирование системы и получать полную информацию о перечне объектов Visiology, включая дашборды, чарты, типы чартов и их описания. Дата-инженеры наглядно увидят пути трансформации данных, могут выявлять аномалии и отслеживать происходящие изменения. Бизнес-пользователи получают возможность связывать объекты бизнес-глоссария ADC с соответствующими чартами Visiology.

👉 Коннектор включен в дистрибутив ADC начиная с версии v0.6.2.2

⚡️Наш корпоративный дистрибутив для распределённой масштабируемой обработки данных Arenadata Hadoop (ADH) получил 📃сертификат соответствия ФСТЭК РФ №4821. Документ удостоверяет, что продукт сертифицирован по требованиям 4 уровня доверия и технических условий.

4️⃣ уровень доверия ФСТЭК является одним из самых высоких уровней доверия к средствам технической защиты конфиденциальной информации.

Он подтверждает, что ADH можно применять в организациях, к которым предъявляются особые требования по информационной безопасности, включая значимые объекты критической информационной инфраструктуры.

Александр Ермаков, технический директор Arenadata:

Arenadata Hadoop стал первым корпоративным дистрибутивом, собранным в России на базе Apache Hadoop, и он первым же в своём классе ПО получил сертификацию по 4 уровню доверия ФСТЭК.

#ADH #Hadoop #ФСТЭК

Полный текст новости на нашем сайте >>

🔑 В компаниях, которые работают с BigData, часто возникает вопрос: какую СУБД внедрить — универсальную или специализированную?

В экспертной колонке на CNews директор департамента продуктового маркетинга Arenadata Антон Коваленко рассказывает, в чем их принципиальные отличия и для каких задач подходит каждая из них.

«Сегодня бизнесу нужны решения, которые способны обеспечить высокую производительность, гибкость и функциональность, соответствующие их конкретным потребностям и стратегии развития. Именно поэтому специализированные СУБД становятся все более популярными среди компаний, где используются большие данные», — подчеркнул Антон Коваленко.

➡️ В статье представлены мнения экспертов из Банка «Уралсиб», дата-офиса Банка «Санкт-Петербург» и золотодобывающего предприятия «Полюс» о том, как ограничения универсальных СУБД влияют на бизнес, и в чем преимущества специализированных СУБД для решения сложных аналитических задач и обеспечения масштабируемости бизнеса.

Полный текст статьи читайте здесь>>

#Arenadata #SQL #BigData #ClickHouse

🏦Банк «Санкт-Петербург» в рамках развития IT-инфраструктуры осуществил миграцию функционала КХД c решения Oracle на Arenadata Hadoop (ADH).

✔️В результате реализации проекта банк создал и внедрил в промышленную эксплуатацию стабильную, отказоустойчивую платформу, соответствующую системным критериям Business Critical.

Ян Гузов, CDO Банка «Санкт-Петербург»:

«Важным критерием выбора была гарантия того, что продуктовая экспертиза останется на российском рынке независимо от внешних условий. Было понятно, что Arenadata — отечественный вендор, который вовремя будет предоставлять нам актуальные версии своего дистрибутива, своевременную и качественную техподдержку»

Узнать, какие критерии были важны для банка при выборе новый платформы и как она используется сейчас, можно на нашем сайте>>

#Hadoop #bigdata #ADH #БСПБ #ArenadataHadoop #Arenadata

💎АЛРОСА — крупнейшая алмазодобывающая компания, мировой лидер по объёму добычи и запасов алмазов. Для получения оптимальных экземпляров этого уникального и важного для российской экономики минерала АЛРОСА анализирует большие объёмы данных на разных производственных этапах.

❔Как выглядит процесс добычи алмазов и производства готового продукта — бриллиантов? Какие именно данные собирает компания и какую ценность это даёт бизнесу? Какие технологии использует команда центра компетенций по управлению данными, чтобы хранить и правильно структурировать информацию?

🗣На эти вопросы и не только отвечает Кирилл Севергин, руководитель центра компетенций по управлению данными ООО «АЛРОСА ИТ» в эфире передачи «Большие данные большой страны» с Андреем Жуковым на телеканале «ПРО БИЗНЕС».

#АЛРОСА #Greenplum #ClickHouse #ArenadataDB #ArenadataStreaming #ArenadataQuickMarts #Arenadata

https://www.youtube.com/watch?v=rrdRNy6cSqM&t=3s

⚡️Вслед за Arenadata Hadoop теперь Arenadata DB (ADB) и Arenadata QuickMarts (ADQM) 📃 сертифицированы ФСТЭК по 4-му уровню доверия!

Ранее ADB и ADQM были сертифицированы по 6-му уровню доверия и технических условий. Теперь оба этих продукта можно использовать в организациях, к которым предъявляются особые требования по информационной безопасности, включая значимые объекты критической информационной инфраструктуры.

Александр Ермаков, технический директор Arenadata:

Мы, как разработчик СУБД, постоянно работаем над улучшением безопасности наших продуктов. Этот факт подтверждает то, что и Arenadata DB, и Arenadata QuickMarts успешно прошли испытания регулятора для сертификации по более высокому уровню доверия ФСТЭК.

Подробнее в новости на нашем сайте >>

#ADH #Hadoop #ФСТЭК #Arenadata #ArenadataQuickMarts #ArenadataDB #ADB #ADQM

2️⃣ В нашем блоге на Хабре вышла статья о нюансах применения record-oriented-подхода в NiFi. 👌Вас ждет JSON, Avro-схема и JOLT-спецификация.

В этом материале архитектор поддержки продаж Arenadata Иван Клименко показывает на примере, что шаблонный подход record-oriented не всегда применим при разработке потоков обработки и трансформации данных в NiFi.

Иван подробно описал, что делать, если в построенный на записях поток обработки приходят данные, которые выпадают из общей парадигмы. Также он рассказал о возможных ошибках и дал несколько рекомендаций для разработчиков.

Ваши вопросы традиционно ждём в комментариях на Хабре>>

Если вы ещё не подписаны на наш блог, не забудьте это сделать 😉

#DataEngineering #Arenadata #DataProcessing #BigData #DataTransformation #IT #Хабр #Apache

🎞 Продолжаем делиться самыми интересными выступлениями с конференции ArenaDay.

На этот раз — кейс 🍔 «Вкусно — и точка» о том, как за год удалось построить масштабируемую систему высокой доступности для обработки и анализа данных, а также запустить процесс оптимизации логистики с привлечением технологий машинного обучения и обработки данных из семи источников.

⚙️ Проект был реализован партнёром Группы Arenadata — компанией Navicon.

Спикеры — архитектор цифровых платформ «Вкусно — и точка!» Дмитрий Исаков и директор по стратегическому развитию Navicon Мария Аверина — рассказали о том, как удалось реализовать проект в сжатые сроки, а также о продуктах, которые стали его основой: Arenadata DB, Arenadata Streaming, Arenadata QuickMarts, Arenadata Cluster Manager и Arenadata Catalog.

🔜 Напоминаем, что все выступления с ArenaDay мы собрали в отдельном плейлисте на нашем YouTube-канале.

#Arenadata #ArenaDay #bigdata #ADB #ArenadataStreaming #ArenadataDB #ArenadataCatalog

🎞 Если вы пропустили наш последний вебинар по Arenadata DB и текущей ситуации с Greenplum, у вас есть возможность посмотреть запись на нашем YouTube-канале.

🗣В ходе вебинара наши эксперты: руководитель отдела архитектуры и системного анализа Дмитрий Воронков, директор департамента продуктового маркетинга Антон Коваленко и технический менеджер проекта Руслан Мусакалимов обсудили ключевые обновления Arenadata DB за последний год.

⏯Они рассказали об обновлении ядра, коннекторах, системе управления Control, ADBM и DR, а также обсудили текущую ситуацию с open source проектом Greenplum.

⏯Отдельный блок вебинара был посвящён ответам на многочисленные вопросы участников.

#Arenadata #Greenplum #ArenadataDB

📱 Цифровизация в России развивается неравномерно, её уровень значительно варьируется по отраслям. Почему так происходит, попытался разобраться «Коммерсантъ», опросив участников рынка.

⏯Как отмечают некоторые эксперты, в цифровых лидерах финансовый сектор, телеком, ритейл, e-commerce, а в последние годы и обрабатывающая промышленность, при этом высокие технологии пока практически не затронули, например, сферу АПК.

Антон Балагаев, директор по консалтингу Arenadata, в своем комментарии ▪️ подчеркнул, что в векторе развития ИТ-сектора диджитализация не по всем направлениям идёт равномерно:

Мы умеем оцифровывать процессы: выделять в чем-то аналоговом измеримую составляющую и сохранять её, для этого у нас есть научно-техническая база, специалисты, лучшие мировые практики. Основные трудности связаны со второй составляющей цифровой трансформации — автоматизацией.

Полный текст статьи читайте здесь >>

#IT #Цифровизация #Arenadata

🏆 В 2024 году проект по импортозамещению ИТ-инфраструктуры в Газпромбанке был отмечен престижной ИТ-премией TAdviser IT Prize в номинации «Импортозамещение в банковском секторе: стратегия года».

💳Газпромбанк создает принципиально новую импортонезависимую и высокопроизводительную ИТ-инфраструктуру с использованием Машины больших данных Скала^р МБД.Г на основе Arenadata DB. Разработчиком ИТ-архитектуры банка выступил партнёр Группы Arenadata — системный интегратор 🧡 Rubytech.

⏯О дорожной карте импортозамещения, процессе выбора ИТ-решений и ключевых этапах проекта порталу CNews рассказал замначальника Департамента инфраструктуры информационных технологий Газпромбанка Максим Клепиков.

«Мы прошли огромный путь по созданию независимой ИТ-инфраструктуры. Важно, что от момента зарождения идеи импортозамещения в Газпромбанке до реализации полноценного прототипа рабочей целевой ИТ-инфраструктуры, готовой к масштабированию, прошло совсем немного времени», — отметил он.

Читать кейс на сайте >>

#Arenadata #Газпромбанк #ArenadataDB #Rubytech

⌨️ Хотите прокачать свои знания в бизнес-анализе, освоить новый инструмент PIX BI и обменяться опытом с коллегами? Тогда не пропустите BI-Хакатон, организованный Arenadata, PIX Robotics и GlowByte!

🟩На Хакатоне вы научитесь работать с self-service инструментом PIX BI и сможете создать собственное приложение на основе предоставленных дата-сетов.

🟩После соревнования Антон Коваленко, директор департамента продуктового маркетинга Arenadata, расскажет, как реализовать быструю аналитику с помощью решения PIX BI и Arenadata QuickMarts - единственной сборки ClickHouse в России с сертификатом ФСТЭК.

🟩Мероприятие будет проходить в оффлайн формате. Вас ждёт увлекательное практическое задание и честная борьба. Напомним, что на команду необходимо иметь хотя бы один ноутбук 😉

📅 Дата: 27 августа, 9:00 (мск)
📌 Регистрация: открыта до 20 августа
🔗 Подать заявку можно по ссылке

#Arenadata #PIXRobotics #GlowByte #Хакатон

🎞 Продолжаем делиться самыми интересными выступлениями с конференции ArenaDay.

🗣Сегодня — доклад Андрея Пряникова, заместителя гендиректора по развитию бизнеса Clean Data, на тему «Данные как описание реального мира». Продукты Clean Data — «Гражданский фактор» и Data Quality Framework — входят в дата-платформу Arenadata.

Андрей подробно описал линейку продуктов компании, отличия качественных данных от некачественных, процессы стандартизации данных и создание эталонных профилей физических и юридических лиц.

Ждем ваши вопросы по продуктам компании Clean Data на 📩 почту info@arenadata.io

Также напоминаем, что все выступления с ArenaDay мы собрали в отдельном плейлисте на нашем YouTube-канале.

#CleanData #Arenadata #ArenaDay

Строим амфитеатр и открываем музей эволюции данных — Arenadata готовится к ИТ-пикнику, который пройдёт 17 августа в музее-заповеднике «Коломенское». Вас ждут познавательные лекции, интерактивы для детей и взрослых, а также музыкальная программа.

👥 Лектории разделены по направлениям: научпоп, архитектура, разработка, качество данных, кибербезопасность, управление процессами.

🗣Спикеры — эксперты из Arenadata, МТС, Касперского, Т-Банка, Авито и других бигтехов, а также учёные и известные инфлюенсеры.

🎶 Концертная часть включает выступления Найка Борзова, TRITIA, Драгни и других исполнителей.

🏟 На «арене» нашей Группы вас ждут:

⏯ Музей и экспонаты, демонстрирующие, на чём хранились данные в разные эпохи — от древнейших времён (30 тыс. лет назад) до современности.
⏯Уникальные ИТ-предсказания на память.
⏯Задания на ловкость, логику и пространственное мышление.
⏯И ещё много всего интересного, включая подарки!

Дата: 17 августа
Место: Музей-заповедник «Коломенское»
Площадка № 10
Регистрация: по ссылке>>

⏱️ А вы знали, что по результатам тестов и реального использования Arenadata QuickMarts (ADQM) показывает многократное превосходство в скорости выполнения аналитических запросов по сравнению с другими решениями на рынке?

🔑 Чем ADQM отличается от других СУБД, где её применяют и каких результатов она помогает достичь бизнесу, на портале TAdviser рассказал директор департамента продуктового маркетинга Arenadata Антон Коваленко.

Arenadata QuickMarts подходит компаниям из разных сфер бизнеса, среди которых промышленность, FMCG, ритейл и e-commerce, банки, телекоммуникации и госсектор. Продукт оптимизирован для хранения информации в колоночных форматах, что позволяет до ⬆️2,5 раз повысить скорость формирования аналитических отчетов.

Техническая зрелость и функциональность решения позволяет использовать ADQM для замещения продуктов многих иностранных вендоров, среди которых Oracle Exadata, Microsoft SQL, Teradata, SAP BW/4HANA, Vertica, Amazon Timestream и InfluxDB Enterprise, – подчеркнул он.

Полный текст статьи >>


#Arenadata #ADQM #ArenadataQuickMarts #ClickHouse #Импортозамещение
Подписаться на канал Arenadata.

🔑🍷Хотите узнать, как правильно хранить данные на примере винного шкафа?

Представьте, что вы храните бутылки с вином в шкафу. Чтобы напиток не испортился, необходимо учитывать целый ряд параметров, включая температуру, влажность и освещённость. Схожая ситуация в хранилище данных - важно следить за качеством, структурой и безопасностью данных.

🟩На митапе «Data & Wine: про вино и данные» Артём Нестерчук, product owner Arenadata Catalog, подробно объяснил процессы на каждой «полке» этого шкафа и описал, какие преимущества для бизнеса принесёт внедрение каталога данных.

Качество данных имеет критическое значение для бизнеса, поскольку на их основе принимаются решения. Инженеру данных также важно, чтобы размещенные в хранилище данные соответствовали формату, - подчеркнул Артём.

💹Компания DataCatalog входит в Группу Arenadatа.
#Arenadata #ADC #ArenadataCatalog
Подписаться на канал Arenadata.

🎞 Продолжаем делиться самыми интересными выступлениями с конференции ArenaDay. Сегодня — доклад «Экосистема озера данных в «Норникеле»».

🏭 Добыча цветных металлов — сложный процесс, вокруг которого формируются терабайты информации, и компания поставила цель использовать эти данные максимально эффективно.

🔑 В настоящее время «Норникель» располагает общим хранилищем данных объёмом 1,5 PB и ML-инфраструктурой с производительностью 350 терафлопс. Единой точкой доступа к данным и одним из основных компонентов новой платформы стала аналитическая СУБД Arenadata DB.

🗣Мансур Гасратов, руководитель экосистемы «Озеро данных» в «Норникеле», и Пётр Федосов, ведущий инженер экосистемы, подробно рассказали о хранении и обработке сверхбольших объёмов структурированных и неструктурированных данных.

⏯Спикеры также представили информацию об экономическом эффекте от внедрения новой платформы и объяснили, как с помощью продуктов Arenadata удалось успешно интегрировать производственные площадки Кольского, Заполярного и Забайкальского дивизионов, существенно повысив эффективность работы на всех уровнях.

🔜 Напоминаем, что все выступления с ArenaDay мы собрали в отдельном плейлисте на нашем YouTube-канале.

#ArenadataDB #Норникель #ArenaDay
💬 Подписаться на канал Arenadata.