Arenadata – Telegram
Arenadata
3.26K subscribers
843 photos
36 videos
1 file
728 links
Новостной канал Группы Arenadata, ведущего разработчика программного обеспечения на рынке систем управления и обработки данных. 

Подробнее об Arenadata: https://arenadata.tech/ 

Все каналы Группы в telegram: https://news.1rj.ru/str/addlist/O9Tg4KOMY0FkZDNi
Download Telegram
📭 «Почта России» включает в себя 38 тыс. отделений по всей России и объединяет один из самых больших коллективов в стране — около 265 тыс. работников.

💻При этом организация оперирует петабайтами данных, основная задача которых — обеспечивать контроль доставки и получения почтовых отправлений, а также положительно влиять на эффективность работы.

🟢Как меняется «Почта России» благодаря цифровизации и какие новые клиентские сервисы появились в организации за последние несколько лет?
🟢Как распределены роли в команде, которая работает с данными?
🟢На каком технологическом стеке построено хранилище данных «Почты России»?

На эти вопросы и не только отвечает Анна Ахобадзе, руководитель департамента обработки, хранения и аналитики больших данных «Почты России» в эфире передачи «Большие данные большой страны» с Андреем Жуковым на телеканале «ПРО БИЗНЕС».

#ПочтаРоссии #bigdata #Arenadata

Полная версия интервью >>
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11👍3🆒31
🏆Проект Газпромбанка по созданию технологически независимой ИТ-платформы стал победителем в номинации «Импортозамещение в банковском секторе: стратегия года» престижной премии TAdviser IT Prize.

Одной из важных частей проекта является использование Скала^р МБД - ПАКи с программным обеспечением Arenadata DB, которые являются платформой для реализации проекта по импортозамещению хранилища данных
.

⚙️Проект Газпромбанка был реализован на базе программно-аппаратных комплексов (ПАК) Скала^р. Разработчиком ИТ-архитектуры и технологическим партнёром банка выступил системный интегратор Rubytech.

💻В рамках проекта Arenadata DB используется в Машине больших данных Скала^р МБД.Г для организации параллельной обработки и распределённого хранения структурированных данных

Максим Клепиков, заместитель начальника департамента инфраструктуры информационных технологий Газпромбанка:

«Мы успешно завершили разработку, тестирование целевого ИТ-ландшафта на программно-аппаратных комплексах и приступаем к миграции систем в новую ИТ-среду. Полный переход на импортозамещённые технологии произойдёт до конца 2027 года».


Газпромбанк формирует принципиально новый подход к построению корпоративной ИТ-инфраструктуры на базе ПАК. Он призван упростить, стандартизировать и обеспечить экономическую эффективность комплекса мероприятий по достижению технологического суверенитета.

#ADB #Газпромбанк #Импортозамещение #Rubytech

Подробнее на сайте Arenadata>>
Please open Telegram to view this post
VIEW IN TELEGRAM
👏14🔥32
✏️ Мы опубликовали новую статью в нашем блоге на Хабре, на этот раз о существующих подходах и решениях предоставления пользователям инструментария для осуществления доступа к данным.

⌨️В 2023 году программисты Arenadata разработали специальный коннектор для Arenadata DB и Greenplum, который позволяет выполнять так называемые гетерогенные запросы между различными кластерами.

Ведущий системный архитектор Arenadata Андрей Савицкий рассказал о плюсах и минусах расширений postgres_fdw и greenplum_fdw, а также пояснил, какой механизм лежит в основе adb_fdw-коннектора.

Все схемы прилагаются 😉

Если вы ещё не подписаны на 2️⃣ наш блог, подпишитесь сейчас. Ваши комментарии к статьям приветствуются!

#Habr #ADB #Greenplum
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥115🆒42👌1
📊Центр информационного менеджмента опубликовал новое исследование — «Управление данными в России в 2024 году», которое содержит актуальные исчерпывающие сведения о наиболее значимых преимуществах от управления данными.

Иван Новосёлов, генеральный директор компании DataCatalog (входит в Группу Arenadata), отмечая значимость нового исследования, подчеркнул:

«Исследование, которое провёл Центр информационного менеджмента в 2024 году, подтверждает, что российские организации находятся на правильном пути, осознают необходимость внедрения процессов Data Governance и предпринимают шаги по использованию необходимых инструментов таких как: каталог данных, модуль контроля качества данных и бизнес-глоссарий».
Из документа вы узнаете:

🟢Преимущества управления данными, которые ценят руководители.
🟢Основные препятствия для внедрения управления данными.
🟢Уровень зрелости управления данными в организациях.
🟢Тренды и рекомендации на 2024 год.

#DataCatalog #Аналитика #bigdata

🔗Скачать отчёт можно бесплатно по ссылке>>
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥13👍6👏54
✏️ Мы разместили на Хабре уже две статьи по Greenplum 7

Руководитель группы Си разработки Arenadata Василий Иванов в своих статьях рассказывает о функциях в новой версии Greenplum, а также подробно описывает путь, который пришлось пройти для обеспечения их работоспособности.

Первая статья посвящена миграции движка Append Optimized таблиц на использование интерфейса табличных методов доступа, оптимизации добавления столбцов в таблицы, а также изменениям, связанным с поддержкой индексов.

Во второй статье речь идет о новом для Greenplum типе индексов (brin-индексы), параллельных операциях в рамках сегмента, расширении возможностей Foreign-таблиц и возможностях мониторинга рабочих процессов базы данных.

Схемы, запросы и таблицы прилагаются 😉

Если вы ещё не подписаны на 2️⃣ наш блог, подпишитесь сейчас. Ваши комментарии к статьям приветствуются!

#Greenplum7 #Habr #Arenadata
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11👌7👍64🆒1
💬 Сергей Золотарев, основатель и директор по стратегическому развитию Arenadata, в интервью TAdviser рассказал, каким был для нашей компании 2023 год и поделился ближайшими планами.

Ключевые моменты интервью:

✔️Наша цель — предоставить заказчикам единое проверенное решение.

✔️Высокий темп роста компании обеспечен расширением клиентской базы и кросс-продажами дополнительных продуктов клиентам.

✔️Продукты Arenadata востребованы в ближнем зарубежье. Например, в Азербайджане с нами сотрудничают две компании из крупнейшей финансово-промышленной группы страны.

✔️Мы увеличили количество проектов по миграции с платформ Cloudera, Teradata, Vertica, освоили миграцию SAP BW.

✔️Для массового внедрения продуктов мы инвестируем в создание подробной технической документации.

✔️Мы развиваем наши продукты на облачных платформах и активно инвестируем в их безопасность.

#Arenadata #Интервью

Полная версия интервью >>
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14🔥9👏4🆒43💯2
Forwarded from Picodata News
Релиз Picodata 24.4

Команда разработчиков Picodata рада сообщить о выпуске новой версии нашего основного программного продукта — Picodata 24.4.

Ключевое нововведение — модуль Pgproto, который позволяет подключаться к кластеру Picodata по протоколу PostgreSQL:

picodata run --pg-listen localhost:5432
psql "user=postgres host=localhost port=5432 password=P@ssw0rd sslmode=disable"

CREATE TABLE ...
INSERT ...
SELECT ...


Расширен перечень возможностей распределенного SQL:

— команды CREATE INDEX и DROP INDEX
— выражение CASE
— функции TRIM, TO_CHAR, TO_DATE
— общие табличные выражения (CTE, common table expressions)

Добавлен файл конфигурации в формате YAML — новый способ задавать параметры кластера и инстанса помимо переменных окружения и аргументов командной строки. Релевантные нововведения:

picodata config default — генерирует содержимое файла конфигурации со значениями параметров по умолчанию
picodata run --config — задает путь к файлу конфигурации
picodata run -c — точечно переопределяет параметры файла конфигурации

Полный список нововведений доступен в документе CHANGELOG.

Для установки Picodata 24.4 следуйте инструкциям на сайте.

Инструкции и руководства размещены на портале документации Picodata.

Вопросы и пожелания направляйте в наш Telegram-чат @picodataru.
👍13🔥63
В нашем блоге на Хабре вышла заключительная статья хабр-трилогии по нововведениям в Greenplum 7.

Руководитель группы Си разработки Arenadata Василий Иванов продолжает рассказывать о плюсах и минусах новой версии Greenplum.


Вот неполный перечень фич, о которых можно узнать из статьи:

добавлена возможность задавать разрешения по умолчанию для объектов, которые будут созданы позднее внутри схемы;
появилась just-in-time-компиляция универсальных участков кода под обработку конкретного пользовательского запроса;
добавили автоматический сбор статистики.

Прочитать и обсудить статью в комментариях можно в 2️⃣ нашем блоге на Хабре. Если вы пропустили прошлые публикации по Greenplum, то их можно найти тут и тут.

#Greenplum7 #Habr #Arenadata
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥175👏4👌2🆒1
С днём рождения, Arenadata!

🎉 Сегодня у нас особенный день: мы празднуем день рождения компании. И хотя пока это небольшая цифра, сравнимая с возрастом первоклассника, мы уже точно знаем, что нам есть чем гордиться 😉

❤️ Сегодня мы благодарим вас за огромное доверие и поддержку и верим, что наша общая страсть к инновациям позволит нам вместе сделать этот мир чуточку лучше!

Принимаем поздравления здесь: info@arenadata.io 😊
🎉5419🔥7👍2🥰2
🔑 Как сейчас развивается рынок Big Data и какую экономическую выгоду компании получают благодаря огромным массивам информации, разбирался ▪️ «Коммерсантъ».

🔊 Свой комментарий по этой теме дал генеральный директор Группы Arenadata Максим Пустовой:

Данные становятся ценным активом для компании и элементом конкурентного преимущества: на их основе бизнес строит стратегию развития отношений с клиентами, повышает операционную эффективность или извлекает прямую пользу через их монетизацию


Максим также подчеркнул, что сегодня есть тренд на консолидацию рынка — ведущие производители решений по работе с данными консолидируют более мелких разработчиков, создавая платформу продуктов, которая закрывает весь спектр потребностей клиентов по работе с данными.

Как пишет «Коммерсантъ», высокий спрос на внедрение решений по управлению и обработке данных связан с активной цифровизацией отраслей экономики, развитием систем автоматизации и аналитики, ИИ и интернета вещей.

#BigData #Бизнес #Цифровизация

О том, как управление данными помогает торговым сетям, банкам и промышленным организациям, читайте в полной версии статьи >>
Please open Telegram to view this post
VIEW IN TELEGRAM
12👍9💯2
🎞 Продолжаем делиться самыми интересными выступлениями с конференции ArenaDay.

🛰 Сегодня — астрономически интересное выступление кандидата физико-математических наук Владимира Сурдина.

🟢Владимир рассказал о будущем космонавтики, новых ракетах, проектах и целях.

🔜 Все выступления с ArenaDay мы собрали в отдельном плейлисте на нашем YouTube-канале.

#ArenaDay #Space #Arenadata
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥14👍83
Forwarded from Arenadata Catalog News
Расширяем экосистему коннекторов к источникам метаданных

📊 Эффективное управление метаданными означает возможность построения графа происхождения данных от момента их появления до момента финального использования. Часто такой конечной точкой является дашборд BI-системы.

🔗 Компания DataCatalog разработала коннектор для сканирования метаданных BI платформы Visiology. Настроив оптимальное расписание, можно проводить автоматизированное сканирование системы и получать полную информацию о перечне объектов Visiology, включая дашборды, чарты, типы чартов и их описания. Дата-инженеры наглядно увидят пути трансформации данных, могут выявлять аномалии и отслеживать происходящие изменения. Бизнес-пользователи получают возможность связывать объекты бизнес-глоссария ADC с соответствующими чартами Visiology.

👉 Коннектор включен в дистрибутив ADC начиная с версии v0.6.2.2
Please open Telegram to view this post
VIEW IN TELEGRAM
👍17🔥53
⚡️Наш корпоративный дистрибутив для распределённой масштабируемой обработки данных Arenadata Hadoop (ADH) получил 📃сертификат соответствия ФСТЭК РФ №4821. Документ удостоверяет, что продукт сертифицирован по требованиям 4 уровня доверия и технических условий.

4️⃣ уровень доверия ФСТЭК является одним из самых высоких уровней доверия к средствам технической защиты конфиденциальной информации.

Он подтверждает, что ADH можно применять в организациях, к которым предъявляются особые требования по информационной безопасности, включая значимые объекты критической информационной инфраструктуры.

Александр Ермаков, технический директор Arenadata:

Arenadata Hadoop стал первым корпоративным дистрибутивом, собранным в России на базе Apache Hadoop, и он первым же в своём классе ПО получил сертификацию по 4 уровню доверия ФСТЭК.


#ADH #Hadoop #ФСТЭК

Полный текст новости на нашем сайте >>
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21🔥14👌31
🔑 В компаниях, которые работают с BigData, часто возникает вопрос: какую СУБД внедрить — универсальную или специализированную?

В экспертной колонке на CNews директор департамента продуктового маркетинга Arenadata Антон Коваленко рассказывает, в чем их принципиальные отличия и для каких задач подходит каждая из них.

«Сегодня бизнесу нужны решения, которые способны обеспечить высокую производительность, гибкость и функциональность, соответствующие их конкретным потребностям и стратегии развития. Именно поэтому специализированные СУБД становятся все более популярными среди компаний, где используются большие данные», — подчеркнул Антон Коваленко.


➡️ В статье представлены мнения экспертов из Банка «Уралсиб», дата-офиса Банка «Санкт-Петербург» и золотодобывающего предприятия «Полюс» о том, как ограничения универсальных СУБД влияют на бизнес, и в чем преимущества специализированных СУБД для решения сложных аналитических задач и обеспечения масштабируемости бизнеса.

Полный текст статьи читайте здесь>>

#Arenadata #SQL #BigData #ClickHouse
Please open Telegram to view this post
VIEW IN TELEGRAM
💯9🔥7👍5
🏦Банк «Санкт-Петербург» в рамках развития IT-инфраструктуры осуществил миграцию функционала КХД c решения Oracle на Arenadata Hadoop (ADH).

✔️В результате реализации проекта банк создал и внедрил в промышленную эксплуатацию стабильную, отказоустойчивую платформу, соответствующую системным критериям Business Critical.

Ян Гузов, CDO Банка «Санкт-Петербург»:

«Важным критерием выбора была гарантия того, что продуктовая экспертиза останется на российском рынке независимо от внешних условий. Было понятно, что Arenadata — отечественный вендор, который вовремя будет предоставлять нам актуальные версии своего дистрибутива, своевременную и качественную техподдержку»


Узнать, какие критерии были важны для банка при выборе новый платформы и как она используется сейчас, можно на нашем сайте>>

#Hadoop #bigdata #ADH #БСПБ #ArenadataHadoop #Arenadata
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥9💯2
💎АЛРОСА — крупнейшая алмазодобывающая компания, мировой лидер по объёму добычи и запасов алмазов. Для получения оптимальных экземпляров этого уникального и важного для российской экономики минерала АЛРОСА анализирует большие объёмы данных на разных производственных этапах.

Как выглядит процесс добычи алмазов и производства готового продукта — бриллиантов? Какие именно данные собирает компания и какую ценность это даёт бизнесу? Какие технологии использует команда центра компетенций по управлению данными, чтобы хранить и правильно структурировать информацию?

🗣На эти вопросы и не только отвечает Кирилл Севергин, руководитель центра компетенций по управлению данными ООО «АЛРОСА ИТ» в эфире передачи «Большие данные большой страны» с Андреем Жуковым на телеканале «ПРО БИЗНЕС».

#АЛРОСА #Greenplum #ClickHouse #ArenadataDB #ArenadataStreaming #ArenadataQuickMarts #Arenadata

https://www.youtube.com/watch?v=rrdRNy6cSqM&t=3s
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥22👍54👏3👌2
По данным Института изучения мировых рынков, в ближайшие два года можно ожидать, что две трети ПО в российском корпоративном сегменте будут основаны на открытом исходном коде (OSS).

Однако до сих пор существуют предрассудки относительно open source, связанные с аспектами безопасности. Самые популярные из них в экспертной колонке на портале ko. ru разобрала Екатерина Ульяшова, менеджер по продуктовому маркетингу Arenadata.

Полный текст статьи читайте здесь >>

#Arenadata #OpenSource #ПО #ИБ
🔥166👏3👌2
⚡️Вслед за Arenadata Hadoop теперь Arenadata DB (ADB) и Arenadata QuickMarts (ADQM) 📃 сертифицированы ФСТЭК по 4-му уровню доверия!

Ранее ADB и ADQM были сертифицированы по 6-му уровню доверия и технических условий. Теперь оба этих продукта можно использовать в организациях, к которым предъявляются особые требования по информационной безопасности, включая значимые объекты критической информационной инфраструктуры.

Александр Ермаков, технический директор Arenadata:
Мы, как разработчик СУБД, постоянно работаем над улучшением безопасности наших продуктов. Этот факт подтверждает то, что и Arenadata DB, и Arenadata QuickMarts успешно прошли испытания регулятора для сертификации по более высокому уровню доверия ФСТЭК.


Подробнее в новости на нашем сайте >>

#ADH #Hadoop #ФСТЭК #Arenadata #ArenadataQuickMarts #ArenadataDB #ADB #ADQM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥30👍93💯2👏1👌1
2️⃣ В нашем блоге на Хабре вышла статья о нюансах применения record-oriented-подхода в NiFi. 👌Вас ждет JSON, Avro-схема и JOLT-спецификация.

В этом материале архитектор поддержки продаж Arenadata Иван Клименко показывает на примере, что шаблонный подход record-oriented не всегда применим при разработке потоков обработки и трансформации данных в NiFi.

Иван подробно описал, что делать, если в построенный на записях поток обработки приходят данные, которые выпадают из общей парадигмы. Также он рассказал о возможных ошибках и дал несколько рекомендаций для разработчиков.

Ваши вопросы традиционно ждём в комментариях на Хабре>>

Если вы ещё не подписаны на наш блог, не забудьте это сделать 😉

#DataEngineering #Arenadata #DataProcessing #BigData #DataTransformation #IT #Хабр #Apache
Please open Telegram to view this post
VIEW IN TELEGRAM
12🔥4🆒2👌1
🎞 Продолжаем делиться самыми интересными выступлениями с конференции ArenaDay.

На этот раз — кейс 🍔 «Вкусно — и точка» о том, как за год удалось построить масштабируемую систему высокой доступности для обработки и анализа данных, а также запустить процесс оптимизации логистики с привлечением технологий машинного обучения и обработки данных из семи источников.

⚙️ Проект был реализован партнёром Группы Arenadata — компанией Navicon.

Спикеры — архитектор цифровых платформ «Вкусно — и точка!» Дмитрий Исаков и директор по стратегическому развитию Navicon Мария Аверина — рассказали о том, как удалось реализовать проект в сжатые сроки, а также о продуктах, которые стали его основой: Arenadata DB, Arenadata Streaming, Arenadata QuickMarts, Arenadata Cluster Manager и Arenadata Catalog.

🔜 Напоминаем, что все выступления с ArenaDay мы собрали в отдельном плейлисте на нашем YouTube-канале.

#Arenadata #ArenaDay #bigdata #ADB #ArenadataStreaming #ArenadataDB #ArenadataCatalog
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14🔥52
🎞 Если вы пропустили наш последний вебинар по Arenadata DB и текущей ситуации с Greenplum, у вас есть возможность посмотреть запись на нашем YouTube-канале.

🗣В ходе вебинара наши эксперты: руководитель отдела архитектуры и системного анализа Дмитрий Воронков, директор департамента продуктового маркетинга Антон Коваленко и технический менеджер проекта Руслан Мусакалимов обсудили ключевые обновления Arenadata DB за последний год.

Они рассказали об обновлении ядра, коннекторах, системе управления Control, ADBM и DR, а также обсудили текущую ситуацию с open source проектом Greenplum.

Отдельный блок вебинара был посвящён ответам на многочисленные вопросы участников.

#Arenadata #Greenplum #ArenadataDB
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11🆒321