Predictions 2023: Modernization Efforts in the Financial Services Industry
Read: https://www.mongodb.com/blog/post/predictions-2023-modernization-efforts-financial-services-industry
Read: https://www.mongodb.com/blog/post/predictions-2023-modernization-efforts-financial-services-industry
Статистика базы данных с помощью pg_profile
Нередко проблемы в СУБД возникают из-за медленных запросов. Запросы такого типа дают нагрузку на базу данных и не позволяют вашему приложению работать корректно. К счастью, есть много доступных инструментов, которые помогают решить эту проблему.
Например, чтобы эффективно реализовать статистику и найти места с наибольшей нагрузкой в PostgreSQL, можно воспользоваться инструментом pg_profile. Как с ним работать, рассказал Александр Булгаков, инженер разработки Газпромбанка — в статье:
Читать: https://tprg.ru/IKFA
Нередко проблемы в СУБД возникают из-за медленных запросов. Запросы такого типа дают нагрузку на базу данных и не позволяют вашему приложению работать корректно. К счастью, есть много доступных инструментов, которые помогают решить эту проблему.
Например, чтобы эффективно реализовать статистику и найти места с наибольшей нагрузкой в PostgreSQL, можно воспользоваться инструментом pg_profile. Как с ним работать, рассказал Александр Булгаков, инженер разработки Газпромбанка — в статье:
Читать: https://tprg.ru/IKFA
Hydrus Helps Companies Improve ESG Performance
Read: https://www.mongodb.com/blog/post/hydrus-helps-companies-improve-esg-performance
Read: https://www.mongodb.com/blog/post/hydrus-helps-companies-improve-esg-performance
Neo4j. Вместо тысячи join-ов…
Если вы столкнулись с задачей хранения сильно связанных данных, то отличным вариантом будет использовать графовую модель данных. Мы в Текфорс сделали именно так. Почему - разберем в этой статье.
Читать: https://habr.com/ru/post/711646/
Если вы столкнулись с задачей хранения сильно связанных данных, то отличным вариантом будет использовать графовую модель данных. Мы в Текфорс сделали именно так. Почему - разберем в этой статье.
Читать: https://habr.com/ru/post/711646/
Миграция Postgrespro с Centos7 на AlmaLinux8. Как бонус — пара седых волос
В статье описывается один из способов обновления дистибутива операционной системы с работающим кластером баз данных Postgres Pro Standard версии 11. В дальнейшем, для краткости кластер баз данных Postgres Pro Standard 11 будем называть Postgrespro, Centos7 - Centos, а AlmaLinux8 - Almalinux. Способ заключается в том чтобы настроить физическую репликацию Postgrespro между разными дистрибутивами операционной системы с последующим переводом слейва в режим мастера. При чтении множества статей о настройке физической репликации я нигде не встречал упоминание о том, что так делать нельзя. Естественно, что архитектура Centos и Almalinux должны совпадать, а так же должны совпадать мажорные версии Postgrespro.
Читать: https://habr.com/ru/post/711664/
В статье описывается один из способов обновления дистибутива операционной системы с работающим кластером баз данных Postgres Pro Standard версии 11. В дальнейшем, для краткости кластер баз данных Postgres Pro Standard 11 будем называть Postgrespro, Centos7 - Centos, а AlmaLinux8 - Almalinux. Способ заключается в том чтобы настроить физическую репликацию Postgrespro между разными дистрибутивами операционной системы с последующим переводом слейва в режим мастера. При чтении множества статей о настройке физической репликации я нигде не встречал упоминание о том, что так делать нельзя. Естественно, что архитектура Centos и Almalinux должны совпадать, а так же должны совпадать мажорные версии Postgrespro.
Читать: https://habr.com/ru/post/711664/
👍1
Как я участвовал в создании информационных систем для медицины
В 1987-м году я окончил с красным дипломом приборостроительный факультет челябинского политехнического института по специальности "Автоматика и телемеханика", хотя планировал стать физиком-теоретиком и школу заканчивал в специализированной школе-интернате №18 при МГУ. По распределению попал в специализированное конструкторское бюро и до 1991-го года разрабатывал электронные блоки для бронетанковой техники. До сих пор считаю что полученная при этом инженерная школа является чем-то недостижимым в современных реалиях. В частности, мы с коллегами создали комбинированный аналого-цифровой программируемый комплекс, который в реальном времени проводил расчеты по математической модели объекта, описываемой системой дифференциальных уравнений 4-го порядка с 14-ью нелинейными элементами и принимал решения более 10 тысяч раз в секунду. На современных вычислителях это наверное и можно было бы сделать, но в то время мы решали задачу имея в распоряжении только набор интегральных микросхем, самой крутой из которых была ПЗУ на 2 килобайта и всё наше творчество должно было уместиться в 9 литров объёма и работать в диапазоне температур от -40 до +85.
После того как в 1991-м году страна развалилась я выбрал стезю программирования и с тех пор так или иначе связан с разработкой ПО и построением крупных информационных систем. Начинал с создания комплексного ПО и "умной кассы" для торгового центра, потом была информационная система учёта аренды муниципального имущества. Потом я вернулся в конструкторское бюро на считавшийся безнадёжным проект по созданию комплекса диагностических стендов для автоматизированного поиска неисправностей в электронных блоках в интересах иностранного заказчика. После окончания разработки я возглавлял группу разработчиков, которая сдавала эти стенды заказчику, и мы с этой задачей справились.
Читать: https://habr.com/ru/post/711682/
В 1987-м году я окончил с красным дипломом приборостроительный факультет челябинского политехнического института по специальности "Автоматика и телемеханика", хотя планировал стать физиком-теоретиком и школу заканчивал в специализированной школе-интернате №18 при МГУ. По распределению попал в специализированное конструкторское бюро и до 1991-го года разрабатывал электронные блоки для бронетанковой техники. До сих пор считаю что полученная при этом инженерная школа является чем-то недостижимым в современных реалиях. В частности, мы с коллегами создали комбинированный аналого-цифровой программируемый комплекс, который в реальном времени проводил расчеты по математической модели объекта, описываемой системой дифференциальных уравнений 4-го порядка с 14-ью нелинейными элементами и принимал решения более 10 тысяч раз в секунду. На современных вычислителях это наверное и можно было бы сделать, но в то время мы решали задачу имея в распоряжении только набор интегральных микросхем, самой крутой из которых была ПЗУ на 2 килобайта и всё наше творчество должно было уместиться в 9 литров объёма и работать в диапазоне температур от -40 до +85.
После того как в 1991-м году страна развалилась я выбрал стезю программирования и с тех пор так или иначе связан с разработкой ПО и построением крупных информационных систем. Начинал с создания комплексного ПО и "умной кассы" для торгового центра, потом была информационная система учёта аренды муниципального имущества. Потом я вернулся в конструкторское бюро на считавшийся безнадёжным проект по созданию комплекса диагностических стендов для автоматизированного поиска неисправностей в электронных блоках в интересах иностранного заказчика. После окончания разработки я возглавлял группу разработчиков, которая сдавала эти стенды заказчику, и мы с этой задачей справились.
Читать: https://habr.com/ru/post/711682/
2022 - The Year In Review For The Exadata Family
2022 - The year in review for the Oracle Exadata Family
Read: https://blogs.oracle.com/database/post/2022-exadata-family-year-in-review
2022 - The year in review for the Oracle Exadata Family
Read: https://blogs.oracle.com/database/post/2022-exadata-family-year-in-review
Oracle
2022 - The Year In Review For The Exadata Family
2022 - The year in review for the Oracle Exadata Family
Сколько нужно времени, чтобы перенести дашборд из PowerBI на Visiology 3.0?
Привет, друзья! После нового года на нас обрушилась очередная лавина запросов о возможности миграции на Visiology 3 c Microsoft PowerBI. Конечно, это связано с тем что уже закупленные лицензии на PBI подходят к концу, а приобретение новых не стало со временем проще. Поэтому сегодня я хочу наглядно показать, как будет происходить перенос несложного дашборда из Power BI в Visiology 3.0.
Почему так быстро?
Читать: https://habr.com/ru/post/711670/
Привет, друзья! После нового года на нас обрушилась очередная лавина запросов о возможности миграции на Visiology 3 c Microsoft PowerBI. Конечно, это связано с тем что уже закупленные лицензии на PBI подходят к концу, а приобретение новых не стало со временем проще. Поэтому сегодня я хочу наглядно показать, как будет происходить перенос несложного дашборда из Power BI в Visiology 3.0.
Почему так быстро?
Читать: https://habr.com/ru/post/711670/
Аналитика данных подключенных автомобилей – 23 года работы шведской компании WirelessCar
Шведская компания WirelessCar специализируется на подключенных транспортных средствах c 1999 года. Они работают с OEM-производителями (BMW, Volkswagen Group, Volvo Cars) и используют все возможности подключенных услуг для достижения более безопасного, разумного и экологичного движения.
«Уже 23 года мы поддерживаем энергию и дух стартапа, но сегодня мы находимся в гораздо более крупной экосистеме мобильности, где подключенные автомобили стали обязательными для продвижения вперед. На прошлой неделе мы достигли цифры в 10 миллионов автомобилей, подключенных к нашим системам, что позволяет нам создавать безопасную, интеллектуальную и устойчивую мобильность в гораздо большем масштабе, чем в начале нашей работы», — говорит Никлас Флорен, генеральный директор WirelessCar.
Цель компании — помочь OEM-производителям не только предоставлять услуги, которые действительно нужны конечным пользователям, но и добиться масштабируемости. Услуги WirelessCar доступны более чем на 100 рынках по всему миру.
«Для начала очень важно понять, что мы не владеем данными. Данные принадлежат OEM-производителям или самим водителям, и с самого начала это было принципиальной позицией WirelessCar», — объясняет Флорен. «Мы помогаем OEM-производителям более разумно использовать имеющиеся у них данные. Например, чтобы предсказывать, сколько времени потребуется, чтобы добраться до пункта назначения, или как долго будет работать ваш аккумулятор — используя как данные из автомобиля, так и другие внешние данные (погода, дорожные условия)».
Читать: https://habr.com/ru/post/712054/
Шведская компания WirelessCar специализируется на подключенных транспортных средствах c 1999 года. Они работают с OEM-производителями (BMW, Volkswagen Group, Volvo Cars) и используют все возможности подключенных услуг для достижения более безопасного, разумного и экологичного движения.
«Уже 23 года мы поддерживаем энергию и дух стартапа, но сегодня мы находимся в гораздо более крупной экосистеме мобильности, где подключенные автомобили стали обязательными для продвижения вперед. На прошлой неделе мы достигли цифры в 10 миллионов автомобилей, подключенных к нашим системам, что позволяет нам создавать безопасную, интеллектуальную и устойчивую мобильность в гораздо большем масштабе, чем в начале нашей работы», — говорит Никлас Флорен, генеральный директор WirelessCar.
Цель компании — помочь OEM-производителям не только предоставлять услуги, которые действительно нужны конечным пользователям, но и добиться масштабируемости. Услуги WirelessCar доступны более чем на 100 рынках по всему миру.
«Для начала очень важно понять, что мы не владеем данными. Данные принадлежат OEM-производителям или самим водителям, и с самого начала это было принципиальной позицией WirelessCar», — объясняет Флорен. «Мы помогаем OEM-производителям более разумно использовать имеющиеся у них данные. Например, чтобы предсказывать, сколько времени потребуется, чтобы добраться до пункта назначения, или как долго будет работать ваш аккумулятор — используя как данные из автомобиля, так и другие внешние данные (погода, дорожные условия)».
Читать: https://habr.com/ru/post/712054/
Obsidian + Dataview: Задачи
В прошлой статье Obsidian + Dataview: Таблицы я рассказал про установку плагина Dataview, формирование таблиц с его помощью и разобрал 4 кейса его использования.
Dataview - это очень мощный и функциональный плагин, с помощью которого кроме таблиц можно так же формировать списки, календари и задачи.
Сегодня хотелось бы остановиться на задачах, тем более что Dataview позволяет сделать из Обсидиана полноценный task/todo-менеджер с календарём и прочими приятностями.
Читать: https://habr.com/ru/post/712038/
В прошлой статье Obsidian + Dataview: Таблицы я рассказал про установку плагина Dataview, формирование таблиц с его помощью и разобрал 4 кейса его использования.
Dataview - это очень мощный и функциональный плагин, с помощью которого кроме таблиц можно так же формировать списки, календари и задачи.
Сегодня хотелось бы остановиться на задачах, тем более что Dataview позволяет сделать из Обсидиана полноценный task/todo-менеджер с календарём и прочими приятностями.
Читать: https://habr.com/ru/post/712038/
🔥2
Страдающее ML: как мы автоматизировали проверку данных, чтобы не было мучительно больно
Работать с данными — муторно, но есть кое-что похуже — проверять их качество. Больше данных — больше изматывающих ручных проверок и меньше уверенности, что с массивом всё в порядке.
Я разрабатываю ML-модели для розничного бизнеса, провожу A/B-тесты и оцениваю бизнес-эффекты в Газпромбанке. Год назад мы разработали систему, которая показывает, где и насколько данные плохи, а инженерам остаётся только разобраться почему. Раньше они сначала вручную выясняли, что в данных пошло не так, а теперь есть система, которая даёт подсказки. Расскажу об алгоритме, лежащем в основе системы, и о том, что она сейчас собой представляет и как используется в наших бизнес-процессах.
Читать: https://habr.com/ru/post/712214/
Работать с данными — муторно, но есть кое-что похуже — проверять их качество. Больше данных — больше изматывающих ручных проверок и меньше уверенности, что с массивом всё в порядке.
Я разрабатываю ML-модели для розничного бизнеса, провожу A/B-тесты и оцениваю бизнес-эффекты в Газпромбанке. Год назад мы разработали систему, которая показывает, где и насколько данные плохи, а инженерам остаётся только разобраться почему. Раньше они сначала вручную выясняли, что в данных пошло не так, а теперь есть система, которая даёт подсказки. Расскажу об алгоритме, лежащем в основе системы, и о том, что она сейчас собой представляет и как используется в наших бизнес-процессах.
Читать: https://habr.com/ru/post/712214/
Ускоряем MySQL: 5+ фишек для оптимизации работы базы данных
СУБД чрезвычайно важна для любого проекта, и почти перед каждым админом в какой-то момент встаёт задача её оптимизации. Чтобы сделать запросы быстрее, важно понимать, как работает MySQL в целом.
Описанные в этом посте методы повышают производительность базы данных MySQL. Однако есть и сложности, с которыми можно столкнуться на пути к оптимизации и о которых стоит предупредить сразу.
Читать: https://habr.com/ru/post/712292/
СУБД чрезвычайно важна для любого проекта, и почти перед каждым админом в какой-то момент встаёт задача её оптимизации. Чтобы сделать запросы быстрее, важно понимать, как работает MySQL в целом.
Описанные в этом посте методы повышают производительность базы данных MySQL. Однако есть и сложности, с которыми можно столкнуться на пути к оптимизации и о которых стоит предупредить сразу.
Читать: https://habr.com/ru/post/712292/
Поднимаем стенд Spring микросервисов в Kubernetes
Гайд для начинающих по поднятию домашнего стенда для экспериментов c k8s c базовым CI/CD для микросервисов Spring.
Читать: «Поднимаем стенд Spring микросервисов в Kubernetes»
Гайд для начинающих по поднятию домашнего стенда для экспериментов c k8s c базовым CI/CD для микросервисов Spring.
Читать: «Поднимаем стенд Spring микросервисов в Kubernetes»
Интеграция 1С в Cloud: выгоды, проблемы и сроки
Рассказываем, как интегрировать 1C в Cloud — ex SberCloud — в 2023 году. Cloud заменяет серверы, которые почти не поставляются с 2022 года.
Читать: «Интеграция 1С в Cloud: выгоды, проблемы и сроки»
Рассказываем, как интегрировать 1C в Cloud — ex SberCloud — в 2023 году. Cloud заменяет серверы, которые почти не поставляются с 2022 года.
Читать: «Интеграция 1С в Cloud: выгоды, проблемы и сроки»
Представляем Deep Lake, озеро данных для глубокого обучения
В рамках нашего крупнейшего проекта мы представляем Deep Lake - озеро данных для глубокого обучения. Deep Lake более чем в 2 раза производительнее по сравнению с предыдущим поколением и превосходит все другие загрузчики данных. Давайте ознакомимся с более подробной информацией о возможностях Deep Lake.
Читать: https://habr.com/ru/post/712856/
В рамках нашего крупнейшего проекта мы представляем Deep Lake - озеро данных для глубокого обучения. Deep Lake более чем в 2 раза производительнее по сравнению с предыдущим поколением и превосходит все другие загрузчики данных. Давайте ознакомимся с более подробной информацией о возможностях Deep Lake.
Читать: https://habr.com/ru/post/712856/
Организация рабочего места в современных условиях
Добрый день, коллеги. Меня зовут Сарафанов Павел. С 2003 года я работаю в качестве BackEnd разработчика в крупнейших банках Росси таких как: Сбербанк, Дойче банк, ВТБ, Газпромбанк.
Читать: https://habr.com/ru/post/712898/
Добрый день, коллеги. Меня зовут Сарафанов Павел. С 2003 года я работаю в качестве BackEnd разработчика в крупнейших банках Росси таких как: Сбербанк, Дойче банк, ВТБ, Газпромбанк.
Читать: https://habr.com/ru/post/712898/
Зачем вообще защищать данные при передаче?
Привет, Хабр!
Меня зовут Федор и я занимаюсь киберкриминалистикой. Не только на работе (в RTM Group), но и на досуге. Мне нравится исследовать, почему и как кого-то взломали, а еще думать, как сделать так, чтобы этого не происходило. В связи с COVIDом и прочими событиями гораздо больше важных данных все стали пересылать посредством электронной почты и мессенджеров. Соответственно, выросло и количество случаев кражи таких данных. И сегодня мы разберемся, как защищать важную информацию при передаче.
Понятно, что в мессенджерах, соцсетях и электронной почте есть уже необходимые инструменты ИБ. Но как быть с конфиденциальной корпоративной информацией? Ведь всегда существует риск утери устройства, перехвата пароля и другие векторы атак. Ниже мы опишем способы защиты данных при передаче, которые собрали за многолетнюю практику проведения аудитов ИБ, и покажем, какие из них более надежные, а какие - более быстрые. Сразу скажем, что излишняя паранойя в этом деле наверняка будет тормозить бизнес-процессы, поэтому предаваться ей не стоит, а лучше выбрать сбалансированный вариант самостоятельно.
Читать: https://habr.com/ru/post/712952/
Привет, Хабр!
Меня зовут Федор и я занимаюсь киберкриминалистикой. Не только на работе (в RTM Group), но и на досуге. Мне нравится исследовать, почему и как кого-то взломали, а еще думать, как сделать так, чтобы этого не происходило. В связи с COVIDом и прочими событиями гораздо больше важных данных все стали пересылать посредством электронной почты и мессенджеров. Соответственно, выросло и количество случаев кражи таких данных. И сегодня мы разберемся, как защищать важную информацию при передаче.
Понятно, что в мессенджерах, соцсетях и электронной почте есть уже необходимые инструменты ИБ. Но как быть с конфиденциальной корпоративной информацией? Ведь всегда существует риск утери устройства, перехвата пароля и другие векторы атак. Ниже мы опишем способы защиты данных при передаче, которые собрали за многолетнюю практику проведения аудитов ИБ, и покажем, какие из них более надежные, а какие - более быстрые. Сразу скажем, что излишняя паранойя в этом деле наверняка будет тормозить бизнес-процессы, поэтому предаваться ей не стоит, а лучше выбрать сбалансированный вариант самостоятельно.
Читать: https://habr.com/ru/post/712952/
Разворачиваем MySQL: установка и настройка
MySQL на сегодняшний день является одной из наиболее распространенных в мире. Достаточно сказать, что по рейтингам 2021 года данная СУБД лишь немного уступала Oracle.
Читать: https://habr.com/ru/post/712768/
MySQL на сегодняшний день является одной из наиболее распространенных в мире. Достаточно сказать, что по рейтингам 2021 года данная СУБД лишь немного уступала Oracle.
Читать: https://habr.com/ru/post/712768/