Упрощаем себе жизнь при разработке интерфейса взаимодействия приложения и БД
Привет, %username%! Меня зовут Антон Жеронкин, я Data Scientist в Сбере, участник профессионального сообщества NTA. Сегодня поговорим о том, как можно сделать лучше жизнь разработчиков, которые часто сталкиваются с базами данных. Дело в том, что, когда разработчики вручную пишут функциональные модули, ответственные за связь с БД, они проделывают следующую работу:
● описывают таблицы в виде классов;
● описывают отдельные атрибуты таблиц в виде атрибутов классов. При этом требуется следить за тем, чтобы типы и форматы данных совпадали;
● на CRUD-операции пишут много SQL-кода, который зашивается в методы языка программирования и помогает остальным модулям при необходимости использовать связь с БД.
Примерно такую же работу приходится проделывать, если сущности, атрибуты и отношения изначально заданы в приложении, а после этого данную модель требуется реализовать в БД. Главный её недостаток — рутина. О том, как её автоматизировать, поговорим под катом.
Читать: https://habr.com/ru/post/711100/
Привет, %username%! Меня зовут Антон Жеронкин, я Data Scientist в Сбере, участник профессионального сообщества NTA. Сегодня поговорим о том, как можно сделать лучше жизнь разработчиков, которые часто сталкиваются с базами данных. Дело в том, что, когда разработчики вручную пишут функциональные модули, ответственные за связь с БД, они проделывают следующую работу:
● описывают таблицы в виде классов;
● описывают отдельные атрибуты таблиц в виде атрибутов классов. При этом требуется следить за тем, чтобы типы и форматы данных совпадали;
● на CRUD-операции пишут много SQL-кода, который зашивается в методы языка программирования и помогает остальным модулям при необходимости использовать связь с БД.
Примерно такую же работу приходится проделывать, если сущности, атрибуты и отношения изначально заданы в приложении, а после этого данную модель требуется реализовать в БД. Главный её недостаток — рутина. О том, как её автоматизировать, поговорим под катом.
Читать: https://habr.com/ru/post/711100/
Predictions 2023: Modernization Efforts in the Financial Services Industry
Read: https://www.mongodb.com/blog/post/predictions-2023-modernization-efforts-financial-services-industry
Read: https://www.mongodb.com/blog/post/predictions-2023-modernization-efforts-financial-services-industry
Статистика базы данных с помощью pg_profile
Нередко проблемы в СУБД возникают из-за медленных запросов. Запросы такого типа дают нагрузку на базу данных и не позволяют вашему приложению работать корректно. К счастью, есть много доступных инструментов, которые помогают решить эту проблему.
Например, чтобы эффективно реализовать статистику и найти места с наибольшей нагрузкой в PostgreSQL, можно воспользоваться инструментом pg_profile. Как с ним работать, рассказал Александр Булгаков, инженер разработки Газпромбанка — в статье:
Читать: https://tprg.ru/IKFA
Нередко проблемы в СУБД возникают из-за медленных запросов. Запросы такого типа дают нагрузку на базу данных и не позволяют вашему приложению работать корректно. К счастью, есть много доступных инструментов, которые помогают решить эту проблему.
Например, чтобы эффективно реализовать статистику и найти места с наибольшей нагрузкой в PostgreSQL, можно воспользоваться инструментом pg_profile. Как с ним работать, рассказал Александр Булгаков, инженер разработки Газпромбанка — в статье:
Читать: https://tprg.ru/IKFA
Hydrus Helps Companies Improve ESG Performance
Read: https://www.mongodb.com/blog/post/hydrus-helps-companies-improve-esg-performance
Read: https://www.mongodb.com/blog/post/hydrus-helps-companies-improve-esg-performance
Neo4j. Вместо тысячи join-ов…
Если вы столкнулись с задачей хранения сильно связанных данных, то отличным вариантом будет использовать графовую модель данных. Мы в Текфорс сделали именно так. Почему - разберем в этой статье.
Читать: https://habr.com/ru/post/711646/
Если вы столкнулись с задачей хранения сильно связанных данных, то отличным вариантом будет использовать графовую модель данных. Мы в Текфорс сделали именно так. Почему - разберем в этой статье.
Читать: https://habr.com/ru/post/711646/
Миграция Postgrespro с Centos7 на AlmaLinux8. Как бонус — пара седых волос
В статье описывается один из способов обновления дистибутива операционной системы с работающим кластером баз данных Postgres Pro Standard версии 11. В дальнейшем, для краткости кластер баз данных Postgres Pro Standard 11 будем называть Postgrespro, Centos7 - Centos, а AlmaLinux8 - Almalinux. Способ заключается в том чтобы настроить физическую репликацию Postgrespro между разными дистрибутивами операционной системы с последующим переводом слейва в режим мастера. При чтении множества статей о настройке физической репликации я нигде не встречал упоминание о том, что так делать нельзя. Естественно, что архитектура Centos и Almalinux должны совпадать, а так же должны совпадать мажорные версии Postgrespro.
Читать: https://habr.com/ru/post/711664/
В статье описывается один из способов обновления дистибутива операционной системы с работающим кластером баз данных Postgres Pro Standard версии 11. В дальнейшем, для краткости кластер баз данных Postgres Pro Standard 11 будем называть Postgrespro, Centos7 - Centos, а AlmaLinux8 - Almalinux. Способ заключается в том чтобы настроить физическую репликацию Postgrespro между разными дистрибутивами операционной системы с последующим переводом слейва в режим мастера. При чтении множества статей о настройке физической репликации я нигде не встречал упоминание о том, что так делать нельзя. Естественно, что архитектура Centos и Almalinux должны совпадать, а так же должны совпадать мажорные версии Postgrespro.
Читать: https://habr.com/ru/post/711664/
👍1
Как я участвовал в создании информационных систем для медицины
В 1987-м году я окончил с красным дипломом приборостроительный факультет челябинского политехнического института по специальности "Автоматика и телемеханика", хотя планировал стать физиком-теоретиком и школу заканчивал в специализированной школе-интернате №18 при МГУ. По распределению попал в специализированное конструкторское бюро и до 1991-го года разрабатывал электронные блоки для бронетанковой техники. До сих пор считаю что полученная при этом инженерная школа является чем-то недостижимым в современных реалиях. В частности, мы с коллегами создали комбинированный аналого-цифровой программируемый комплекс, который в реальном времени проводил расчеты по математической модели объекта, описываемой системой дифференциальных уравнений 4-го порядка с 14-ью нелинейными элементами и принимал решения более 10 тысяч раз в секунду. На современных вычислителях это наверное и можно было бы сделать, но в то время мы решали задачу имея в распоряжении только набор интегральных микросхем, самой крутой из которых была ПЗУ на 2 килобайта и всё наше творчество должно было уместиться в 9 литров объёма и работать в диапазоне температур от -40 до +85.
После того как в 1991-м году страна развалилась я выбрал стезю программирования и с тех пор так или иначе связан с разработкой ПО и построением крупных информационных систем. Начинал с создания комплексного ПО и "умной кассы" для торгового центра, потом была информационная система учёта аренды муниципального имущества. Потом я вернулся в конструкторское бюро на считавшийся безнадёжным проект по созданию комплекса диагностических стендов для автоматизированного поиска неисправностей в электронных блоках в интересах иностранного заказчика. После окончания разработки я возглавлял группу разработчиков, которая сдавала эти стенды заказчику, и мы с этой задачей справились.
Читать: https://habr.com/ru/post/711682/
В 1987-м году я окончил с красным дипломом приборостроительный факультет челябинского политехнического института по специальности "Автоматика и телемеханика", хотя планировал стать физиком-теоретиком и школу заканчивал в специализированной школе-интернате №18 при МГУ. По распределению попал в специализированное конструкторское бюро и до 1991-го года разрабатывал электронные блоки для бронетанковой техники. До сих пор считаю что полученная при этом инженерная школа является чем-то недостижимым в современных реалиях. В частности, мы с коллегами создали комбинированный аналого-цифровой программируемый комплекс, который в реальном времени проводил расчеты по математической модели объекта, описываемой системой дифференциальных уравнений 4-го порядка с 14-ью нелинейными элементами и принимал решения более 10 тысяч раз в секунду. На современных вычислителях это наверное и можно было бы сделать, но в то время мы решали задачу имея в распоряжении только набор интегральных микросхем, самой крутой из которых была ПЗУ на 2 килобайта и всё наше творчество должно было уместиться в 9 литров объёма и работать в диапазоне температур от -40 до +85.
После того как в 1991-м году страна развалилась я выбрал стезю программирования и с тех пор так или иначе связан с разработкой ПО и построением крупных информационных систем. Начинал с создания комплексного ПО и "умной кассы" для торгового центра, потом была информационная система учёта аренды муниципального имущества. Потом я вернулся в конструкторское бюро на считавшийся безнадёжным проект по созданию комплекса диагностических стендов для автоматизированного поиска неисправностей в электронных блоках в интересах иностранного заказчика. После окончания разработки я возглавлял группу разработчиков, которая сдавала эти стенды заказчику, и мы с этой задачей справились.
Читать: https://habr.com/ru/post/711682/
2022 - The Year In Review For The Exadata Family
2022 - The year in review for the Oracle Exadata Family
Read: https://blogs.oracle.com/database/post/2022-exadata-family-year-in-review
2022 - The year in review for the Oracle Exadata Family
Read: https://blogs.oracle.com/database/post/2022-exadata-family-year-in-review
Oracle
2022 - The Year In Review For The Exadata Family
2022 - The year in review for the Oracle Exadata Family
Сколько нужно времени, чтобы перенести дашборд из PowerBI на Visiology 3.0?
Привет, друзья! После нового года на нас обрушилась очередная лавина запросов о возможности миграции на Visiology 3 c Microsoft PowerBI. Конечно, это связано с тем что уже закупленные лицензии на PBI подходят к концу, а приобретение новых не стало со временем проще. Поэтому сегодня я хочу наглядно показать, как будет происходить перенос несложного дашборда из Power BI в Visiology 3.0.
Почему так быстро?
Читать: https://habr.com/ru/post/711670/
Привет, друзья! После нового года на нас обрушилась очередная лавина запросов о возможности миграции на Visiology 3 c Microsoft PowerBI. Конечно, это связано с тем что уже закупленные лицензии на PBI подходят к концу, а приобретение новых не стало со временем проще. Поэтому сегодня я хочу наглядно показать, как будет происходить перенос несложного дашборда из Power BI в Visiology 3.0.
Почему так быстро?
Читать: https://habr.com/ru/post/711670/
Аналитика данных подключенных автомобилей – 23 года работы шведской компании WirelessCar
Шведская компания WirelessCar специализируется на подключенных транспортных средствах c 1999 года. Они работают с OEM-производителями (BMW, Volkswagen Group, Volvo Cars) и используют все возможности подключенных услуг для достижения более безопасного, разумного и экологичного движения.
«Уже 23 года мы поддерживаем энергию и дух стартапа, но сегодня мы находимся в гораздо более крупной экосистеме мобильности, где подключенные автомобили стали обязательными для продвижения вперед. На прошлой неделе мы достигли цифры в 10 миллионов автомобилей, подключенных к нашим системам, что позволяет нам создавать безопасную, интеллектуальную и устойчивую мобильность в гораздо большем масштабе, чем в начале нашей работы», — говорит Никлас Флорен, генеральный директор WirelessCar.
Цель компании — помочь OEM-производителям не только предоставлять услуги, которые действительно нужны конечным пользователям, но и добиться масштабируемости. Услуги WirelessCar доступны более чем на 100 рынках по всему миру.
«Для начала очень важно понять, что мы не владеем данными. Данные принадлежат OEM-производителям или самим водителям, и с самого начала это было принципиальной позицией WirelessCar», — объясняет Флорен. «Мы помогаем OEM-производителям более разумно использовать имеющиеся у них данные. Например, чтобы предсказывать, сколько времени потребуется, чтобы добраться до пункта назначения, или как долго будет работать ваш аккумулятор — используя как данные из автомобиля, так и другие внешние данные (погода, дорожные условия)».
Читать: https://habr.com/ru/post/712054/
Шведская компания WirelessCar специализируется на подключенных транспортных средствах c 1999 года. Они работают с OEM-производителями (BMW, Volkswagen Group, Volvo Cars) и используют все возможности подключенных услуг для достижения более безопасного, разумного и экологичного движения.
«Уже 23 года мы поддерживаем энергию и дух стартапа, но сегодня мы находимся в гораздо более крупной экосистеме мобильности, где подключенные автомобили стали обязательными для продвижения вперед. На прошлой неделе мы достигли цифры в 10 миллионов автомобилей, подключенных к нашим системам, что позволяет нам создавать безопасную, интеллектуальную и устойчивую мобильность в гораздо большем масштабе, чем в начале нашей работы», — говорит Никлас Флорен, генеральный директор WirelessCar.
Цель компании — помочь OEM-производителям не только предоставлять услуги, которые действительно нужны конечным пользователям, но и добиться масштабируемости. Услуги WirelessCar доступны более чем на 100 рынках по всему миру.
«Для начала очень важно понять, что мы не владеем данными. Данные принадлежат OEM-производителям или самим водителям, и с самого начала это было принципиальной позицией WirelessCar», — объясняет Флорен. «Мы помогаем OEM-производителям более разумно использовать имеющиеся у них данные. Например, чтобы предсказывать, сколько времени потребуется, чтобы добраться до пункта назначения, или как долго будет работать ваш аккумулятор — используя как данные из автомобиля, так и другие внешние данные (погода, дорожные условия)».
Читать: https://habr.com/ru/post/712054/
Obsidian + Dataview: Задачи
В прошлой статье Obsidian + Dataview: Таблицы я рассказал про установку плагина Dataview, формирование таблиц с его помощью и разобрал 4 кейса его использования.
Dataview - это очень мощный и функциональный плагин, с помощью которого кроме таблиц можно так же формировать списки, календари и задачи.
Сегодня хотелось бы остановиться на задачах, тем более что Dataview позволяет сделать из Обсидиана полноценный task/todo-менеджер с календарём и прочими приятностями.
Читать: https://habr.com/ru/post/712038/
В прошлой статье Obsidian + Dataview: Таблицы я рассказал про установку плагина Dataview, формирование таблиц с его помощью и разобрал 4 кейса его использования.
Dataview - это очень мощный и функциональный плагин, с помощью которого кроме таблиц можно так же формировать списки, календари и задачи.
Сегодня хотелось бы остановиться на задачах, тем более что Dataview позволяет сделать из Обсидиана полноценный task/todo-менеджер с календарём и прочими приятностями.
Читать: https://habr.com/ru/post/712038/
🔥2
Страдающее ML: как мы автоматизировали проверку данных, чтобы не было мучительно больно
Работать с данными — муторно, но есть кое-что похуже — проверять их качество. Больше данных — больше изматывающих ручных проверок и меньше уверенности, что с массивом всё в порядке.
Я разрабатываю ML-модели для розничного бизнеса, провожу A/B-тесты и оцениваю бизнес-эффекты в Газпромбанке. Год назад мы разработали систему, которая показывает, где и насколько данные плохи, а инженерам остаётся только разобраться почему. Раньше они сначала вручную выясняли, что в данных пошло не так, а теперь есть система, которая даёт подсказки. Расскажу об алгоритме, лежащем в основе системы, и о том, что она сейчас собой представляет и как используется в наших бизнес-процессах.
Читать: https://habr.com/ru/post/712214/
Работать с данными — муторно, но есть кое-что похуже — проверять их качество. Больше данных — больше изматывающих ручных проверок и меньше уверенности, что с массивом всё в порядке.
Я разрабатываю ML-модели для розничного бизнеса, провожу A/B-тесты и оцениваю бизнес-эффекты в Газпромбанке. Год назад мы разработали систему, которая показывает, где и насколько данные плохи, а инженерам остаётся только разобраться почему. Раньше они сначала вручную выясняли, что в данных пошло не так, а теперь есть система, которая даёт подсказки. Расскажу об алгоритме, лежащем в основе системы, и о том, что она сейчас собой представляет и как используется в наших бизнес-процессах.
Читать: https://habr.com/ru/post/712214/
Ускоряем MySQL: 5+ фишек для оптимизации работы базы данных
СУБД чрезвычайно важна для любого проекта, и почти перед каждым админом в какой-то момент встаёт задача её оптимизации. Чтобы сделать запросы быстрее, важно понимать, как работает MySQL в целом.
Описанные в этом посте методы повышают производительность базы данных MySQL. Однако есть и сложности, с которыми можно столкнуться на пути к оптимизации и о которых стоит предупредить сразу.
Читать: https://habr.com/ru/post/712292/
СУБД чрезвычайно важна для любого проекта, и почти перед каждым админом в какой-то момент встаёт задача её оптимизации. Чтобы сделать запросы быстрее, важно понимать, как работает MySQL в целом.
Описанные в этом посте методы повышают производительность базы данных MySQL. Однако есть и сложности, с которыми можно столкнуться на пути к оптимизации и о которых стоит предупредить сразу.
Читать: https://habr.com/ru/post/712292/
Поднимаем стенд Spring микросервисов в Kubernetes
Гайд для начинающих по поднятию домашнего стенда для экспериментов c k8s c базовым CI/CD для микросервисов Spring.
Читать: «Поднимаем стенд Spring микросервисов в Kubernetes»
Гайд для начинающих по поднятию домашнего стенда для экспериментов c k8s c базовым CI/CD для микросервисов Spring.
Читать: «Поднимаем стенд Spring микросервисов в Kubernetes»
Интеграция 1С в Cloud: выгоды, проблемы и сроки
Рассказываем, как интегрировать 1C в Cloud — ex SberCloud — в 2023 году. Cloud заменяет серверы, которые почти не поставляются с 2022 года.
Читать: «Интеграция 1С в Cloud: выгоды, проблемы и сроки»
Рассказываем, как интегрировать 1C в Cloud — ex SberCloud — в 2023 году. Cloud заменяет серверы, которые почти не поставляются с 2022 года.
Читать: «Интеграция 1С в Cloud: выгоды, проблемы и сроки»
Представляем Deep Lake, озеро данных для глубокого обучения
В рамках нашего крупнейшего проекта мы представляем Deep Lake - озеро данных для глубокого обучения. Deep Lake более чем в 2 раза производительнее по сравнению с предыдущим поколением и превосходит все другие загрузчики данных. Давайте ознакомимся с более подробной информацией о возможностях Deep Lake.
Читать: https://habr.com/ru/post/712856/
В рамках нашего крупнейшего проекта мы представляем Deep Lake - озеро данных для глубокого обучения. Deep Lake более чем в 2 раза производительнее по сравнению с предыдущим поколением и превосходит все другие загрузчики данных. Давайте ознакомимся с более подробной информацией о возможностях Deep Lake.
Читать: https://habr.com/ru/post/712856/
Организация рабочего места в современных условиях
Добрый день, коллеги. Меня зовут Сарафанов Павел. С 2003 года я работаю в качестве BackEnd разработчика в крупнейших банках Росси таких как: Сбербанк, Дойче банк, ВТБ, Газпромбанк.
Читать: https://habr.com/ru/post/712898/
Добрый день, коллеги. Меня зовут Сарафанов Павел. С 2003 года я работаю в качестве BackEnd разработчика в крупнейших банках Росси таких как: Сбербанк, Дойче банк, ВТБ, Газпромбанк.
Читать: https://habr.com/ru/post/712898/