Рекомендации по ведению SQL-кода
В этом материале разберем общие рекомендации по ведению SQL-кода на примере СУБД MS SQL (T-SQL). Однако, многие пункты можно также применить и к другим СУБД.
Читать: https://habr.com/ru/articles/779598/
В этом материале разберем общие рекомендации по ведению SQL-кода на примере СУБД MS SQL (T-SQL). Однако, многие пункты можно также применить и к другим СУБД.
Читать: https://habr.com/ru/articles/779598/
Obsidian: Мой опыт с LYT/Ideaverse и его русификация
В этой статье я расскажу о том, как организовал себе единое место для заметок, документов и проектной документации с помощью Obsidian и шаблона LYT, а также дам ссылку на русифицированный шаблон для создания своей такой системы.
Читать: https://habr.com/ru/articles/779804/
В этой статье я расскажу о том, как организовал себе единое место для заметок, документов и проектной документации с помощью Obsidian и шаблона LYT, а также дам ссылку на русифицированный шаблон для создания своей такой системы.
Читать: https://habr.com/ru/articles/779804/
«Есть глюоны, кварки, виртуальные фотоны и… ячейки памяти»: что такое LUN-СХД, или как мы виртуализировали хранилище
Вся жизнь — это выбор. Между Apple и Android, MySQL и PostgreSQL, здоровым питанием и тортом после 18:00. Но как быть, если его хочется, а отрабатывать калории в зале — не очень? Обычно весь торт есть не заставляют, поэтому его можно нарезать небольшими частями и использовать по необходимости.
С данными в СХД такая же ситуация: можно использовать все пространство, а можно ограничиться LUN и оптимизировать бюджет. О том, что такое LUN, когда и где лучше использовать технологию — читайте в материале.
Читать: https://habr.com/ru/companies/selectel/articles/779826/
Вся жизнь — это выбор. Между Apple и Android, MySQL и PostgreSQL, здоровым питанием и тортом после 18:00. Но как быть, если его хочется, а отрабатывать калории в зале — не очень? Обычно весь торт есть не заставляют, поэтому его можно нарезать небольшими частями и использовать по необходимости.
С данными в СХД такая же ситуация: можно использовать все пространство, а можно ограничиться LUN и оптимизировать бюджет. О том, что такое LUN, когда и где лучше использовать технологию — читайте в материале.
Читать: https://habr.com/ru/companies/selectel/articles/779826/
Бесконечные проверки – к успешному развитию: как мы обеспечиваем качество данных
Привет, Хабр! Меня зовут Яна и я работаю Data Quality в департаменте развития аналитики "Цепочки поставок и поддерживающие функции" X5 Tech. В этой статье мы с моей коллегой Наташей, менеджером по качеству данных, решили рассказать о мониторинге качества данных большинства отчётов нашей команды.
На первый взгляд может показаться, что проверять таблицы – задача рутинная и однотипная, но это не так, ведь все данные имеют свои особенности, а значит и проверки для них зачастую создаются уникальные. Статья, как нам кажется, будет полезна тем, кто интересуется качеством данных, ищет подходы к мониторингу или хочет больше узнать о работе DQ в целом.
Читать: https://habr.com/ru/companies/X5Tech/articles/779856/
Привет, Хабр! Меня зовут Яна и я работаю Data Quality в департаменте развития аналитики "Цепочки поставок и поддерживающие функции" X5 Tech. В этой статье мы с моей коллегой Наташей, менеджером по качеству данных, решили рассказать о мониторинге качества данных большинства отчётов нашей команды.
На первый взгляд может показаться, что проверять таблицы – задача рутинная и однотипная, но это не так, ведь все данные имеют свои особенности, а значит и проверки для них зачастую создаются уникальные. Статья, как нам кажется, будет полезна тем, кто интересуется качеством данных, ищет подходы к мониторингу или хочет больше узнать о работе DQ в целом.
Читать: https://habr.com/ru/companies/X5Tech/articles/779856/
Building AI With MongoDB: Optimizing the Product Lifecycle with Real-Time Customer Data
Read: https://www.mongodb.com/blog/post/building-ai-mongodb-optimizing-product-lifecycle-real-time-customer-data
Read: https://www.mongodb.com/blog/post/building-ai-mongodb-optimizing-product-lifecycle-real-time-customer-data
Architecting Hyper-Scalable Infrastructure for AI and ML-Driven Fintech with Oracle’s Globally Distributed Database
Empowering a US based fintech achieve hyper scalability in their architecture with Oracle’s Globally Distributed Database
Read: https://blogs.oracle.com/database/post/architecting-hyperscalable-infrastructure-for-ai-and-mldriven-fintech-with-oracles-globally-distributed-database
Empowering a US based fintech achieve hyper scalability in their architecture with Oracle’s Globally Distributed Database
Read: https://blogs.oracle.com/database/post/architecting-hyperscalable-infrastructure-for-ai-and-mldriven-fintech-with-oracles-globally-distributed-database
Oracle
Architecting Hyper-Scalable Infrastructure for AI and ML-Driven Fintech with Oracle Globally Distributed Database
Empowering a US based fintech to achieve hyper scalability in their architecture with Oracle Globally Distributed Database
Курс «PostgreSQL для начинающих»: #1 — Основы SQL
Этим постом я запускаю публикацию расширенных транскриптов лекционного курса "PostgreSQL для начинающих", подготовленного мной в рамках "Школы backend-разработчика" в "Тензоре".
В программе: рассказ об основах SQL, возможностях простых и сложных SELECT, анализ производительности запросов, разбор [не]эффективного применения индексов и особенностей работы транзакций и блокировок в этой СУБД.
Курс не претендует на лавры "войти в айти", поэтому подразумевает наличие у слушателя опыта программирования или работы с другими СУБД, и, главное, желания самостоятельно изучать тему работы с PostgreSQL глубже.
Для тех, кому комфортнее смотреть и слушать, а не читать - доступна видеозапись.
Читать: https://habr.com/ru/companies/tensor/articles/779698/
Этим постом я запускаю публикацию расширенных транскриптов лекционного курса "PostgreSQL для начинающих", подготовленного мной в рамках "Школы backend-разработчика" в "Тензоре".
В программе: рассказ об основах SQL, возможностях простых и сложных SELECT, анализ производительности запросов, разбор [не]эффективного применения индексов и особенностей работы транзакций и блокировок в этой СУБД.
Курс не претендует на лавры "войти в айти", поэтому подразумевает наличие у слушателя опыта программирования или работы с другими СУБД, и, главное, желания самостоятельно изучать тему работы с PostgreSQL глубже.
Для тех, кому комфортнее смотреть и слушать, а не читать - доступна видеозапись.
Читать: https://habr.com/ru/companies/tensor/articles/779698/
MDM и CDP: различия систем. Как сделать выбор
Любой компании, которая стремится сохранить конкурентоспособность на рынке, необходимо создание «золотой записи» (профиля) клиента во внутренних базах. Для этого многие используют системы управления мастер-данными (MDM, master data management), но сталкиваются с рядом проблем, другие – применяют CDP-платформы (Customer Data Platform), которые также имеют свои недостатки. А теперь представьте, если от каждого из решений можно было взять лишь лучшее, оставив за бортом все слабые стороны. Как это сделать – в новой статье CleverData под катом.
Читать: https://habr.com/ru/companies/lanit/articles/776862/
Любой компании, которая стремится сохранить конкурентоспособность на рынке, необходимо создание «золотой записи» (профиля) клиента во внутренних базах. Для этого многие используют системы управления мастер-данными (MDM, master data management), но сталкиваются с рядом проблем, другие – применяют CDP-платформы (Customer Data Platform), которые также имеют свои недостатки. А теперь представьте, если от каждого из решений можно было взять лишь лучшее, оставив за бортом все слабые стороны. Как это сделать – в новой статье CleverData под катом.
Читать: https://habr.com/ru/companies/lanit/articles/776862/
Записки оптимизатора 1С (Часть 5). Ускорение запросов с RLS в 1С системах
Замахнемся сегодня на RLS.
Обсуждать будем проблемы по нашему профилю, связанные с производительностью 1С:Предприятие. Но, в целом, этот материал может быть полезен и не только 1С-никам.
Почему запросы с RLS очень часто такие долгие?
Какие есть варианты их ускорить?
Читать: https://habr.com/ru/companies/softpoint/articles/780340/
Замахнемся сегодня на RLS.
Обсуждать будем проблемы по нашему профилю, связанные с производительностью 1С:Предприятие. Но, в целом, этот материал может быть полезен и не только 1С-никам.
Почему запросы с RLS очень часто такие долгие?
Какие есть варианты их ускорить?
Читать: https://habr.com/ru/companies/softpoint/articles/780340/
New MariaDB Enterprise Server Releases 10.4-10.6 with Backported Features
Read: https://mariadb.com/?p=38394
Read: https://mariadb.com/?p=38394
Переход с ETL на ELT
ETL (Извлечение-Трансформация-Загрузка) и ELT (Извлечение-Загрузка-Трансформация) — два термина, которые часто используются в области инженерии данных, особенно в контексте захвата и преобразования данных. Хотя эти термины часто используются как взаимозаменяемые, они относятся к немного разным концепциям и имеют различные последствия для проектирования конвейера данных.
В этом посте мы проясним определения процессов ETL и ELT, обозначим различия между ними и обсудим преимущества и недостатки, которые они предлагают инженерам и командам по работе с данными в целом. И самое главное, я опишу, как недавние изменения в формировании современных команд по работе с данными повлияли на ландшафт борьбы ETL против ELT.
Понимание Извлечения (Extract), Загрузки (Load) и Трансформации (Transform) независимо друг от друга
Главный вопрос при сравнении ETL и ELT, очевидно, последовательность выполнения шагов Извлечения, Загрузки и Трансформации в рамках данных.
Читать: https://habr.com/ru/companies/itsumma/articles/780612/
ETL (Извлечение-Трансформация-Загрузка) и ELT (Извлечение-Загрузка-Трансформация) — два термина, которые часто используются в области инженерии данных, особенно в контексте захвата и преобразования данных. Хотя эти термины часто используются как взаимозаменяемые, они относятся к немного разным концепциям и имеют различные последствия для проектирования конвейера данных.
В этом посте мы проясним определения процессов ETL и ELT, обозначим различия между ними и обсудим преимущества и недостатки, которые они предлагают инженерам и командам по работе с данными в целом. И самое главное, я опишу, как недавние изменения в формировании современных команд по работе с данными повлияли на ландшафт борьбы ETL против ELT.
Понимание Извлечения (Extract), Загрузки (Load) и Трансформации (Transform) независимо друг от друга
Главный вопрос при сравнении ETL и ELT, очевидно, последовательность выполнения шагов Извлечения, Загрузки и Трансформации в рамках данных.
Читать: https://habr.com/ru/companies/itsumma/articles/780612/
Powering Vector Search Maturity in Retail with Pureinsights
Read: https://www.mongodb.com/blog/post/powering-vector-search-maturity-retail-pureinsights
Read: https://www.mongodb.com/blog/post/powering-vector-search-maturity-retail-pureinsights
Data Governance for Building Generative AI Applications with MongoDB
The text discusses the importance of data governance in building generative AI (GenAI) applications with MongoDB. It highlights the rapid evolution and adoption of GenAI tools and models, such as OpenAI's ChatGPT, Cohere's LLM, Google's Med-PaLM, and Microsoft's integration of GPT-4. It emphasizes the need for flexibility with data and the requirement for data governance to ensure data security, accuracy, privacy, availability, and usability. The text also mentions potential security risks in building GenAI applications, such as data security and privacy, intellectual property infringement, regulatory compliance, explainability, and AI hallucinations. It explains how MongoDB addresses these security risks through its developer data platform, MongoDB Atlas, which offers built-in security controls, encryption tools, regulatory compliance support, and regular security audits. The text concludes by discussing additional best practices for working with AI models and the importance of strong data governance in leveraging the power of GenAI tools. WOO Network faced challenges with the rapid growth of their business and the need to introduce a NoSQL database solution. They chose MongoDB Atlas on Google Cloud Platform to address the issues of performance degradation and slow data queries. MongoDB Atlas provided them with scalability, flexibility, and ease of operation. With features like auto scaling and sharding, WOO Network was able to ensure smooth transactions and handle large amounts of historical data. MongoDB Atlas also offered compatibility with different data formats and built-in management tools, reducing the burden on their development and operations teams. WOO Network plans to continue utilizing MongoDB Atlas for various data applications and aims to provide diversified services to their users. The integration of MongoDB Atlas has helped WOO Network improve performance, user experience, and operational efficiency. They intend to further collaborate with MongoDB to enhance their cryptocurrency trading platform. Pureinsights is a search and AI application specialist that can help shorten the planning and development cycle for customers. They specialize in building vector search applications and offer services to create and populate MongoDB Vector Search and UI/Client to search MongoDB Atlas. Pureinsights has expertise in application design, build, and managed services, and can help customers build and deploy next-generation vector search applications. They have a methodology for analyzing current applications called the Search Maturity Matrix, and offer managed services to maintain search applications for optimum performance. Pureinsights can help customers overcome the challenges of building vector search applications and accelerate time to production.
Read: https://www.mongodb.com/blog/post/data-governance-building-generative-ai-applications-mongodb
The text discusses the importance of data governance in building generative AI (GenAI) applications with MongoDB. It highlights the rapid evolution and adoption of GenAI tools and models, such as OpenAI's ChatGPT, Cohere's LLM, Google's Med-PaLM, and Microsoft's integration of GPT-4. It emphasizes the need for flexibility with data and the requirement for data governance to ensure data security, accuracy, privacy, availability, and usability. The text also mentions potential security risks in building GenAI applications, such as data security and privacy, intellectual property infringement, regulatory compliance, explainability, and AI hallucinations. It explains how MongoDB addresses these security risks through its developer data platform, MongoDB Atlas, which offers built-in security controls, encryption tools, regulatory compliance support, and regular security audits. The text concludes by discussing additional best practices for working with AI models and the importance of strong data governance in leveraging the power of GenAI tools. WOO Network faced challenges with the rapid growth of their business and the need to introduce a NoSQL database solution. They chose MongoDB Atlas on Google Cloud Platform to address the issues of performance degradation and slow data queries. MongoDB Atlas provided them with scalability, flexibility, and ease of operation. With features like auto scaling and sharding, WOO Network was able to ensure smooth transactions and handle large amounts of historical data. MongoDB Atlas also offered compatibility with different data formats and built-in management tools, reducing the burden on their development and operations teams. WOO Network plans to continue utilizing MongoDB Atlas for various data applications and aims to provide diversified services to their users. The integration of MongoDB Atlas has helped WOO Network improve performance, user experience, and operational efficiency. They intend to further collaborate with MongoDB to enhance their cryptocurrency trading platform. Pureinsights is a search and AI application specialist that can help shorten the planning and development cycle for customers. They specialize in building vector search applications and offer services to create and populate MongoDB Vector Search and UI/Client to search MongoDB Atlas. Pureinsights has expertise in application design, build, and managed services, and can help customers build and deploy next-generation vector search applications. They have a methodology for analyzing current applications called the Search Maturity Matrix, and offer managed services to maintain search applications for optimum performance. Pureinsights can help customers overcome the challenges of building vector search applications and accelerate time to production.
Read: https://www.mongodb.com/blog/post/data-governance-building-generative-ai-applications-mongodb
Introducing Auto-Index Creation for Atlas Serverless Instances
Read: https://www.mongodb.com/blog/post/introducing-auto-index-creation-atlas-serverless-instances
Read: https://www.mongodb.com/blog/post/introducing-auto-index-creation-atlas-serverless-instances
Курс «PostgreSQL для начинающих»: #2 — Простые SELECT
Продолжаю публикацию расширенных транскриптов лекционного курса "PostgreSQL для начинающих", подготовленного мной в рамках "Школы backend-разработчика" в "Тензоре".
Сегодня поговорим о самых простых, но важных, возможностях команды
Как обычно, для предпочитающих смотреть и слушать, а не читать - доступна видеозапись.
Читать: https://habr.com/ru/companies/tensor/articles/780276/
Продолжаю публикацию расширенных транскриптов лекционного курса "PostgreSQL для начинающих", подготовленного мной в рамках "Школы backend-разработчика" в "Тензоре".
Сегодня поговорим о самых простых, но важных, возможностях команды
SELECT, наиболее часто используемой при работе с базами данных - формировании выборок (VALUES), их ограничении (LIMIT/OFFSET/FETCH), фильтрации (WHERE/HAVING), сортировке (ORDER BY), уникализации (DISTINCT) и группировке (GROUP BY).Как обычно, для предпочитающих смотреть и слушать, а не читать - доступна видеозапись.
Читать: https://habr.com/ru/companies/tensor/articles/780276/
Two Keys To AI’s Future: What We Heard From Developers At AWS re:Invent 2023
Read: https://www.mongodb.com/blog/post/two-keys-ais-future-what-we-heard-from-developers-aws-reinvent-2023
Read: https://www.mongodb.com/blog/post/two-keys-ais-future-what-we-heard-from-developers-aws-reinvent-2023
👍1
Oracle Graph Learning Path
This article is a learning path for all things Oracle Graph, making the videos and blog posts easy to digest. The setup, user interface, and capabilities can vary based on the environment you choose to deploy Oracle Graph in and the type of graph used, so use this learning path to easily find the articles relevant to you.
Read: https://blogs.oracle.com/database/post/oracle-graph-learning-path
This article is a learning path for all things Oracle Graph, making the videos and blog posts easy to digest. The setup, user interface, and capabilities can vary based on the environment you choose to deploy Oracle Graph in and the type of graph used, so use this learning path to easily find the articles relevant to you.
Read: https://blogs.oracle.com/database/post/oracle-graph-learning-path
Oracle
Oracle Graph Learning Path
This article is a learning path for all things Oracle Graph, making the videos and blog posts easy to digest. The setup, user interface, and capabilities can vary based on the environment you choose to deploy Oracle Graph in and the type of graph used, so…
Почему работа с данными так популярна: Data Scientist, Big Data и объектное хранение
По оценкам Cybersecurity Ventures, к 2025 году общий объем данных в облаках достигнет 100 зеттабайт, или 50% всех мировых данных на тот момент. Ландшафт хранения этой информации разнообразен: от недорогих обычных серверов до огромных хранилищ на сотни петабайт.
При экспоненциальном росте информации возможности работы с данными расширяются. Отчет LinkedIn о новых вакансиях показывает, что мировой рынок работы в области науки о данных вырастет до 230,80 млрд долларов к 2026 году.
Наука о данных является востребованной, интересной, и, казалось бы, очень сложной областью знаний. Однако хорошая новость заключается в том, что она доступна для новичков. В статье мы разберемся, с какими базовыми основами нужно познакомиться при работе с данными.
Читать: https://habr.com/ru/companies/cloud_mts/articles/781724/
По оценкам Cybersecurity Ventures, к 2025 году общий объем данных в облаках достигнет 100 зеттабайт, или 50% всех мировых данных на тот момент. Ландшафт хранения этой информации разнообразен: от недорогих обычных серверов до огромных хранилищ на сотни петабайт.
При экспоненциальном росте информации возможности работы с данными расширяются. Отчет LinkedIn о новых вакансиях показывает, что мировой рынок работы в области науки о данных вырастет до 230,80 млрд долларов к 2026 году.
Наука о данных является востребованной, интересной, и, казалось бы, очень сложной областью знаний. Однако хорошая новость заключается в том, что она доступна для новичков. В статье мы разберемся, с какими базовыми основами нужно познакомиться при работе с данными.
Читать: https://habr.com/ru/companies/cloud_mts/articles/781724/
Почему работа с данными так популярна: Data Scientist, Big Data и объектное хранение
По оценкам Cybersecurity Ventures, к 2025 году общий объем данных в облаках достигнет 100 зеттабайт, или 50% всех мировых данных на тот момент. Ландшафт хранения этой информации разнообразен: от недорогих обычных серверов до огромных хранилищ на сотни петабайт.
При экспоненциальном росте информации возможности работы с данными расширяются. Отчет LinkedIn о новых вакансиях показывает, что мировой рынок работы в области науки о данных вырастет до 230,80 млрд долларов к 2026 году.
Наука о данных является востребованной, интересной, и, казалось бы, очень сложной областью знаний. Однако хорошая новость заключается в том, что она доступна для новичков. В статье мы разберемся, с какими базовыми основами нужно познакомиться при работе с данными.
Читать: https://habr.com/ru/companies/cloud_mts/articles/781724/
По оценкам Cybersecurity Ventures, к 2025 году общий объем данных в облаках достигнет 100 зеттабайт, или 50% всех мировых данных на тот момент. Ландшафт хранения этой информации разнообразен: от недорогих обычных серверов до огромных хранилищ на сотни петабайт.
При экспоненциальном росте информации возможности работы с данными расширяются. Отчет LinkedIn о новых вакансиях показывает, что мировой рынок работы в области науки о данных вырастет до 230,80 млрд долларов к 2026 году.
Наука о данных является востребованной, интересной, и, казалось бы, очень сложной областью знаний. Однако хорошая новость заключается в том, что она доступна для новичков. В статье мы разберемся, с какими базовыми основами нужно познакомиться при работе с данными.
Читать: https://habr.com/ru/companies/cloud_mts/articles/781724/