Курс «PostgreSQL для начинающих»: #1 — Основы SQL
Этим постом я запускаю публикацию расширенных транскриптов лекционного курса "PostgreSQL для начинающих", подготовленного мной в рамках "Школы backend-разработчика" в "Тензоре".
В программе: рассказ об основах SQL, возможностях простых и сложных SELECT, анализ производительности запросов, разбор [не]эффективного применения индексов и особенностей работы транзакций и блокировок в этой СУБД.
Курс не претендует на лавры "войти в айти", поэтому подразумевает наличие у слушателя опыта программирования или работы с другими СУБД, и, главное, желания самостоятельно изучать тему работы с PostgreSQL глубже.
Для тех, кому комфортнее смотреть и слушать, а не читать - доступна видеозапись.
Читать: https://habr.com/ru/companies/tensor/articles/779698/
Этим постом я запускаю публикацию расширенных транскриптов лекционного курса "PostgreSQL для начинающих", подготовленного мной в рамках "Школы backend-разработчика" в "Тензоре".
В программе: рассказ об основах SQL, возможностях простых и сложных SELECT, анализ производительности запросов, разбор [не]эффективного применения индексов и особенностей работы транзакций и блокировок в этой СУБД.
Курс не претендует на лавры "войти в айти", поэтому подразумевает наличие у слушателя опыта программирования или работы с другими СУБД, и, главное, желания самостоятельно изучать тему работы с PostgreSQL глубже.
Для тех, кому комфортнее смотреть и слушать, а не читать - доступна видеозапись.
Читать: https://habr.com/ru/companies/tensor/articles/779698/
MDM и CDP: различия систем. Как сделать выбор
Любой компании, которая стремится сохранить конкурентоспособность на рынке, необходимо создание «золотой записи» (профиля) клиента во внутренних базах. Для этого многие используют системы управления мастер-данными (MDM, master data management), но сталкиваются с рядом проблем, другие – применяют CDP-платформы (Customer Data Platform), которые также имеют свои недостатки. А теперь представьте, если от каждого из решений можно было взять лишь лучшее, оставив за бортом все слабые стороны. Как это сделать – в новой статье CleverData под катом.
Читать: https://habr.com/ru/companies/lanit/articles/776862/
Любой компании, которая стремится сохранить конкурентоспособность на рынке, необходимо создание «золотой записи» (профиля) клиента во внутренних базах. Для этого многие используют системы управления мастер-данными (MDM, master data management), но сталкиваются с рядом проблем, другие – применяют CDP-платформы (Customer Data Platform), которые также имеют свои недостатки. А теперь представьте, если от каждого из решений можно было взять лишь лучшее, оставив за бортом все слабые стороны. Как это сделать – в новой статье CleverData под катом.
Читать: https://habr.com/ru/companies/lanit/articles/776862/
Записки оптимизатора 1С (Часть 5). Ускорение запросов с RLS в 1С системах
Замахнемся сегодня на RLS.
Обсуждать будем проблемы по нашему профилю, связанные с производительностью 1С:Предприятие. Но, в целом, этот материал может быть полезен и не только 1С-никам.
Почему запросы с RLS очень часто такие долгие?
Какие есть варианты их ускорить?
Читать: https://habr.com/ru/companies/softpoint/articles/780340/
Замахнемся сегодня на RLS.
Обсуждать будем проблемы по нашему профилю, связанные с производительностью 1С:Предприятие. Но, в целом, этот материал может быть полезен и не только 1С-никам.
Почему запросы с RLS очень часто такие долгие?
Какие есть варианты их ускорить?
Читать: https://habr.com/ru/companies/softpoint/articles/780340/
New MariaDB Enterprise Server Releases 10.4-10.6 with Backported Features
Read: https://mariadb.com/?p=38394
Read: https://mariadb.com/?p=38394
Переход с ETL на ELT
ETL (Извлечение-Трансформация-Загрузка) и ELT (Извлечение-Загрузка-Трансформация) — два термина, которые часто используются в области инженерии данных, особенно в контексте захвата и преобразования данных. Хотя эти термины часто используются как взаимозаменяемые, они относятся к немного разным концепциям и имеют различные последствия для проектирования конвейера данных.
В этом посте мы проясним определения процессов ETL и ELT, обозначим различия между ними и обсудим преимущества и недостатки, которые они предлагают инженерам и командам по работе с данными в целом. И самое главное, я опишу, как недавние изменения в формировании современных команд по работе с данными повлияли на ландшафт борьбы ETL против ELT.
Понимание Извлечения (Extract), Загрузки (Load) и Трансформации (Transform) независимо друг от друга
Главный вопрос при сравнении ETL и ELT, очевидно, последовательность выполнения шагов Извлечения, Загрузки и Трансформации в рамках данных.
Читать: https://habr.com/ru/companies/itsumma/articles/780612/
ETL (Извлечение-Трансформация-Загрузка) и ELT (Извлечение-Загрузка-Трансформация) — два термина, которые часто используются в области инженерии данных, особенно в контексте захвата и преобразования данных. Хотя эти термины часто используются как взаимозаменяемые, они относятся к немного разным концепциям и имеют различные последствия для проектирования конвейера данных.
В этом посте мы проясним определения процессов ETL и ELT, обозначим различия между ними и обсудим преимущества и недостатки, которые они предлагают инженерам и командам по работе с данными в целом. И самое главное, я опишу, как недавние изменения в формировании современных команд по работе с данными повлияли на ландшафт борьбы ETL против ELT.
Понимание Извлечения (Extract), Загрузки (Load) и Трансформации (Transform) независимо друг от друга
Главный вопрос при сравнении ETL и ELT, очевидно, последовательность выполнения шагов Извлечения, Загрузки и Трансформации в рамках данных.
Читать: https://habr.com/ru/companies/itsumma/articles/780612/
Powering Vector Search Maturity in Retail with Pureinsights
Read: https://www.mongodb.com/blog/post/powering-vector-search-maturity-retail-pureinsights
Read: https://www.mongodb.com/blog/post/powering-vector-search-maturity-retail-pureinsights
Data Governance for Building Generative AI Applications with MongoDB
The text discusses the importance of data governance in building generative AI (GenAI) applications with MongoDB. It highlights the rapid evolution and adoption of GenAI tools and models, such as OpenAI's ChatGPT, Cohere's LLM, Google's Med-PaLM, and Microsoft's integration of GPT-4. It emphasizes the need for flexibility with data and the requirement for data governance to ensure data security, accuracy, privacy, availability, and usability. The text also mentions potential security risks in building GenAI applications, such as data security and privacy, intellectual property infringement, regulatory compliance, explainability, and AI hallucinations. It explains how MongoDB addresses these security risks through its developer data platform, MongoDB Atlas, which offers built-in security controls, encryption tools, regulatory compliance support, and regular security audits. The text concludes by discussing additional best practices for working with AI models and the importance of strong data governance in leveraging the power of GenAI tools. WOO Network faced challenges with the rapid growth of their business and the need to introduce a NoSQL database solution. They chose MongoDB Atlas on Google Cloud Platform to address the issues of performance degradation and slow data queries. MongoDB Atlas provided them with scalability, flexibility, and ease of operation. With features like auto scaling and sharding, WOO Network was able to ensure smooth transactions and handle large amounts of historical data. MongoDB Atlas also offered compatibility with different data formats and built-in management tools, reducing the burden on their development and operations teams. WOO Network plans to continue utilizing MongoDB Atlas for various data applications and aims to provide diversified services to their users. The integration of MongoDB Atlas has helped WOO Network improve performance, user experience, and operational efficiency. They intend to further collaborate with MongoDB to enhance their cryptocurrency trading platform. Pureinsights is a search and AI application specialist that can help shorten the planning and development cycle for customers. They specialize in building vector search applications and offer services to create and populate MongoDB Vector Search and UI/Client to search MongoDB Atlas. Pureinsights has expertise in application design, build, and managed services, and can help customers build and deploy next-generation vector search applications. They have a methodology for analyzing current applications called the Search Maturity Matrix, and offer managed services to maintain search applications for optimum performance. Pureinsights can help customers overcome the challenges of building vector search applications and accelerate time to production.
Read: https://www.mongodb.com/blog/post/data-governance-building-generative-ai-applications-mongodb
The text discusses the importance of data governance in building generative AI (GenAI) applications with MongoDB. It highlights the rapid evolution and adoption of GenAI tools and models, such as OpenAI's ChatGPT, Cohere's LLM, Google's Med-PaLM, and Microsoft's integration of GPT-4. It emphasizes the need for flexibility with data and the requirement for data governance to ensure data security, accuracy, privacy, availability, and usability. The text also mentions potential security risks in building GenAI applications, such as data security and privacy, intellectual property infringement, regulatory compliance, explainability, and AI hallucinations. It explains how MongoDB addresses these security risks through its developer data platform, MongoDB Atlas, which offers built-in security controls, encryption tools, regulatory compliance support, and regular security audits. The text concludes by discussing additional best practices for working with AI models and the importance of strong data governance in leveraging the power of GenAI tools. WOO Network faced challenges with the rapid growth of their business and the need to introduce a NoSQL database solution. They chose MongoDB Atlas on Google Cloud Platform to address the issues of performance degradation and slow data queries. MongoDB Atlas provided them with scalability, flexibility, and ease of operation. With features like auto scaling and sharding, WOO Network was able to ensure smooth transactions and handle large amounts of historical data. MongoDB Atlas also offered compatibility with different data formats and built-in management tools, reducing the burden on their development and operations teams. WOO Network plans to continue utilizing MongoDB Atlas for various data applications and aims to provide diversified services to their users. The integration of MongoDB Atlas has helped WOO Network improve performance, user experience, and operational efficiency. They intend to further collaborate with MongoDB to enhance their cryptocurrency trading platform. Pureinsights is a search and AI application specialist that can help shorten the planning and development cycle for customers. They specialize in building vector search applications and offer services to create and populate MongoDB Vector Search and UI/Client to search MongoDB Atlas. Pureinsights has expertise in application design, build, and managed services, and can help customers build and deploy next-generation vector search applications. They have a methodology for analyzing current applications called the Search Maturity Matrix, and offer managed services to maintain search applications for optimum performance. Pureinsights can help customers overcome the challenges of building vector search applications and accelerate time to production.
Read: https://www.mongodb.com/blog/post/data-governance-building-generative-ai-applications-mongodb
Introducing Auto-Index Creation for Atlas Serverless Instances
Read: https://www.mongodb.com/blog/post/introducing-auto-index-creation-atlas-serverless-instances
Read: https://www.mongodb.com/blog/post/introducing-auto-index-creation-atlas-serverless-instances
Курс «PostgreSQL для начинающих»: #2 — Простые SELECT
Продолжаю публикацию расширенных транскриптов лекционного курса "PostgreSQL для начинающих", подготовленного мной в рамках "Школы backend-разработчика" в "Тензоре".
Сегодня поговорим о самых простых, но важных, возможностях команды
Как обычно, для предпочитающих смотреть и слушать, а не читать - доступна видеозапись.
Читать: https://habr.com/ru/companies/tensor/articles/780276/
Продолжаю публикацию расширенных транскриптов лекционного курса "PostgreSQL для начинающих", подготовленного мной в рамках "Школы backend-разработчика" в "Тензоре".
Сегодня поговорим о самых простых, но важных, возможностях команды
SELECT, наиболее часто используемой при работе с базами данных - формировании выборок (VALUES), их ограничении (LIMIT/OFFSET/FETCH), фильтрации (WHERE/HAVING), сортировке (ORDER BY), уникализации (DISTINCT) и группировке (GROUP BY).Как обычно, для предпочитающих смотреть и слушать, а не читать - доступна видеозапись.
Читать: https://habr.com/ru/companies/tensor/articles/780276/
Two Keys To AI’s Future: What We Heard From Developers At AWS re:Invent 2023
Read: https://www.mongodb.com/blog/post/two-keys-ais-future-what-we-heard-from-developers-aws-reinvent-2023
Read: https://www.mongodb.com/blog/post/two-keys-ais-future-what-we-heard-from-developers-aws-reinvent-2023
👍1
Oracle Graph Learning Path
This article is a learning path for all things Oracle Graph, making the videos and blog posts easy to digest. The setup, user interface, and capabilities can vary based on the environment you choose to deploy Oracle Graph in and the type of graph used, so use this learning path to easily find the articles relevant to you.
Read: https://blogs.oracle.com/database/post/oracle-graph-learning-path
This article is a learning path for all things Oracle Graph, making the videos and blog posts easy to digest. The setup, user interface, and capabilities can vary based on the environment you choose to deploy Oracle Graph in and the type of graph used, so use this learning path to easily find the articles relevant to you.
Read: https://blogs.oracle.com/database/post/oracle-graph-learning-path
Oracle
Oracle Graph Learning Path
This article is a learning path for all things Oracle Graph, making the videos and blog posts easy to digest. The setup, user interface, and capabilities can vary based on the environment you choose to deploy Oracle Graph in and the type of graph used, so…
Почему работа с данными так популярна: Data Scientist, Big Data и объектное хранение
По оценкам Cybersecurity Ventures, к 2025 году общий объем данных в облаках достигнет 100 зеттабайт, или 50% всех мировых данных на тот момент. Ландшафт хранения этой информации разнообразен: от недорогих обычных серверов до огромных хранилищ на сотни петабайт.
При экспоненциальном росте информации возможности работы с данными расширяются. Отчет LinkedIn о новых вакансиях показывает, что мировой рынок работы в области науки о данных вырастет до 230,80 млрд долларов к 2026 году.
Наука о данных является востребованной, интересной, и, казалось бы, очень сложной областью знаний. Однако хорошая новость заключается в том, что она доступна для новичков. В статье мы разберемся, с какими базовыми основами нужно познакомиться при работе с данными.
Читать: https://habr.com/ru/companies/cloud_mts/articles/781724/
По оценкам Cybersecurity Ventures, к 2025 году общий объем данных в облаках достигнет 100 зеттабайт, или 50% всех мировых данных на тот момент. Ландшафт хранения этой информации разнообразен: от недорогих обычных серверов до огромных хранилищ на сотни петабайт.
При экспоненциальном росте информации возможности работы с данными расширяются. Отчет LinkedIn о новых вакансиях показывает, что мировой рынок работы в области науки о данных вырастет до 230,80 млрд долларов к 2026 году.
Наука о данных является востребованной, интересной, и, казалось бы, очень сложной областью знаний. Однако хорошая новость заключается в том, что она доступна для новичков. В статье мы разберемся, с какими базовыми основами нужно познакомиться при работе с данными.
Читать: https://habr.com/ru/companies/cloud_mts/articles/781724/
Почему работа с данными так популярна: Data Scientist, Big Data и объектное хранение
По оценкам Cybersecurity Ventures, к 2025 году общий объем данных в облаках достигнет 100 зеттабайт, или 50% всех мировых данных на тот момент. Ландшафт хранения этой информации разнообразен: от недорогих обычных серверов до огромных хранилищ на сотни петабайт.
При экспоненциальном росте информации возможности работы с данными расширяются. Отчет LinkedIn о новых вакансиях показывает, что мировой рынок работы в области науки о данных вырастет до 230,80 млрд долларов к 2026 году.
Наука о данных является востребованной, интересной, и, казалось бы, очень сложной областью знаний. Однако хорошая новость заключается в том, что она доступна для новичков. В статье мы разберемся, с какими базовыми основами нужно познакомиться при работе с данными.
Читать: https://habr.com/ru/companies/cloud_mts/articles/781724/
По оценкам Cybersecurity Ventures, к 2025 году общий объем данных в облаках достигнет 100 зеттабайт, или 50% всех мировых данных на тот момент. Ландшафт хранения этой информации разнообразен: от недорогих обычных серверов до огромных хранилищ на сотни петабайт.
При экспоненциальном росте информации возможности работы с данными расширяются. Отчет LinkedIn о новых вакансиях показывает, что мировой рынок работы в области науки о данных вырастет до 230,80 млрд долларов к 2026 году.
Наука о данных является востребованной, интересной, и, казалось бы, очень сложной областью знаний. Однако хорошая новость заключается в том, что она доступна для новичков. В статье мы разберемся, с какими базовыми основами нужно познакомиться при работе с данными.
Читать: https://habr.com/ru/companies/cloud_mts/articles/781724/
Прыжок по облакам: кейс миграции MS SQL Server из Azure в VK Cloud
Миграция ИТ-инфраструктуры из облака в облако — квест, с которым сейчас сталкиваются многие компании и на своих шишках понимают сложность всего процесса. И чем больше инфраструктура, тем выше уровень сложности этого квеста. Особенно если перенести надо работающий сервис с крупной базой данных и целым зоопарком технологий.
Меня зовут Дмитрий Штегельман, я системный инженер в VK Tech. В этой статье я расскажу об опыте миграции PaaS MS SQL Server с гигабайтами данных из Azure в VK Cloud — выстроенном процессе, подводных камнях и полученном результате.
Читать: https://habr.com/ru/companies/vk/articles/781278/
Миграция ИТ-инфраструктуры из облака в облако — квест, с которым сейчас сталкиваются многие компании и на своих шишках понимают сложность всего процесса. И чем больше инфраструктура, тем выше уровень сложности этого квеста. Особенно если перенести надо работающий сервис с крупной базой данных и целым зоопарком технологий.
Меня зовут Дмитрий Штегельман, я системный инженер в VK Tech. В этой статье я расскажу об опыте миграции PaaS MS SQL Server с гигабайтами данных из Azure в VK Cloud — выстроенном процессе, подводных камнях и полученном результате.
Читать: https://habr.com/ru/companies/vk/articles/781278/
Прыжок по облакам: кейс миграции MS SQL Server из Azure в VK Cloud
Миграция ИТ-инфраструктуры из облака в облако — квест, с которым сейчас сталкиваются многие компании и на своих шишках понимают сложность всего процесса. И чем больше инфраструктура, тем выше уровень сложности этого квеста. Особенно если перенести надо работающий сервис с крупной базой данных и целым зоопарком технологий.
Меня зовут Дмитрий Штегельман, я системный инженер в VK Tech. В этой статье я расскажу об опыте миграции PaaS MS SQL Server с гигабайтами данных из Azure в VK Cloud — выстроенном процессе, подводных камнях и полученном результате.
Читать: https://habr.com/ru/companies/vk/articles/781278/
Миграция ИТ-инфраструктуры из облака в облако — квест, с которым сейчас сталкиваются многие компании и на своих шишках понимают сложность всего процесса. И чем больше инфраструктура, тем выше уровень сложности этого квеста. Особенно если перенести надо работающий сервис с крупной базой данных и целым зоопарком технологий.
Меня зовут Дмитрий Штегельман, я системный инженер в VK Tech. В этой статье я расскажу об опыте миграции PaaS MS SQL Server с гигабайтами данных из Azure в VK Cloud — выстроенном процессе, подводных камнях и полученном результате.
Читать: https://habr.com/ru/companies/vk/articles/781278/
SQL HowTo: итоги по строкам и столбцам «в одно действие»
Немного отвлечемся от простых SELECT и посмотрим на реальной бизнес-задаче построения различных "тепловых карт" и "шахматок", как знание возможностей SQL может облегчить жизнь и разработчику, и его базе.
Читать: https://habr.com/ru/companies/tensor/articles/781926/
Немного отвлечемся от простых SELECT и посмотрим на реальной бизнес-задаче построения различных "тепловых карт" и "шахматок", как знание возможностей SQL может облегчить жизнь и разработчику, и его базе.
Читать: https://habr.com/ru/companies/tensor/articles/781926/
MongoDB Security Incident Update, December 20, 2023
Read: https://www.mongodb.com/blog/post/mongodb-security-incident-update-december-20-2023
Read: https://www.mongodb.com/blog/post/mongodb-security-incident-update-december-20-2023
Big Data в облаке: строим доступное хранилище
За последние годы «большие данные» стали восприниматься более гибко и могут включать в себя объемы, которые ранее не рассматривались как «большие». При этом снизились затраты на хранение и обработку информации. Теперь инструменты работы с данными подобных масштабов доступны даже небольшим компаниям.
Важно помнить, что работа в этом направлении включает в себя разнообразные вызовы, связанные с ограничениями оборудования, типами источников данных, сложностью анализа. Данные нужно правильно собирать, хранить и обрабатывать, а для этого нужно выстроить правильную инфраструктуру.
Сегодня расскажем про решение, которое уменьшит неопределенность при работе с крупными данными и поможет максимально быстро построить с нуля удобную и недорогую систему для аналитических задач в вашей компании.
Читать: https://habr.com/ru/companies/cloud_mts/articles/782226/
За последние годы «большие данные» стали восприниматься более гибко и могут включать в себя объемы, которые ранее не рассматривались как «большие». При этом снизились затраты на хранение и обработку информации. Теперь инструменты работы с данными подобных масштабов доступны даже небольшим компаниям.
Важно помнить, что работа в этом направлении включает в себя разнообразные вызовы, связанные с ограничениями оборудования, типами источников данных, сложностью анализа. Данные нужно правильно собирать, хранить и обрабатывать, а для этого нужно выстроить правильную инфраструктуру.
Сегодня расскажем про решение, которое уменьшит неопределенность при работе с крупными данными и поможет максимально быстро построить с нуля удобную и недорогую систему для аналитических задач в вашей компании.
Читать: https://habr.com/ru/companies/cloud_mts/articles/782226/