Bundling Vs. UnBundling: The Tale of Airflow Operator and dbt Ref
Read: https://www.dataengineeringweekly.com/p/bundling-vs-unbundling-the-tale-of
Read: https://www.dataengineeringweekly.com/p/bundling-vs-unbundling-the-tale-of
Data Engineering Weekly
Bundling Vs. UnBundling: The Tale of Airflow Operator and dbt Ref
A throwback lesson on the history of data orchestration engine
👍1
Build a cost-effective extension to your Elasticsearch cluster with Amazon OpenSearch Service
During the past year, we’ve seen customers running self-managed Elasticsearch clusters on AWS who were running out of compute and storage capacity because of the non-elasticity of their clusters. They adopted Amazon OpenSearch Service (Successor To Amazon Elasticsearch Service) to benefit from better flexibility for their logs and enhanced retention periods. In this post, we […]
Read: https://aws.amazon.com/blogs/big-data/build-a-cost-effective-extension-to-your-elasticsearch-cluster-with-amazon-opensearch-service/
During the past year, we’ve seen customers running self-managed Elasticsearch clusters on AWS who were running out of compute and storage capacity because of the non-elasticity of their clusters. They adopted Amazon OpenSearch Service (Successor To Amazon Elasticsearch Service) to benefit from better flexibility for their logs and enhanced retention periods. In this post, we […]
Read: https://aws.amazon.com/blogs/big-data/build-a-cost-effective-extension-to-your-elasticsearch-cluster-with-amazon-opensearch-service/
Amazon
Build a cost-effective extension to your Elasticsearch cluster with Amazon OpenSearch Service | Amazon Web Services
During the past year, we’ve seen customers running self-managed Elasticsearch clusters on AWS who were running out of compute and storage capacity because of the non-elasticity of their clusters. They adopted Amazon OpenSearch Service. to benefit from better…
10 вопросов на позицию специалиста по Data Science
По 5 вопросов с собеседований из двух обязательных для Data Scientist областей знаний — теории вероятности и машинного обучения
Читать: «10 вопросов на позицию специалиста по Data Science»
По 5 вопросов с собеседований из двух обязательных для Data Scientist областей знаний — теории вероятности и машинного обучения
Читать: «10 вопросов на позицию специалиста по Data Science»
Big Data и лучшие инструменты аналитики в 2021 году
Обзор самых популярных инструментов аналитики на 2021 год.
Читать: «Big Data и лучшие инструменты аналитики в 2021 году»
Обзор самых популярных инструментов аналитики на 2021 год.
Читать: «Big Data и лучшие инструменты аналитики в 2021 году»
Что нужно знать, чтобы построить карьеру в Big Data: объясняет эксперт
Эксперт из мира Big Data рассказывает о базовых знаниях и продвинутых навыках дата-аналитиков, дата-инженеров и специалистов в области Data Science.
Читать: «Что нужно знать, чтобы построить карьеру в Big Data: объясняет эксперт»
Эксперт из мира Big Data рассказывает о базовых знаниях и продвинутых навыках дата-аналитиков, дата-инженеров и специалистов в области Data Science.
Читать: «Что нужно знать, чтобы построить карьеру в Big Data: объясняет эксперт»
How to determine your goals and metrics to adopt a data-informed culture
When you are thinking about your Engineering analytics, some common questions might cross your mind:
What should I be tracking?What are other companies in my industry tracking?What goals should each team be aiming for?
There is no single set of m...
Read: https://allthingscodequality.hashnode.dev/how-to-determine-your-goals-and-metrics-to-adopt-a-data-informed-culture
When you are thinking about your Engineering analytics, some common questions might cross your mind:
What should I be tracking?What are other companies in my industry tracking?What goals should each team be aiming for?
There is no single set of m...
Read: https://allthingscodequality.hashnode.dev/how-to-determine-your-goals-and-metrics-to-adopt-a-data-informed-culture
WFM: планирование рабочего времени и управление персоналом
Одной из проблем, свойственным заведениям из сферы HoReCa (рестораны, фастфуды, кафе и отели) и Call Center/Contact Center, является планирование расписания. Проблемы с планированием, в первую очередь, возникают из-за плавающих графиков, различных типов совмещений и построения рабочих графиков исходя из квалификации сотрудников (компетенции). Особенно остро данный вопрос стоит у крупных сетей с большим товарооборотом, где правильная расстановка смен определяет качество обслуживания, оперативность и, самое главное, влияет на выручку и прибыль заведения либо всей сети.
Для решения данных вопросов были придуманы многочисленные системы планирования, учета и оптимизации рабочего времени сотрудников (workforce management, WFM), которые уже не первый год пользуются популярностью за рубежом.
Читать: https://habr.com/ru/post/655813/
Одной из проблем, свойственным заведениям из сферы HoReCa (рестораны, фастфуды, кафе и отели) и Call Center/Contact Center, является планирование расписания. Проблемы с планированием, в первую очередь, возникают из-за плавающих графиков, различных типов совмещений и построения рабочих графиков исходя из квалификации сотрудников (компетенции). Особенно остро данный вопрос стоит у крупных сетей с большим товарооборотом, где правильная расстановка смен определяет качество обслуживания, оперативность и, самое главное, влияет на выручку и прибыль заведения либо всей сети.
Для решения данных вопросов были придуманы многочисленные системы планирования, учета и оптимизации рабочего времени сотрудников (workforce management, WFM), которые уже не первый год пользуются популярностью за рубежом.
Читать: https://habr.com/ru/post/655813/
Django Datta Able - Premium Starter
Hello Coders!
This article presents a simple Django Starter crafted by AppSeed on top of a colorful Bootstrap design. Django Datta Able is a premium starter that provides a solid codebase enhanced with database, authentication, and Docker support on...
Read: https://app-generator.hashnode.dev/django-datta-able-premium-starter
Hello Coders!
This article presents a simple Django Starter crafted by AppSeed on top of a colorful Bootstrap design. Django Datta Able is a premium starter that provides a solid codebase enhanced with database, authentication, and Docker support on...
Read: https://app-generator.hashnode.dev/django-datta-able-premium-starter
How to Stop and Start an OAC Instance using OCI Command Line Interface (CLI)
Using OCI CLI Utility, how to stop and start an OAC Instance. This can further be used for automation.
Read: https://blogs.oracle.com/analytics/post/how-to-stop-and-start-an-oac-instance-using-oci-command-line-interface-cli
Using OCI CLI Utility, how to stop and start an OAC Instance. This can further be used for automation.
Read: https://blogs.oracle.com/analytics/post/how-to-stop-and-start-an-oac-instance-using-oci-command-line-interface-cli
Oracle
How to Stop and Start an OAC Instance using OCI Command Line Interface (CLI)
Using OCI CLI Utility, how to stop and start an OAC Instance. This can further be used for automation.
Guide to Install Modules in Python
Python is a popular open-source development project, with a large active supporting community of contributors and users, which makes their software available for other Python developers to use under open source license terms.
This allows Python users...
Read: https://madhuripatil.hashnode.dev/guide-to-install-modules-in-python
Python is a popular open-source development project, with a large active supporting community of contributors and users, which makes their software available for other Python developers to use under open source license terms.
This allows Python users...
Read: https://madhuripatil.hashnode.dev/guide-to-install-modules-in-python
How to boost a career in computer science.
Computer Science and Information Technology are a wide field and contain numerous domains such as data science, networking, software development, information security, database management, big data & Hadoop, and artificial intelligence moreover, stud...
Read: https://hashnode.com/post/how-to-boost-a-career-in-computer-science-cky8cjrxb02iv8ps1g67w130v
Computer Science and Information Technology are a wide field and contain numerous domains such as data science, networking, software development, information security, database management, big data & Hadoop, and artificial intelligence moreover, stud...
Read: https://hashnode.com/post/how-to-boost-a-career-in-computer-science-cky8cjrxb02iv8ps1g67w130v
Что такое компьютерная лингвистика и как технологии на её основе помогают людям с ограниченными возможностями здоровья
Многие из нас ежедневно пользуются поисковыми системами, голосовыми помощниками и переводчиками текстов. Появление этих технологий стало возможным благодаря компьютерной лингвистике — области искусственного интеллекта, которая занимается описанием естественных языков при помощи математических моделей. Рассказываем, что такое компьютерная лингвистика и обработка естественного языка, какие задачи они решают и как помогают расширять возможности людей с инвалидностью.
Читать: https://habr.com/ru/post/656485/
Многие из нас ежедневно пользуются поисковыми системами, голосовыми помощниками и переводчиками текстов. Появление этих технологий стало возможным благодаря компьютерной лингвистике — области искусственного интеллекта, которая занимается описанием естественных языков при помощи математических моделей. Рассказываем, что такое компьютерная лингвистика и обработка естественного языка, какие задачи они решают и как помогают расширять возможности людей с инвалидностью.
Читать: https://habr.com/ru/post/656485/
The Cross Validation - [Theory]
Introduction
Cross-validation is a technique for validating the model efficiency by training it on the subset of input data and testing on a previously unseen subset of the input data. We can also say that it is a technique to check how a statistical...
Read: https://blog.learnml.xyz/the-cross-validation-theory
Introduction
Cross-validation is a technique for validating the model efficiency by training it on the subset of input data and testing on a previously unseen subset of the input data. We can also say that it is a technique to check how a statistical...
Read: https://blog.learnml.xyz/the-cross-validation-theory
How to save a Machine Learning Model?
Introduction
In Machine learning, while working with the scikit-learn (sklearn) library or any other modules, we need to save the trained models in a file and restore them in order to reuse them to compare the model with other models, to test the mod...
Read: https://blog.learnml.xyz/how-to-save-a-machine-learning-model
Introduction
In Machine learning, while working with the scikit-learn (sklearn) library or any other modules, we need to save the trained models in a file and restore them in order to reuse them to compare the model with other models, to test the mod...
Read: https://blog.learnml.xyz/how-to-save-a-machine-learning-model
ЕГРЮЛ, ЕГРИП в виде архивов ФНС, csv, xml, json (API) и анализ данных
С началом войны РФ с Украиной мои статьи потеряли смысл на фоне этого ада. Продуктивно работать почти невозможно. Кто-то потерял дом, кто-то детей. Миллионы беженцев.
Два из трёх этажей своего дома я отдал под размещение двух семей беженцев с детьми. Если у вас есть возможности, помогайте нуждающимся.
Деньги на ЕГРИП были собраны донатами до войны. С опозданием, но я должен выполнить обещанное.
Выкладываем архивы ФНС РФ, данные в csv, немного интересных отчётов.
Читать: https://habr.com/ru/post/656563/
С началом войны РФ с Украиной мои статьи потеряли смысл на фоне этого ада. Продуктивно работать почти невозможно. Кто-то потерял дом, кто-то детей. Миллионы беженцев.
Два из трёх этажей своего дома я отдал под размещение двух семей беженцев с детьми. Если у вас есть возможности, помогайте нуждающимся.
Деньги на ЕГРИП были собраны донатами до войны. С опозданием, но я должен выполнить обещанное.
Выкладываем архивы ФНС РФ, данные в csv, немного интересных отчётов.
Читать: https://habr.com/ru/post/656563/
История появления профессии аналитика данных. Понятие данных, аналитика данных. Почему появились аналитики данных
История анализа данных начинается примерно с 70-х годов прошлого века, когда Американский математик и ученый Джон Тьюки опубликовал свою книгу “Exploratory Data Analysis” или “Разведывательный Анализ Данных”. В книге Тьюки пишет, что необходимо исследовать и анализировать данные для подтверждения или опровержения выдвигаемых гипотез.
Давай подумаем, что же такое “Данные” и зачем их вообще нужно анализировать.
Данные - это представление фактов или сведений о чем-либо в виде, который может понять и интерпретировать человек, а также передать эти факты/сведения другим.
Примеров данных в нашей жизни можно привести очень много: записи банковских транзакций, записи с различных датчиков или видеокамер, технические записи приборов на производствах и предприятиях о режиме работы, онлайн-опросы, журнал посещения тренировок или учебных классов, записки в блокноте, двоичный код из 0 и Также к данным можно относить медиа-контент в виде музыки или видео.
В следующем разделе мы разберём какие типы данных существуют.
Мы поняли, что множество предметов воспроизводят очень много данных вокруг нас.
Читать: https://habr.com/ru/post/656587/
История анализа данных начинается примерно с 70-х годов прошлого века, когда Американский математик и ученый Джон Тьюки опубликовал свою книгу “Exploratory Data Analysis” или “Разведывательный Анализ Данных”. В книге Тьюки пишет, что необходимо исследовать и анализировать данные для подтверждения или опровержения выдвигаемых гипотез.
Давай подумаем, что же такое “Данные” и зачем их вообще нужно анализировать.
Данные - это представление фактов или сведений о чем-либо в виде, который может понять и интерпретировать человек, а также передать эти факты/сведения другим.
Примеров данных в нашей жизни можно привести очень много: записи банковских транзакций, записи с различных датчиков или видеокамер, технические записи приборов на производствах и предприятиях о режиме работы, онлайн-опросы, журнал посещения тренировок или учебных классов, записки в блокноте, двоичный код из 0 и Также к данным можно относить медиа-контент в виде музыки или видео.
В следующем разделе мы разберём какие типы данных существуют.
Мы поняли, что множество предметов воспроизводят очень много данных вокруг нас.
Читать: https://habr.com/ru/post/656587/
Google Colab - Run ML in PaaS
Learning about Machine learning is one of the trending things nowadays. But a lot of people face difficulties, as they don't have a good device, that is powerful enough to train even simpler machine learning models, and there are also a lot of issues...
Read: https://blog.learnml.xyz/google-colab-run-ml-in-paas
Learning about Machine learning is one of the trending things nowadays. But a lot of people face difficulties, as they don't have a good device, that is powerful enough to train even simpler machine learning models, and there are also a lot of issues...
Read: https://blog.learnml.xyz/google-colab-run-ml-in-paas
Эволюция рекомендаций ресторанов в Delivery Club. Часть 1
Всем привет! Меня зовут Иван Максимов, я работаю Lead Data Scientist’ом в команде рекомендаций и A/B-тестирования Delivery Club. Это первая из серии статей про нашу рекомендательную систему. Я расскажу о том, как мы определили проблемы предыдущего подхода к рекомендациям, и как начали строить новый: с оптимизацией рекомендаций сразу под несколько бизнес-метрик.
Статья будет интересна data scientist’ам и менеджерам продуктов, которые хотят с нуля построить систему рекомендации контента.
Читать: https://habr.com/ru/post/656505/
Всем привет! Меня зовут Иван Максимов, я работаю Lead Data Scientist’ом в команде рекомендаций и A/B-тестирования Delivery Club. Это первая из серии статей про нашу рекомендательную систему. Я расскажу о том, как мы определили проблемы предыдущего подхода к рекомендациям, и как начали строить новый: с оптимизацией рекомендаций сразу под несколько бизнес-метрик.
Статья будет интересна data scientist’ам и менеджерам продуктов, которые хотят с нуля построить систему рекомендации контента.
Читать: https://habr.com/ru/post/656505/
Insertion Sorting Algorithm
Introduction
Insertion sort is a simple and efficient comparison sort. In this algorithm, each iteration removes an element from the input data and inserts it into the correct position in the list is sorted.
Insertion Sort repeatedly invokes an inser...
Read: https://blog.learnml.xyz/insertion-sorting-algorithm
Introduction
Insertion sort is a simple and efficient comparison sort. In this algorithm, each iteration removes an element from the input data and inserts it into the correct position in the list is sorted.
Insertion Sort repeatedly invokes an inser...
Read: https://blog.learnml.xyz/insertion-sorting-algorithm
Machine Learning | Underfitting and Overfitting [Theory]
Introduction
Let us consider that we are designing a machine learning model. A model is said to be a good machine learning model if it generalizes any new input data from the problem domain in a proper way. This helps us to make predictions in the fu...
Read: https://blog.learnml.xyz/machine-learning-or-underfitting-and-overfitting-theory
Introduction
Let us consider that we are designing a machine learning model. A model is said to be a good machine learning model if it generalizes any new input data from the problem domain in a proper way. This helps us to make predictions in the fu...
Read: https://blog.learnml.xyz/machine-learning-or-underfitting-and-overfitting-theory