Монетизация данных. Зачем Большой Брат следит за нами?
2021-й год стал первым годом, когда крупные компании начали понимать на практике, зачем же они следят за пользователями. До этого бигдата была инструментом поиска вещей, которые можно было сделать и статичными правилами, а вот сейчас наконец-то стала полезной принципиально иначе.
Теперь можно получать обработку информации в реальном времени (и реагировать гибко и сразу на те же действия на сайте или в приложении), в агрегации данных (теперь банк знает, где вы живёте, какие у вас были диагнозы по чекам из аптеки и какие интернет-магазины вы предпочитаете по адресам посещаемых сайтов, от стратегического альянса с провайдером или сотовым оператором) и так далее.
Читать: https://habr.com/ru/post/659527/
2021-й год стал первым годом, когда крупные компании начали понимать на практике, зачем же они следят за пользователями. До этого бигдата была инструментом поиска вещей, которые можно было сделать и статичными правилами, а вот сейчас наконец-то стала полезной принципиально иначе.
Теперь можно получать обработку информации в реальном времени (и реагировать гибко и сразу на те же действия на сайте или в приложении), в агрегации данных (теперь банк знает, где вы живёте, какие у вас были диагнозы по чекам из аптеки и какие интернет-магазины вы предпочитаете по адресам посещаемых сайтов, от стратегического альянса с провайдером или сотовым оператором) и так далее.
Читать: https://habr.com/ru/post/659527/
Simplify management of database privileges in Amazon Redshift using role-based access control
Read: https://aws.amazon.com/blogs/big-data/simplify-management-of-database-privileges-in-amazon-redshift-using-role-based-access-control/
Read: https://aws.amazon.com/blogs/big-data/simplify-management-of-database-privileges-in-amazon-redshift-using-role-based-access-control/
Integrate Amazon Redshift native IdP federation with Microsoft Azure AD and Power BI
Read: https://aws.amazon.com/blogs/big-data/integrate-amazon-redshift-native-idp-federation-with-microsoft-azure-ad-and-power-bi/
Read: https://aws.amazon.com/blogs/big-data/integrate-amazon-redshift-native-idp-federation-with-microsoft-azure-ad-and-power-bi/
🔥1
17 лучших инструментов и технологий для работы с большими данными, о которых нужно знать в 2022 году
Мир больших данных становится только еще больше. Организации всех мастей производят огромное количество данных из года в год, и находят все больше способов использовать их для улучшения работы, лучшего понимания клиентов, более быстрой доставки продукции и снижения затрат, а также для других целей. Кроме того, руководители компаний, стремящиеся быстрее получить отдачу от данных, ищут возможности анализа в режиме реального времени.
Все это стимулирует значительные инвестиции в инструменты и технологии работы с большими данными. В своем отчете за август 2021 года компания IDC, занимающаяся исследованием рынка, оценила ожидаемые мировые расходы на системы больших данных и аналитики в $215,7 млрд в 2021 году, что на 10,1% больше, чем в прошлом году. Она также прогнозирует, что расходы будут расти на 12,8% в год до 2025 года.
Читать: https://habr.com/ru/post/659657/
Мир больших данных становится только еще больше. Организации всех мастей производят огромное количество данных из года в год, и находят все больше способов использовать их для улучшения работы, лучшего понимания клиентов, более быстрой доставки продукции и снижения затрат, а также для других целей. Кроме того, руководители компаний, стремящиеся быстрее получить отдачу от данных, ищут возможности анализа в режиме реального времени.
Все это стимулирует значительные инвестиции в инструменты и технологии работы с большими данными. В своем отчете за август 2021 года компания IDC, занимающаяся исследованием рынка, оценила ожидаемые мировые расходы на системы больших данных и аналитики в $215,7 млрд в 2021 году, что на 10,1% больше, чем в прошлом году. Она также прогнозирует, что расходы будут расти на 12,8% в год до 2025 года.
Читать: https://habr.com/ru/post/659657/
An outlier or the norm
Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/04/an-outlier-or-the-norm.html
Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/04/an-outlier-or-the-norm.html
Как генерировать Flame Graph из выходных данных perf и pt-pmp
Человеческий мозг обычно лучше воспринимает информацию из изображений, чем из текстов. И в инструментах, подобных Flame Graph, этот принцип блестяще реализован. Поэтому в Percona его используют в рамках работы группы поддержки. Чаще всего в тех случаях, когда нужно получить всестороннее представление о том, что и как долго проделывает MySQL. Так можно лучше понять, какие операции стоят за конкретной рабочей нагрузкой и каким образом лучше исправлять возникающие проблемы. И это можно использовать и для оптимизации, и для устранения неполадок.
Давайте воспользуемся их опытом и разберемся, откуда брать и как подготавливать образцы для визуализации данных. А после этого — как из них генерировать Flame Graph и как с этим работать.
Читать: https://habr.com/ru/post/659789/
Человеческий мозг обычно лучше воспринимает информацию из изображений, чем из текстов. И в инструментах, подобных Flame Graph, этот принцип блестяще реализован. Поэтому в Percona его используют в рамках работы группы поддержки. Чаще всего в тех случаях, когда нужно получить всестороннее представление о том, что и как долго проделывает MySQL. Так можно лучше понять, какие операции стоят за конкретной рабочей нагрузкой и каким образом лучше исправлять возникающие проблемы. И это можно использовать и для оптимизации, и для устранения неполадок.
Давайте воспользуемся их опытом и разберемся, откуда брать и как подготавливать образцы для визуализации данных. А после этого — как из них генерировать Flame Graph и как с этим работать.
Читать: https://habr.com/ru/post/659789/
Разметка именованных сущностей в Label Studio
В предыдущей статье мы уже подробно рассмотрели процесс разметки семантической сегментации в CVAT. Сейчас я подробнее расскажу по NER-разметку в другом популярном open source инструменте Label Studio
Предупреждаю, статья в первую очередь направлена на новичков, которые делают первые шаги в разметке данных. Как и в прошлый раз мы шаг за шагом пройдем путь от установки и настройки проекта до экспорта уже размеченного датасета.
В процессе будем подробнее останавливаться на нюансах связанных с извлечением именованных сущностей и рекомендациях из личного опыта.
Посмотрим, что у тебя там...
Читать: https://habr.com/ru/post/659791/
В предыдущей статье мы уже подробно рассмотрели процесс разметки семантической сегментации в CVAT. Сейчас я подробнее расскажу по NER-разметку в другом популярном open source инструменте Label Studio
Предупреждаю, статья в первую очередь направлена на новичков, которые делают первые шаги в разметке данных. Как и в прошлый раз мы шаг за шагом пройдем путь от установки и настройки проекта до экспорта уже размеченного датасета.
В процессе будем подробнее останавливаться на нюансах связанных с извлечением именованных сущностей и рекомендациях из личного опыта.
Посмотрим, что у тебя там...
Читать: https://habr.com/ru/post/659791/
Как собрать отчет в Google Data Studio быстро и просто
Осенью 2021 года я задумался о бесплатных инструментах аналитики и построения отчетности, доступных простым пользователям. В том или ином виде можно использовать Power BI или Tableau, но почему бы не попробовать что-то более простое?
Небольшой дисклеймер: датасет, о котором далее пойдет речь, был загружен осенью 2021 года. Сейчас датасет другой, возможно более чистый. Загружать новые данные счел нерациональным, поскольку серия постов будет про простейшие визуализации, а не про актуальные исследования или сложные диаграммы. И нет, это не подробная методичка по возможностям GDS, это только общий обзор решения и разбор одного кейса.
Нас интересует только сторона работы обычного аналитика, насколько это возможно (и насколько я себе это представляю), поэтому я буду стараться искать самые простые пути решения проблемы. Понимаю, что некоторые методы вроде использования промежуточной базы данных не выглядят простыми для кого-то, но с тем же успехом можно использовать таблицы от Google. У меня БД просто была под рукой, да и выстроить полноценный ETL-процесс без неё не выйдет.
Читать: https://habr.com/ru/post/659827/
Осенью 2021 года я задумался о бесплатных инструментах аналитики и построения отчетности, доступных простым пользователям. В том или ином виде можно использовать Power BI или Tableau, но почему бы не попробовать что-то более простое?
Небольшой дисклеймер: датасет, о котором далее пойдет речь, был загружен осенью 2021 года. Сейчас датасет другой, возможно более чистый. Загружать новые данные счел нерациональным, поскольку серия постов будет про простейшие визуализации, а не про актуальные исследования или сложные диаграммы. И нет, это не подробная методичка по возможностям GDS, это только общий обзор решения и разбор одного кейса.
Нас интересует только сторона работы обычного аналитика, насколько это возможно (и насколько я себе это представляю), поэтому я буду стараться искать самые простые пути решения проблемы. Понимаю, что некоторые методы вроде использования промежуточной базы данных не выглядят простыми для кого-то, но с тем же успехом можно использовать таблицы от Google. У меня БД просто была под рукой, да и выстроить полноценный ETL-процесс без неё не выйдет.
Читать: https://habr.com/ru/post/659827/
Data Structure - The Tree
A successful product must be based on data and design. Both must be congruent at all times; they can be used to inform each other and to help them understand their users. Different data tables have different sizes, complexity, contents, and purposes....
Read: https://blog.shwetakaushal.com/data-structure-the-tree-1
A successful product must be based on data and design. Both must be congruent at all times; they can be used to inform each other and to help them understand their users. Different data tables have different sizes, complexity, contents, and purposes....
Read: https://blog.shwetakaushal.com/data-structure-the-tree-1
What is Power BI?
What is Power BI?
As per Power BI's official website, "A business analytics solution that lets you visualize your data and share insights across your organization. Connect to hundreds of data sources and bring your data to life with live dashboards a...
Read: https://blogs.prahladinala.in/what-is-power-bi
What is Power BI?
As per Power BI's official website, "A business analytics solution that lets you visualize your data and share insights across your organization. Connect to hundreds of data sources and bring your data to life with live dashboards a...
Read: https://blogs.prahladinala.in/what-is-power-bi
👍1
Machine Learning projects to predictions
Inspired by Aman Kharwal blog I created some Machine Learning projects for predictions and analysis. Below the projects write in Google Colab.
Stock Price using Neural Network to know what will be the Close price for specific stock.
Sales Prediction,...
Read: https://capitaohooks.hashnode.dev/machine-learning-projects-to-predictions
Inspired by Aman Kharwal blog I created some Machine Learning projects for predictions and analysis. Below the projects write in Google Colab.
Stock Price using Neural Network to know what will be the Close price for specific stock.
Sales Prediction,...
Read: https://capitaohooks.hashnode.dev/machine-learning-projects-to-predictions
Mathematicians' relations and communities with each other
Introduction
Graphs have taken a lot of attention during the last years, from graph machine learning methods, including Graph Neural Networks, to Graph Databases. Even on Medium, people are posting graph articles more than before. One thing that I be...
Read: https://kiani.info/mathematicians-relations-and-communities-with-each-other
Introduction
Graphs have taken a lot of attention during the last years, from graph machine learning methods, including Graph Neural Networks, to Graph Databases. Even on Medium, people are posting graph articles more than before. One thing that I be...
Read: https://kiani.info/mathematicians-relations-and-communities-with-each-other
👍1
Hyperparameter Tuning in Machine Learning.
Introduction
Data Scientists and Machine Learning Engineers often contemplate the model and parameters to produce the best accuracy after data preprocessing. The method to choose the best parameters for a model when working with data is known as Hype...
Read: https://myrtle.hashnode.dev/hyperparameter-tuning-in-machine-learning
Introduction
Data Scientists and Machine Learning Engineers often contemplate the model and parameters to produce the best accuracy after data preprocessing. The method to choose the best parameters for a model when working with data is known as Hype...
Read: https://myrtle.hashnode.dev/hyperparameter-tuning-in-machine-learning
Integrate Amazon Redshift native IdP federation with Microsoft Azure AD using a SQL client
Read: https://aws.amazon.com/blogs/big-data/integrate-amazon-redshift-native-idp-federation-with-microsoft-azure-ad-using-a-sql-client/
Read: https://aws.amazon.com/blogs/big-data/integrate-amazon-redshift-native-idp-federation-with-microsoft-azure-ad-using-a-sql-client/
👍1
Как врать с помощью статистики
"Существуют три вида лжи:
- ложь
- наглая ложь
- пропаганда статистика
- источник цитаты в интернете"
Марк Твен (ну или не он)
В данной статье на рассмотрим, как можно быстро доказать следующие утверждения, смотря на один и тот же источник данных:
- Лошади бегают по часовой стрелке быстрее чем по часовой
- Лошади бегают против часовой стрелки быстрее чем по часовой
- Лошади бегают на более дальние дистанции быстрее (с большей скоростью), чем на короткие
- Лошади бегают на более дальние дистанции медленнее (с меньшей скоростью), чем на короткие
На картинке изображена лошадь на плато (что очень важно для текста статьи)
Read more
Читать: https://habr.com/ru/post/660269/
"Существуют три вида лжи:
- ложь
- наглая ложь
- пропаганда статистика
- источник цитаты в интернете"
Марк Твен (ну или не он)
В данной статье на рассмотрим, как можно быстро доказать следующие утверждения, смотря на один и тот же источник данных:
- Лошади бегают по часовой стрелке быстрее чем по часовой
- Лошади бегают против часовой стрелки быстрее чем по часовой
- Лошади бегают на более дальние дистанции быстрее (с большей скоростью), чем на короткие
- Лошади бегают на более дальние дистанции медленнее (с меньшей скоростью), чем на короткие
На картинке изображена лошадь на плато (что очень важно для текста статьи)
Read more
Читать: https://habr.com/ru/post/660269/
Могут ли российские дашборды стать альтернативой Qlik/Tableau/PowerBI?
Привет, Хабр! Меня зовут Максим Губин, и я работаю в компании Visiology. Недавно к нам поступил интересный запрос, и мне с коллегами пришлось сделать демонстрационный дашборд для российского сообщества BI-специалистов. Интересно, что визуализация была сделана не под конкретного заказчика, но зато она позволила специалистам оценить, смогут ли они работать с другой BI-системой, если нужно будет сменить ПО.
Да, многие компании сегодня рассматривают альтернативные BI-системы, но специалисты продолжают сомневаться в удобстве и функциональности российских продуктов и open-source решений. В этом посте я расскажу о демонстрации возможностей отечественных платформ для сообщества российских BI-специалистов (Russian BI Chat), а также покажу, как выглядит интерактивный дашборд от Visiology. Этот пост будет интересен тем, кто рассматривает различные варианты внедрения BI-инструментов, включая российские и open-source системы.
Читать: https://habr.com/ru/post/660321/
Привет, Хабр! Меня зовут Максим Губин, и я работаю в компании Visiology. Недавно к нам поступил интересный запрос, и мне с коллегами пришлось сделать демонстрационный дашборд для российского сообщества BI-специалистов. Интересно, что визуализация была сделана не под конкретного заказчика, но зато она позволила специалистам оценить, смогут ли они работать с другой BI-системой, если нужно будет сменить ПО.
Да, многие компании сегодня рассматривают альтернативные BI-системы, но специалисты продолжают сомневаться в удобстве и функциональности российских продуктов и open-source решений. В этом посте я расскажу о демонстрации возможностей отечественных платформ для сообщества российских BI-специалистов (Russian BI Chat), а также покажу, как выглядит интерактивный дашборд от Visiology. Этот пост будет интересен тем, кто рассматривает различные варианты внедрения BI-инструментов, включая российские и open-source системы.
Читать: https://habr.com/ru/post/660321/
Eight Trends Predicted To Define Data Analytics In 2022
According to one McKinsey report focused on the healthcare industry, “data analytics and information services will have the fastest growth rate at 16% to 18% over the next five years, while core administrative services are unlikely to see much growth...
Read: https://kumuda.hashnode.dev/eight-trends-predicted-to-define-data-analytics-in-2022
According to one McKinsey report focused on the healthcare industry, “data analytics and information services will have the fastest growth rate at 16% to 18% over the next five years, while core administrative services are unlikely to see much growth...
Read: https://kumuda.hashnode.dev/eight-trends-predicted-to-define-data-analytics-in-2022
Машинное обучение на службе урбанистики
Как театр начинается с вешалки, так анализ начинается с данных. Во многих науках существуют уже готовые датасеты, однако урбанистике с этим повезло меньше остальных. Современный человек утолил свой голод, излечился от болезней, познал тайны атомного ядра и вселенной - пора наверно и обустроить городское пространство вокруг себя? Но для начала его следует изучить.
Читать: https://habr.com/ru/post/660527/
Как театр начинается с вешалки, так анализ начинается с данных. Во многих науках существуют уже готовые датасеты, однако урбанистике с этим повезло меньше остальных. Современный человек утолил свой голод, излечился от болезней, познал тайны атомного ядра и вселенной - пора наверно и обустроить городское пространство вокруг себя? Но для начала его следует изучить.
Читать: https://habr.com/ru/post/660527/
Accelerate Snowflake to Amazon Redshift migration using AWS Schema Conversion Tool
Read: https://aws.amazon.com/blogs/big-data/accelerate-snowflake-to-amazon-redshift-migration-using-aws-schema-conversion-tool/
Read: https://aws.amazon.com/blogs/big-data/accelerate-snowflake-to-amazon-redshift-migration-using-aws-schema-conversion-tool/
Excel Function For Financial Modeling
Excel is a major modeling tool for Financial Analyst and Financial Modeling.
This post reference can be gotten from Corporate Financial Institute.
Duration Function: is categorized under Financial Functions. it helps to calculate the duration of a se...
Read: https://designegycreatives.hashnode.dev/excel-function-for-financial-modeling
Excel is a major modeling tool for Financial Analyst and Financial Modeling.
This post reference can be gotten from Corporate Financial Institute.
Duration Function: is categorized under Financial Functions. it helps to calculate the duration of a se...
Read: https://designegycreatives.hashnode.dev/excel-function-for-financial-modeling