GDPR и Privacy - вызов для дата инжиниринга. Тут нужно либо потратить много времени для дизайна будущей системы, чтобы она отвечала всем требованиям, либо потратить ещё больше времени на модификацию существующей.
NY times рассказывает про свой случай.
В Амазоне я застал время до и после законов GDPR. В один прекрасный момент все наши озера данных (данные в S3 в виде файлов), стали вдруг не complaint. Решение были разные:
1) перезагружать все данные каждые 90 дней
2) хранить только последние 30 дней
3) хранить только в базе данных Redshift
4)Delta Lake на EMR+Spark
Все вдруг стали очень занятыми и у нас появилось много новой работы))
NY times рассказывает про свой случай.
В Амазоне я застал время до и после законов GDPR. В один прекрасный момент все наши озера данных (данные в S3 в виде файлов), стали вдруг не complaint. Решение были разные:
1) перезагружать все данные каждые 90 дней
2) хранить только последние 30 дней
3) хранить только в базе данных Redshift
4)Delta Lake на EMR+Spark
Все вдруг стали очень занятыми и у нас появилось много новой работы))
NY Times
How We Manage New York Times Readers’ Data Privacy
We built a system that allows a single team to implement data privacy changes across a suite of over 70 products.
Daniel Kahneman: ‘Clearly AI is going to win. How people are going to adjust is a fascinating problem’
Daniel Kahneman, 87, was awarded the Nobel prize in economics in 2002 for his work on the psychology of judgment and decision-making. His first book, Thinking, Fast and Slow, a worldwide bestseller..В общем понятно, что за “кент”))
https://www.theguardian.com/books/2021/may/16/daniel-kahneman-clearly-ai-is-going-to-win-how-people-are-going-to-adjust-is-a-fascinating-problem-thinking-fast-and-slow
Daniel Kahneman, 87, was awarded the Nobel prize in economics in 2002 for his work on the psychology of judgment and decision-making. His first book, Thinking, Fast and Slow, a worldwide bestseller..В общем понятно, что за “кент”))
https://www.theguardian.com/books/2021/may/16/daniel-kahneman-clearly-ai-is-going-to-win-how-people-are-going-to-adjust-is-a-fascinating-problem-thinking-fast-and-slow
the Guardian
Daniel Kahneman: ‘Clearly AI is going to win. How people are going to adjust is a fascinating problem’
The psychologist on applying his ideas to organisations, why we’re not equipped to grasp the spread of a virus, and the massive disruption that’s just round the corner
Вы просили, мы постарались, отдельное спасибо Никите Бабурову, который помог списаться со спикером))
В четверг 20 мая в 19:00 по МСК вебинар с Романом Зыковым.
Роман - автор нашумевшей в последнее время книги "Роман с Data Science"... Проведет для нас вебинар на тему: Как научить менеджеров правильно работать с data scientists?
О чем пойдет речь сможете прочитать в описании под видео.
Всем кто хочет, добро пожаловать на вебинар, если будут те, кто уже прочел его книгу, сможете задать вопросы.
Ссылка на вебинар: https://youtu.be/zPUNZZtMvNI
Всех обнял, до встречи на вебинаре и не забывайте подписываться на наш ютуб!
В четверг 20 мая в 19:00 по МСК вебинар с Романом Зыковым.
Роман - автор нашумевшей в последнее время книги "Роман с Data Science"... Проведет для нас вебинар на тему: Как научить менеджеров правильно работать с data scientists?
О чем пойдет речь сможете прочитать в описании под видео.
Всем кто хочет, добро пожаловать на вебинар, если будут те, кто уже прочел его книгу, сможете задать вопросы.
Ссылка на вебинар: https://youtu.be/zPUNZZtMvNI
Всех обнял, до встречи на вебинаре и не забывайте подписываться на наш ютуб!
Всем привет, я как-то скидывал эту анкету, чтобы собрать контакты людей, у кого есть хороший опыт в DS, DE, BI. Так как канадская компания Rock Your Data активна и иногда появляются интересные проекты, поэтому хочу освежить лист контактов.
Мне кажется, что после пандемии спрос возрастет среди Канадских компаний и будут писать чаще.
Мне кажется, что после пандемии спрос возрастет среди Канадских компаний и будут писать чаще.
This media is not supported in your browser
VIEW IN TELEGRAM
Небольшой урок английского. Что скрывается за красивыми словами корпоротивного мира и не только.
…I present you this new symbol of togetherness and cooperation this flag which shall be the emblem of the new free Jones plantation he held up the new flag but most of those listening were still too amazed to respond and this shall be our motto mr. Smith announced we work together as free men for our mutual benefit pledging our allegiance to the Jones plantation which stands for prosperity liberty and
justice for all to celebrate everyone has the rest of the day off enjoy your freedom do as you please and be back here tomorrow morning bright and early so that we may begin work on this great and noble new
endeavour as equal freemen….
Всем хорошего и продуктивного дня, as free men and women! 🤫😇😜
…I present you this new symbol of togetherness and cooperation this flag which shall be the emblem of the new free Jones plantation he held up the new flag but most of those listening were still too amazed to respond and this shall be our motto mr. Smith announced we work together as free men for our mutual benefit pledging our allegiance to the Jones plantation which stands for prosperity liberty and
justice for all to celebrate everyone has the rest of the day off enjoy your freedom do as you please and be back here tomorrow morning bright and early so that we may begin work on this great and noble new
endeavour as equal freemen….
Всем хорошего и продуктивного дня, as free men and women! 🤫😇😜
YouTube
The Jones Plantation
One cannot change reality by changing the words you use to describe reality. Look beneath the rhetoric, and glimpse the truth.
Бизнес-форум онлайн INFADAY2021
Когда: 25 мая (вторник) 2021 года с 10.00 до 18.00 (по Москве), онлайн.
Организатор: DIS Group (dis-group.ru)
О мероприятии: За последний год в области цифровизации и искусственного интеллекта было сделано больше, чем за последние 20 лет. Особенно много новинок появилось в сфере управления данными. На форуме мы обсудим тренды в управлении данными, реальные кейсы о том, как данные помогают бизнесу, технологические новинки 2021, и многое другое!
Темы дискуссий:
✔️ Культура управления данными. Время пришло.
✔️ Как Data Governance помогает бизнесу стать эффективнее
✔️ Управление данными в реальном секторе
✔️ Новые источники данных. Анализ и моделирование сценариев
✔️ Четыре типа СDO, кто главный?
✔️ Обзор технологических новинок 2021
Ссылка на мероприятие: https://bit.ly/3tWYd0H
Мероприятие бесплатное, но регистрация обязательна.
PS максмально поддержали фонд #vsevsevmeste💪
Когда: 25 мая (вторник) 2021 года с 10.00 до 18.00 (по Москве), онлайн.
Организатор: DIS Group (dis-group.ru)
О мероприятии: За последний год в области цифровизации и искусственного интеллекта было сделано больше, чем за последние 20 лет. Особенно много новинок появилось в сфере управления данными. На форуме мы обсудим тренды в управлении данными, реальные кейсы о том, как данные помогают бизнесу, технологические новинки 2021, и многое другое!
Темы дискуссий:
✔️ Культура управления данными. Время пришло.
✔️ Как Data Governance помогает бизнесу стать эффективнее
✔️ Управление данными в реальном секторе
✔️ Новые источники данных. Анализ и моделирование сценариев
✔️ Четыре типа СDO, кто главный?
✔️ Обзор технологических новинок 2021
Ссылка на мероприятие: https://bit.ly/3tWYd0H
Мероприятие бесплатное, но регистрация обязательна.
PS максмально поддержали фонд #vsevsevmeste💪
Топ ресурсы по Data Engineering и Analytics:
- Телеграм канал Инжиниринг Данных 🕺
- Курсы Data Learn 💃
- KDnuggets https://www.kdnuggets.com/news/index.html
- Cloudera | Data Engineering https://blog.cloudera.com/product/data-engineering/
- Silectis https://www.silect.is/blog/
- The RudderStack Blog https://rudderstack.com/blog/
- Facebook Engineering https://engineering.fb.com/
- Snowflake | Inside the Data Cloud https://www.snowflake.com/blog/
- Precisely Blog https://www.precisely.com/blog
- Data Engineering in Towards Data Science https://towardsdatascience.com/tagged/data-engineering
- SmartData Collective https://www.smartdatacollective.com/
- WeCloudData https://weclouddata.com/blog/
- Uber Engineering Blog https://eng.uber.com/
- Team Data Science Blog https://www.teamdatascience.com/blog
- Secoda Data Discovery Blog https://www.secoda.co/blog
- AWS Big Data Blog https://aws.amazon.com/blogs/big-data/
- Data Mechanics Blog https://www.datamechanics.co/blog
- ActiveWizards | Data Science and Engineering Lab https://activewizards.com/blog/
- Data Wow Blog https://datawow.io/blogs
- Pinterest Engineering https://medium.com/@Pinterest_Engineering
- Yelp Engineering and Product Blog https://engineeringblog.yelp.com/
- Netflix TechBlog https://netflixtechblog.com/
- LinkedIn Engineering Blog https://engineering.linkedin.com/blog
- Databricks Blog https://databricks.com/blog
- Knoldus » ML, AI and Data Engineering https://blog.knoldus.com/category/tech-blogs/machine-learning/
- XenonStack » Big Data Engineering https://www.xenonstack.com/blog/category/big-data-engineering/
- Dataquest » Data Engineering https://www.dataquest.io/blog/tag/data-engineering/
- Scribd Technology Blog https://tech.scribd.com/blog/
- Learn Data Engineering https://learndataengineering.com/blog
- data.world Blog https://data.world/blog/
- Ripple Engineering » Data https://engineering.ripple.com/tag/data/
- Jesse Anderson Blog https://www.jesse-anderson.com/category/blog/
- Телеграм канал Инжиниринг Данных 🕺
- Курсы Data Learn 💃
- KDnuggets https://www.kdnuggets.com/news/index.html
- Cloudera | Data Engineering https://blog.cloudera.com/product/data-engineering/
- Silectis https://www.silect.is/blog/
- The RudderStack Blog https://rudderstack.com/blog/
- Facebook Engineering https://engineering.fb.com/
- Snowflake | Inside the Data Cloud https://www.snowflake.com/blog/
- Precisely Blog https://www.precisely.com/blog
- Data Engineering in Towards Data Science https://towardsdatascience.com/tagged/data-engineering
- SmartData Collective https://www.smartdatacollective.com/
- WeCloudData https://weclouddata.com/blog/
- Uber Engineering Blog https://eng.uber.com/
- Team Data Science Blog https://www.teamdatascience.com/blog
- Secoda Data Discovery Blog https://www.secoda.co/blog
- AWS Big Data Blog https://aws.amazon.com/blogs/big-data/
- Data Mechanics Blog https://www.datamechanics.co/blog
- ActiveWizards | Data Science and Engineering Lab https://activewizards.com/blog/
- Data Wow Blog https://datawow.io/blogs
- Pinterest Engineering https://medium.com/@Pinterest_Engineering
- Yelp Engineering and Product Blog https://engineeringblog.yelp.com/
- Netflix TechBlog https://netflixtechblog.com/
- LinkedIn Engineering Blog https://engineering.linkedin.com/blog
- Databricks Blog https://databricks.com/blog
- Knoldus » ML, AI and Data Engineering https://blog.knoldus.com/category/tech-blogs/machine-learning/
- XenonStack » Big Data Engineering https://www.xenonstack.com/blog/category/big-data-engineering/
- Dataquest » Data Engineering https://www.dataquest.io/blog/tag/data-engineering/
- Scribd Technology Blog https://tech.scribd.com/blog/
- Learn Data Engineering https://learndataengineering.com/blog
- data.world Blog https://data.world/blog/
- Ripple Engineering » Data https://engineering.ripple.com/tag/data/
- Jesse Anderson Blog https://www.jesse-anderson.com/category/blog/
Forwarded from Dmitry Nekrasov
Дмитрий, привет!
Меня зовут Дмитрий, я из агентства Datmark.
На днях написал статью про то, как более оптимально использовать RFM-сегментацию и лучше интерпретировать ее результаты. Буду рад, если этот контент будет релевантен и интересен твоей аудитории – https://delovoymir.biz/kak-zastavit-rfm-segmentaciyu-rabotat-v-e-commerce-4-sposoba.html
Спасибо!
Меня зовут Дмитрий, я из агентства Datmark.
На днях написал статью про то, как более оптимально использовать RFM-сегментацию и лучше интерпретировать ее результаты. Буду рад, если этот контент будет релевантен и интересен твоей аудитории – https://delovoymir.biz/kak-zastavit-rfm-segmentaciyu-rabotat-v-e-commerce-4-sposoba.html
Спасибо!
Деловой мир
Как заставить RFM-сегментацию работать в e-commerce: 4 способа
Рассказываем об особенностях применения RFM-сегментации клиентов
24-28 Мая Data+AI Summit (Databricks, Spark, Bigdata, ML и многое другое) - онлайн и бесплатно. https://databricks.com/dataaisummit
Хотел расшарить статью про Lakehouse, которую опубликовали в блоге Databricks 19 мая. Соавтор сам Bill Inmon. Для меня это лишь подтверждение, что lake house (микс аналитического хранилища данных и озера данных на базе облачных вычислений) - это сейчас самая востребованная технолгия. Конечно для компаний, кто может себе это позволить.
https://databricks.com/blog/2021/05/19/evolution-to-the-data-lakehouse.html
Свое видение я выложу в datalearn модули 6, 7, 8. Как обычно будет обзор решений, инструментов и тп. Но самое главное, все базируется на модулях 1-5. Считайте, что это ваш стартовый капитал (модули 1-5) в мир современных аналитических решений.
https://databricks.com/blog/2021/05/19/evolution-to-the-data-lakehouse.html
Свое видение я выложу в datalearn модули 6, 7, 8. Как обычно будет обзор решений, инструментов и тп. Но самое главное, все базируется на модулях 1-5. Считайте, что это ваш стартовый капитал (модули 1-5) в мир современных аналитических решений.
Databricks
Evolution to the Data Lakehouse
Understand the transition from traditional data architectures to the modern data lakehouse, combining the best of data lakes and data warehouses.
Смотрю выступление 2016 года. https://youtu.be/ez-4m2_jRqQ
На картинке слайд, про количество нод Hadoop. Думаю было достаточно сложно обслуживать все это. Сейчас в облаке несколько кликов и вперед))
На картинке слайд, про количество нод Hadoop. Думаю было достаточно сложно обслуживать все это. Сейчас в облаке несколько кликов и вперед))
Пост не по теме, но тоже интересный🤗
В Канаде велосипед довольно популярен, особенно в Британской Колумбии, где нет зимы. Раньше мы жиле на острове в пригороде Виктории и мне было 17км до офиса. Была велодорожка, и если летом я доезжал за час комфортно, то в дождь и ветер было тяжело, да ещё сумки с кимоно и другим барахлом. Решение было электро велосипед. Они были ещё не очень популярны, и я заказал на AliExpress Bafang Kit. У меня было 4 разных кита, разные батареи и моторы. Главный +, что можно поставить на любой велосипед, мотор у меня втыкался в отверстие для педалей, вот пример. Скорость была до 45км/ч и я приезжал на 15-20 мин быстрей (много светофоров). Я даже думал делать бизнес, устанавливать на велики моторы, но канадцы какие-то капризные и жадные клиенты. Когда стал работать удаленно, все продал за также деньги, что и купил. (Мотор+велосипед). Самый крутой велик о котором я мечтал это Trek из Америки( там нет ограничения на 32км/ч). За эти деньги можно купить Honda civic в хорошем состоянии.
Сейчас мы на большой земле и теперь я могу пользоваться sky train (метро), но чтобы не ходить пешком до метро и от метро, я выбирал себе электро самокат, и нашел действительно хороший, один из лучших по качеству и с большим запасом батареи segway nineboot max. Сегодня на нем отвёз детей в школу (7 и 9) лет и мы трое более менее комфортно доехали. А у вас как с техникой?
В Канаде велосипед довольно популярен, особенно в Британской Колумбии, где нет зимы. Раньше мы жиле на острове в пригороде Виктории и мне было 17км до офиса. Была велодорожка, и если летом я доезжал за час комфортно, то в дождь и ветер было тяжело, да ещё сумки с кимоно и другим барахлом. Решение было электро велосипед. Они были ещё не очень популярны, и я заказал на AliExpress Bafang Kit. У меня было 4 разных кита, разные батареи и моторы. Главный +, что можно поставить на любой велосипед, мотор у меня втыкался в отверстие для педалей, вот пример. Скорость была до 45км/ч и я приезжал на 15-20 мин быстрей (много светофоров). Я даже думал делать бизнес, устанавливать на велики моторы, но канадцы какие-то капризные и жадные клиенты. Когда стал работать удаленно, все продал за также деньги, что и купил. (Мотор+велосипед). Самый крутой велик о котором я мечтал это Trek из Америки( там нет ограничения на 32км/ч). За эти деньги можно купить Honda civic в хорошем состоянии.
Сейчас мы на большой земле и теперь я могу пользоваться sky train (метро), но чтобы не ходить пешком до метро и от метро, я выбирал себе электро самокат, и нашел действительно хороший, один из лучших по качеству и с большим запасом батареи segway nineboot max. Сегодня на нем отвёз детей в школу (7 и 9) лет и мы трое более менее комфортно доехали. А у вас как с техникой?
Fivetran - облачный ETL (или лучше сказать ELT), который работает с Snowflake, Redshift, Big Query и другими, а так же очень хорошо работает вместе с dbt tool, будет проводить конференцию по европейскому времени - The Modern Data Stack
Fivetran
The Modern Data Stack Conference EMEA
[Join us for The Modern Data Stack Conference EMEA 2021!]