Fivetran - облачный ETL (или лучше сказать ELT), который работает с Snowflake, Redshift, Big Query и другими, а так же очень хорошо работает вместе с dbt tool, будет проводить конференцию по европейскому времени - The Modern Data Stack
Fivetran
The Modern Data Stack Conference EMEA
[Join us for The Modern Data Stack Conference EMEA 2021!]
Delta Lake новый релиз - версия 1.0.0 https://github.com/delta-io/delta/releases/tag/v1.0.0
GitHub
Release Delta Lake 1.0.0 · delta-io/delta
We are excited to announce the release of Delta Lake 1.0.0 on Apache Spark 3.1. The key features in this release are as follows.
Unlimited MATCHED and NOT MATCHED clauses for merge operations in ...
Unlimited MATCHED and NOT MATCHED clauses for merge operations in ...
Forwarded from Roman Zykov
Ребята, привет!
У нас на звонке спрашивали про автограф на книгу
Автор книги "Роман с Data Science. Как монетизировать большие данные" Роман Зыков проведет автограф-сессию.
Она пройдет в Москве в книжном магазине Республика на Маяковской 27 мая (четверг) c 19:00 до 21:00. Автор также даст бесплатные консультации по теме анализа данных в бизнесе. В самом магазине будут в наличии экземпляры книги, которые можно приобрести. Количество ограничено. Не забудьте маски.
Адрес: Москва, м. Маяковская, ул. 1-я Тверская-Ямская, 10. Книжный магазин "Республика".
Дата и время: 27 мая с 19:00 до 21:00
У нас на звонке спрашивали про автограф на книгу
Автор книги "Роман с Data Science. Как монетизировать большие данные" Роман Зыков проведет автограф-сессию.
Она пройдет в Москве в книжном магазине Республика на Маяковской 27 мая (четверг) c 19:00 до 21:00. Автор также даст бесплатные консультации по теме анализа данных в бизнесе. В самом магазине будут в наличии экземпляры книги, которые можно приобрести. Количество ограничено. Не забудьте маски.
Адрес: Москва, м. Маяковская, ул. 1-я Тверская-Ямская, 10. Книжный магазин "Республика".
Дата и время: 27 мая с 19:00 до 21:00
When we look at companies with mature data practices, we only see the final, stable metrics and dashboards. However, simple metrics like "What is the unique user count for this week"? the definition of unique can have multiple answers, and make no mistake, they all more or less correct. Are metrics real? Are we creating an analytical mess with multiple definitions of metrics? The author narrates how it's not only normal, but it's also necessary.
https://benn.substack.com/p/analytics-is-a-mess
https://benn.substack.com/p/analytics-is-a-mess
benn.substack
Analytics is a mess
You can’t stop it, and you shouldn’t try to contain it.
Forwarded from Xbox fans - новости Xbox и Microsoft Gaming
В этом году Xbox исполняется 20 лет! https://www.xbox.com/en-CA/20-years-of-xbox
Работа из дома, как все знакомо... https://youtu.be/Rgx8dpiPwpA
YouTube
a day in the life of an engineer working from home
Check out my new vlog channel: https://www.youtube.com/channel/UCmMGlb7mGXYVthrXYSwlQhw
Follow my newsletter: https://jomakaze.substack.com/
Music by Joy Ngiaw:
https://www.joyngiaw.com/
https://www.instagram.com/joyngiaw/
📱 SOCIAL MEDIA
▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀…
Follow my newsletter: https://jomakaze.substack.com/
Music by Joy Ngiaw:
https://www.joyngiaw.com/
https://www.instagram.com/joyngiaw/
📱 SOCIAL MEDIA
▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀…
Databricks в журнале Forbes
Forbes
Accidental Billionaires: How Seven Academics Who Didn’t Want To Make A Cent Are Now Worth Billions
Databricks CEO Ali Ghodsi and his cofounders weren’t interested in starting a business, and even less interested in making a profit on the tech. Eight years later, at least three are billionaires.
Возможно вы слышали, что Амазон купил старейшую студию MGM https://press.aboutamazon.com/news-releases/news-release-details/amazon-and-mgm-have-signed-agreement-amazon-acquire-mgm
Чтобы добавить больше контента в Amazon Prime и догнать (может и обогнать Netflix и Disney). На картинке страница из свежей книги, где в 2004 году похожую идею обсуждали про Kindle.
Так же действует и Xbox, покупая крутые студии.
Чтобы добавить больше контента в Amazon Prime и догнать (может и обогнать Netflix и Disney). На картинке страница из свежей книги, где в 2004 году похожую идею обсуждали про Kindle.
Так же действует и Xbox, покупая крутые студии.
Вы слышали про Chrome Music Lab? Дети в школе изучают, можно послушать как звучит слова data или сделать свое что-нибудь, а детям будет вообще интересно. https://musiclab.chromeexperiments.com/Song-Maker/song/5422805158461440
Chromeexperiments
Chrome Music Lab - Song made May 28, 2021
Check out this song created with Song Maker.
И последняя полезная ссылка, тоже из школы, я обожаю этот ресурс https://www.getepic.com/app/
Это что-то вроде библиотеки детских книжек, где есть разные уровни. У меня дочь в 6 лет научилась читать сама по ней, можно выбрать книжки с картинками на любую тему, и вам будут их читать с выражением и каждое слово выделять, а вы можете повторять. Для детей must have! Да и взрослым должно подойти, кто только начинает изучать язык. Из всех школьных программ это моя самая любимая! Есть ещё https://ca.ixl.com/ там как игра RPG с заданиями, но так себе.
Это что-то вроде библиотеки детских книжек, где есть разные уровни. У меня дочь в 6 лет научилась читать сама по ней, можно выбрать книжки с картинками на любую тему, и вам будут их читать с выражением и каждое слово выделять, а вы можете повторять. Для детей must have! Да и взрослым должно подойти, кто только начинает изучать язык. Из всех школьных программ это моя самая любимая! Есть ещё https://ca.ixl.com/ там как игра RPG с заданиями, но так себе.
Epic - Books for Kids
Instant access to thousands of great kids books.
Хочу вам рассказать про интересную технологию - Azure Data Explorer. Это аналог Splunk и Elastic Search/Log Stash.
В статье есть история продукта и его кодовое название - Kusto, в честь того самого водолаза (я в детстве смотрел по телевизору его погружения). История началась с 4х разработчиков Power BI, которым надо было делать troubleshooting.
Сейчас это отдельный продукт, которой может собирать и хранить структурированные, полу и не структурированные данные. Может писать в него огромное количество данных и сразу писать к ним запросы языком KQL. Хорошо развита text analytics и есть функции ML.
Идеально подходит для логов и телеметрии. Но в Microsoft Gaming многие студии используют его вместо data platform и из палок и секретного ингредиента создают BI решение, которое работает.
Я всегда разделяю аналитику на операционную и на обычную (DW, big data, Lakehouse, data platform). Операционная удобна для быстрого доступа к текущим данных, почти как стриминг. Мы можем писать все логи и телеметрию и получаем доступ к данным с задержкой в секунды. Разработчики игр и QA могут легко отлавливать баги в реальном времени, что удобно, а вот для серьезного аналитического решения этого не хватает.
PS Но так то, можно и экселем обойтись. Не бывает хорошего и плохого решения, бывает более удобное и менее удобное. Кому с чем удобней.
В курсе я хочу рассмотреть операционную аналитику на примере Splunk и Azure Data Explorer (модуль 6 или 8).
В статье есть история продукта и его кодовое название - Kusto, в честь того самого водолаза (я в детстве смотрел по телевизору его погружения). История началась с 4х разработчиков Power BI, которым надо было делать troubleshooting.
Сейчас это отдельный продукт, которой может собирать и хранить структурированные, полу и не структурированные данные. Может писать в него огромное количество данных и сразу писать к ним запросы языком KQL. Хорошо развита text analytics и есть функции ML.
Идеально подходит для логов и телеметрии. Но в Microsoft Gaming многие студии используют его вместо data platform и из палок и секретного ингредиента создают BI решение, которое работает.
Я всегда разделяю аналитику на операционную и на обычную (DW, big data, Lakehouse, data platform). Операционная удобна для быстрого доступа к текущим данных, почти как стриминг. Мы можем писать все логи и телеметрию и получаем доступ к данным с задержкой в секунды. Разработчики игр и QA могут легко отлавливать баги в реальном времени, что удобно, а вот для серьезного аналитического решения этого не хватает.
PS Но так то, можно и экселем обойтись. Не бывает хорошего и плохого решения, бывает более удобное и менее удобное. Кому с чем удобней.
В курсе я хочу рассмотреть операционную аналитику на примере Splunk и Azure Data Explorer (модуль 6 или 8).
Azure Blog
Azure Data Explorer Technology 101 | Azure Blog | Microsoft Azure
For our own troubleshooting needs, the Azure Data Explorer team wanted to run ad-hoc queries on the massive telemetry data stream produced by our service. Finding no suitable solution, we decided to create one.
Когда начался кипишь по Data Science в 2012-2013 году, было 2 супер книжки по этой теме, и они все еще актуальны:
Doing Data Science - в этой книги мне понравилось как автор искал Data Modeller для DS, и попадались только DW data modeller и они поняли, что это вообще разные вещи))
Data Science for Business
Эти книжки можно легко найти в PDF.
Doing Data Science - в этой книги мне понравилось как автор искал Data Modeller для DS, и попадались только DW data modeller и они поняли, что это вообще разные вещи))
Data Science for Business
Эти книжки можно легко найти в PDF.
26 мая был Google Data Cloud Summit, можно посмотреть запись.
Withgoogle
Data Cloud Summit
Join us to learn how leading companies are powering innovation with our data solutions. Attend sessions, demos, and live Q&As to discover how data can help you make smarter business decisions and solve your organization’s most complex challenges. Register…
Principal Engineer.pdf
563.1 KB
Презентация - Principal Engineers - Who Needs Them? Интересные bullet points. Сама презентация про SDE, но для DE тоже подойдет.
Для меня это идеальная карьерная цель стать Principal Data Engineer в Microsoft или Amazon, не знаю насколько она реальная, но точно хорошая альтернатива менеджера и по $ не обижают😎
Для меня это идеальная карьерная цель стать Principal Data Engineer в Microsoft или Amazon, не знаю насколько она реальная, но точно хорошая альтернатива менеджера и по $ не обижают😎