FP vs OOP

There is open-source .NET binding for Apache Spark to use with C# and F# in case you are in .NET ecosystem.
https://dotnet.microsoft.com/apps/data/spark

Great conversation with creator of #Python
https://podcasts.google.com/?feed=aHR0cHM6Ly9sZXhmcmlkbWFuLmNvbS9mZWVkL3BvZGNhc3Qv&ep=14&episode=aHR0cHM6Ly9sZXhmcmlkbWFuLmNvbS8_cD0zNzc2

I didn't know there was a Star wars version adapted for command line 😀 Just open your favorite terminal and paste
telnet towel.blinkenlights.nl

Что читать DE в телеге?

Сегодня подборка полезных TG-каналов для дата-инженера:

• Инжиниринг данных https://news.1rj.ru/str/rockyourdata Канал Дмитрия Аношина, эксперта по BI. Автор также ведет курс datalearn.ru, где обучает дата-инжиниринг (бесплатно)
• Data Eng https://news.1rj.ru/str/dataeng Всё, что вы хотели знать про построение инфраструктуры для хранения, обработки и эффективного анализа гигантского объёма данных.
• Moscow Spark https://news.1rj.ru/str/moscowspark Чат московского community Apache Spark.
• DE or DIE Chat https://news.1rj.ru/str/deordie_chat Чат сообщества DE or DIE, созданный дата инженерами. Поддерживают ребята из DoDo Engineering. Проводят митапы DE or DIE вместе с NewProLab
• Smart Data https://news.1rj.ru/str/smart_data_channel Канал про Data Engineering, аналитику и данные.
• Я у мамы Data Engineer! https://news.1rj.ru/str/ohmydataengineer
• Data online events & Moscow meetups https://news.1rj.ru/str/data_events Очень полезный канал - все ивенты, связанные с данными
• Data jobs feed https://news.1rj.ru/str/datajobschannel Канал с вакансиями в сфере обработки данных (инженеры, аналитики). Полезно для понимания тенденций на рынке и востребованных навыков

Если знаете еще полезные каналы - пишите в комментариях!

I would say yes 😉
https://towardsdatascience.com/should-you-become-a-data-engineer-in-2021-4db57b6cce35

В новом выпуске подкаста TalkPython гостем стал ведущий другого подкаста про Data Engineering — Tobias Macey.
Подкаст получился обзорным и интересным — The Data Engineering Landscape in 2021

Top 15 Scala Libraries for Data Science in 2021 | Scalac.io
https://scalac.io/blog/top-15-scala-libraries-for-data-science-in-2021/

Про data engineering для тех, кто не в теме: https://www.youtube.com/watch?v=qWru-b6m030
Классное вводное видео.

Cloud Data Warehousing: Understanding Your Options
https://www.datanami.com/2021/04/01/cloud-data-warehousing-understanding-your-options/?utm_source=rss&utm_medium=rss&utm_campaign=cloud-data-warehousing-understanding-your-options

Azure ecosystem

Лучшие практики использования SQL по версии Metabase.

Некоторые советы действительно ценные. Из того, что реально встречалось на практике особенно выделил бы один, так как в свое время удалось существенно оптимизировать время выполнения запроса:
Prefer EXISTS to IN
If you just need to verify the existence of a value in a table, prefer EXISTS to IN, as the EXISTS process exits as soon as it finds the search value, whereas IN will scan the entire table. IN should be used for finding values in lists.

Metabase довольно интересный инструмент, на одном из проектов используем его, надо бы записать видео в продолжение Гайда по BI.
Если у кого-то есть время и интерес поисследовать Metabase, а также записать видео, пишите мне в DM: @valiotti.

Here are more than 100 free course from Microsoft about #DataEngineering, #DataScience and #DataAnalytics. Many of them are #Azure related but also many focus on general knowledge in mention fields.
https://docs.microsoft.com/en-us/learn/browse/?terms=data&roles=ai-engineer%2Cdata-analyst%2Cdata-engineer%2Cdata-scientist

Interesting long read about databases for website analytics. Besides telling about their experience of choosing right solution, author describes migration process and different options. However, he doesn't mention Druid which I think can be a good fit.
https://usefathom.com/blog/worlds-fastest-analytics

Credits to: https://news.1rj.ru/str/rockyourdata/2448