New #opensource projects from #AWS #LinkedIn and #Netflix:
1. Optimizing data warehouse storage
2. FastIngest: Low-latency Gobblin with Apache Iceberg and ORC format
3. Testing data quality at scale with PyDeequ

Data visualization tools comparison from Dropbox.
https://dropbox.tech/application/why-we-chose-apache-superset-as-our-data-exploration-platform

It seems Apache Iceberg is gaining momentum. So it worths getting familiar with it.
https://www.dremio.com/data-lake/apache-iceberg/

I would like to continue the topic with this article on CAP theorem.

#job #datascientist #dataengineer
Sophron Engineering is looking for Data Scientists and Data Engineers to join a highly
experienced international team at a respectable Insurance company and work on
interesting, long-term project.
🔷Interested?
Find the details about the job here:
🔹Data Scientist http://bit.ly/3q8fRgW
🔹Big Data Engineer https://bit.ly/2Z0JhRY
Sophron Engineering CJSC
https://sophron.ai
https://www.linkedin.com/company/sophron-engineering
All interested candidates can contact @elyapapyan or submit their CVs to
careers@sophron.co📩

How to Learn Data Science in 2020 | Python, R, SQL, Data Viz | Towards Data Science
https://towardsdatascience.com/how-to-teach-yourself-data-science-in-2020-f674ec036965?gi=ccbaf7162d8c

I am not a big fan of JavaScript but learning how it was created from creator himself is really interesting. And generally a great conversation about privacy and browsers.
https://podcasts.google.com/?feed=aHR0cHM6Ly9sZXhmcmlkbWFuLmNvbS9mZWVkL3BvZGNhc3Qv&ep=14&episode=aHR0cHM6Ly9sZXhmcmlkbWFuLmNvbS8_cD00NTI2

FP vs OOP

There is open-source .NET binding for Apache Spark to use with C# and F# in case you are in .NET ecosystem.
https://dotnet.microsoft.com/apps/data/spark

Great conversation with creator of #Python
https://podcasts.google.com/?feed=aHR0cHM6Ly9sZXhmcmlkbWFuLmNvbS9mZWVkL3BvZGNhc3Qv&ep=14&episode=aHR0cHM6Ly9sZXhmcmlkbWFuLmNvbS8_cD0zNzc2

I didn't know there was a Star wars version adapted for command line 😀 Just open your favorite terminal and paste
telnet towel.blinkenlights.nl

Что читать DE в телеге?

Сегодня подборка полезных TG-каналов для дата-инженера:

• Инжиниринг данных https://news.1rj.ru/str/rockyourdata Канал Дмитрия Аношина, эксперта по BI. Автор также ведет курс datalearn.ru, где обучает дата-инжиниринг (бесплатно)
• Data Eng https://news.1rj.ru/str/dataeng Всё, что вы хотели знать про построение инфраструктуры для хранения, обработки и эффективного анализа гигантского объёма данных.
• Moscow Spark https://news.1rj.ru/str/moscowspark Чат московского community Apache Spark.
• DE or DIE Chat https://news.1rj.ru/str/deordie_chat Чат сообщества DE or DIE, созданный дата инженерами. Поддерживают ребята из DoDo Engineering. Проводят митапы DE or DIE вместе с NewProLab
• Smart Data https://news.1rj.ru/str/smart_data_channel Канал про Data Engineering, аналитику и данные.
• Я у мамы Data Engineer! https://news.1rj.ru/str/ohmydataengineer
• Data online events & Moscow meetups https://news.1rj.ru/str/data_events Очень полезный канал - все ивенты, связанные с данными
• Data jobs feed https://news.1rj.ru/str/datajobschannel Канал с вакансиями в сфере обработки данных (инженеры, аналитики). Полезно для понимания тенденций на рынке и востребованных навыков

Если знаете еще полезные каналы - пишите в комментариях!

I would say yes 😉
https://towardsdatascience.com/should-you-become-a-data-engineer-in-2021-4db57b6cce35