Ещё один хардкорный доклад про UDF в Spark. Но тут Андрей Титов идёт со стороны pySpark и дополняет недостающие варианты UDF.

Т.е. можно отсортировать все варианты реализации UDF от самого медленного до самого быстрого и будет так:
Python UDF (Обычная)
↓
Pandas UDF
↓
Scala UDF
↓
Spark Expression (Native UDF)

И в докладе затрагиваются первые 3.

Сначала объясняется почему в целом тормозит PySpark и более подробно про udf на питоне.

(Тут было супер интересно, потому что сейчас в команде всё на Scala и я даже не задумывался о том, как Python код запускается на JVM машине и почему это тааак медленно)

Немного затронул Apache Arrow и Pandas UDF

После рассказывает как писать Scala UDF, чтобы их можно было удобно использовать из PySpark. И как делать сложную логику в udf, например сходить в бд.

DE++ от Валентина

Apache Arrow

Ну и тогда в догонку обзорный доклад про Apache Arrow

Я как слоупок только недавно решил узнать что это за формат. Хотя он довольно давно уже мелькал то тут, то там в моём поле зрения.

В Spark'е он тоже есть. Как минимум в Pandas UDF и в Spark Connect. Из-за этого и решил разобраться.

Вот тут полный список проектов где он используется

DE++ от Валентина

All You Need to Know About PyFlink

Отличная статья по PyFlink, которая полностью оправдывает своё название.

Тут вместе идёт теория и практика.
По теории рассматриваются: базовые понятия Flink, архитектура, различие Streaming и Table API и тд.
По практике есть куски кода, как правильно запускать Flink и советы, чтобы вариант на питоне был не сильно хуже варианта на Java.

У них же есть курсы по стримингу и Table API. Я посмотрел половину одного курса и могу сказать, что они короткие, но очень плохие.
- Посмотреть видео из середины на нужную тему нельзя, они заблокированы
- Девушка читает скрипт под картинки, потом нудный тест на модуль
- 0 практики
Не советую. Тот самый момент, когда лучше потратить время на доку.

В следующем посте допишу мои субъективные ощущения от работы с PyFlink и как это я мог отвлечься от познания глубин Спарка.

Ссылка на отстойные курсы

DE++ от Валентина

Сегодня стартует Data+AI Summit
Кто планирует смотреть?
Могу позволить себе только бесплатную секцию, которая будет 12-13 июня🤧

Интересно всего пара докладов
Точно хочу:
Data warehousing performance, scale and security with Databricks SQL - перформанс, это значит сразу смотрим

меньше:
Introduction to Mosaic AI: How Databricks Simplifies Your GenAI Journey - очень много про этот мозаик говорят, интересно понять есть ли что-то полезное в этом
How to create a holistic customer view to drive performance and revenue - может быть быть тоже что-то будет полезное

Ладно, на самом деле тут не очень много рассказывать

В этом квартале меня добавили на полставки в проект, который призван упростить написание стриминг приложений на PyFlink. А-ля, такая обертка на декораторах поверх Flink’a.

Пока не ясно насколько проект жизнеспособен. Но я смог попробовать Flink и Kafka. И теперь точно не туплю при написании декораторов. Так что я уже доволен.

В целом, ощущения положительные, очень удобно писать map’ы и flatMap’ы над потоком. Всё просто и понятно. Но только до тех пор, пока нужно только что-то стандартное. Если надо сделать, то чего в Python API нет, то придётся делать уже больше, чем если бы писать только на Java.

Например:
Мне из сообщения {“id”, “field1”, “field2”} нужно было “field1” сделать ключом в сообщении в кафке. У Java API можно просто написать лямбду, которая это делает. В реализации PyFlink такое не предусмотрено.

И тут уже придётся делать больше, чем просто написать такое же на Java.
Для лучшего варианта без костылей и лишних трансформаций, пришлось сделать:
1) Вытащить из сорцов флинка, код сериализации
2) Подправить пару строчек
3) Упаковать в Jar и написать обёртку для Python на Py4j.
Это не особо трудно, но это надо будет сделать. А если вы такое можете сделать, то может и сразу на Java писать?)
Лучше только сделать PR в сам Flink, но извини, моё сердце пока занято спарком🫀

Доп:
Сравнение скорости PyFlink.
В статье выше написано, что если использовать только стандартные вещи из PyFlink Table API, то перформанс будет прямо таким же, как и Flink на Java, но мы это не замеряли.

По стримингу же всё грустно. Внутренние замеры показали, что простейшая перекладка из кафки в кафку с/без простой трасформации на pyFlink в 10 медленнее. На истинность не претендую, но похоже на правду, учитывая, сколько там всего сериализуется туда-сюда.

DE++ от Валентина

Пока досматриваю последние интересующие доклады c Data+AI Summit, расскажу про лучший доклад про реализацию кастомного DataSource для Spark.

В докладе нет примеров с кодом, а показана общая идея и какие классы DataSource APi нужно реализовать.
(Код для конкретного источника всё равно слишком специфичный и в доклад это не уместишь)

Так что полезно будет даже если не планируется писать свой DS, но хочется понять как примерно спарк работает с любым источником данных.

Весь код в общей репо SPYT (Spark Over YT)
live coding DS от Яцека с кодом

DE++ от Валентина

Досмотрел Data+AI Summit 2024!

Выбирал кандидатов на просмотр так: все доклады уровня "Advanced" и Трек "Data Engineering and Streaming" уровня "Intermediate"

Формат:
Ссылка на доклад - ссылка на ютуб (чтобы смотреть без впн) - почему показалось интересно

Посмотрел
Data Warehousing Performance, Scale and Security with Databricks SQL - Видео - Доклад для Data Platform инженеров и оптимизации нацелены не на конкретный Spark App, а на dwh в целом: использовать Proton, Liquid Clustering. Следить за теми кто плохие запросы пишет и тд.

🔥Variant Data Type - Making Semi-Structured Data Fast and Simple - Видео - Про новый тип Variant. Новая вещь. Доклад с тех подробностями, картинками - кайф.

Optimizing MERGE Performance using Liquid Clustering - Видео - оптимизация хранение файлов. Сравнение Partitioning/Z-ordering и Liquid Clustering, Deletion Vectors, Bloom Filter

👍🏻Introducing the New Python Data Source API for Apache Spark - Видео - Data Source API на Python. Понял зачем его добавили. Интересно, посмотрим насколько это приживётся.

Databricks Streaming: Project Lightspeed Goes Hyperspeed - Видео - анонс Real-time стриминга и новые возможности Structured Streaming

👍🏻Drastically Reducing Processing Costs with Delta Lake - Видео - Повторение про Z-ordering и DV
Узнал когда и зачем нужно смотреть на вкладку Thread Dump
Сделали проект с примерами проблемных мест производительности spark-perf-hikes

Benchmarking Data and AI Platforms: How to Choose and use Good Benchmarks - Видео - про бенчмарки для Data платформ.

🔥Deep Dive into Delta Lake and UniForm on Databricks - Видео - про то что такое Delta Lake, основные идеи как это работает и конкретные фичи (опять Liquid Clustering), UniForm. Как Hadoop-Enjoyer игнорировал это поры до времени игнорил всё это и доклад хорошо подошел для входа.

👍🏻Architecture Analysis for ETL Processing: CPU vs GPU - Видео - Про ускорение ETL на GPU с помощью RAPIDS. Подробнее, но давненько было на Moscow Spark #10.



Глянул
What’s Next for the Upcoming Apache Spark 4.0? - Видео - что будут в Spark 4.0. Много повторений, но очень интересно про PySpark UDF Unified Profiler

Unit Tests: How to Overcome Challenges in Structured Streaming - Видео - У меня маловато опыта в стриминге. Поэтому было интересно

Ten-Times Easier Development Using Databricks Connect and Serverless Spark - Видео - Разработка через Databricks Connect прямо на кластере. Зависть к эти облачникам🤧

SQL Programming on Databricks - Видео - интересные возможности Databricks SQL

Sponsored by: Datafold | Shifting Data Quality to the Left: Automating Data Testing on Databricks - Видео - крутая вещь, запускать код над датасетами при каждом PR. Сам хотел такое костылить на первой DE работе.

Sponsored By: Dagster Labs | Dev/Stage/Prod is the Wrong Pattern for Data Pipelines - Видео - версионирование своих дата пайплайнов.

An In Depth Look at the New Features of Apache Spark 3.5 - Видео - Что нового в Spark 3.5. Много полезного для PySpark.

DE++ от Валентина

Почему плохо писать много .withColumn в Spark

Если коротко:
На каждое использование .withColumn() создаётся новая версия Dataframe на этапе "Analyzed Logical plan" и Catalyst'у приходится обходить каждую.

Да, это влияет только на скорость построенния плана (в физическом плане уже лишних Project Node нет), но это полезно помнить, если у вас много преобразований или стриминг.

Так что, используем .withColumns(), если Spark >= 3.3
Или .select() c .selectExpr()


Если длинно:
Вот тут в статье всё расписано. И ещё создание плана замеряли через RuleExecutor, я не знал, полезно.
How withColumn Can Degrade the Performance of a Spark Job?

И ещё посты Sem Sinchenko где я в первый раз эту оптимизацию и увидел: Раз, Два. Он и flake плагин написал для pySpark, который эти проблемы находит. И картинку в посте тоже он нарисовал🤌🏻

DE++ от Валентина

Когда .coalesce() хуже .repartition()?

Не самое сакральное знание, но точно ещё не все знают, так что лучше напишу

Стандартный вопрос на собесе "чем .coalesce() отличается от .repartition()" и со стандартным ответом, что .coalesce() не делает полный шаффл, а только "склеивает" партиции вместе, подразумевая, что coalesce лучше и надо стараться использовать его.

НО
из-за плохо задокументированной возможности спарка прокинуть его ниже по плану, coalesce может сильно уменьшить параллелизм тех операций, которые вы не хотели. filter, как самый главный пример.

Вот тут челики из AirBnb это описывали
И в комментах у Валеры тоже это упоминали


Так что аккуртнее делайте .coalesce(1) перед записью файлика.

Может быть когда-нибудь я раскапаю как и почему так сделано, но точно не сегодня. Пойду снова на полгода пропаду, сильно не теряйте💋

DE++ от Валентина