🔋 Труба данных – Telegram
🔋 Труба данных
3.99K subscribers
330 photos
5 videos
9 files
449 links
Авторский канал обо всем, что происходит в мире работы с данными: хранение, обработка, визуализация, как мы принимаем решения и как мы становимся профессионалами в работе с данными.

Автора канала - @SimonOsipov
Download Telegram
Forwarded from Reveal the Data
💰Результаты опроса про зарплату
Закончили с Арсеном обработку данных и дашборд по результатам опроса аналитиков. Мне нравится что получилось. Опрос прошли 323 человека, этого достаточно, чтобы накопать интересных фактов и оценить разницу доходов между разными уровнями должностей и направлениями.

Вот, что я заметил:
— 66% процентов опрошенных довольны или скорее довольны своей зарплатой, но при этом все опрошенные хотели бы получать примерно на 50 тысяч больше в независимости от своей удовлетворенности.
— Для аналитиков данных каждый следующий уровень (Junior → Middle → Senior → Team lead) приносит по 100К дополнительного чистого дохода начиная с зп в 106К для Junior специалиста.
— С количеством лет работы растёт и зарплата. Но если смотреть в разрезе отдельных уровней, то опыт уже не так сильно влияет на зарплату. А бывает даже и наоборот, например, senior специалисты с 3-6 годами зарабатывают больше тех, кто работает 6+ лет. То есть платят всё-таки не за формальный опыт в количестве лет, а именно за уровень взятой ответственности и навыков.
— Джуны и мидлы считают, что для увеличения зарплаты необходимо в первую очередь прокачивать хард-скилы, а вот сеньоры и лиды видят для себя ценность в развитии софт-скилов (ну или просто перейти в другое место работы =). В целом это логично, и хочется подсветить это тем, кто сейчас на границе мидл → сеньор-помидор. Для этого перехода будут очень нужны те самые софт-скилы, до которых часто не доходят руки.

Посмотреть и сделать выводы самому в
👉 дашборде 👈 (лучше с десктопа =)

А еще проходите опрос, чтобы обогатить данные, это можно сделать через форму. Это будет полезно, потому что чуть позже сделаю сравнение между реальными зарплатами и предложениями на HH.

Если работаете с HR-аналитикой, заглядывайте к Арсену в канал, например, недавно был вебинар как построить HR-дашбороды в DataLens.

P.S. Спасибо всем, кто прошел опрос!
@revealthedata @hr_data
👍20💩61🔥1
https://www.figma.com/blog/how-figmas-databases-team-lived-to-tell-the-scale

Очень удивительная история из технического блога Figma о том, как они скалировали свои базы данных.
Поправочка: до 2020 у них был один инстанс Postgres вообще! 😳

Шардинг, партишенинг, вот это вся мяготка тут.

@ohmydataengineer
👍9🔥4💩21
Forwarded from Осторожно, карьерные работы! (Simon Osipov)
Пришло мне тут такое письмо от автора самой популярной платной новостной рассылки для айтишников:

Hi - this is Gergely, author of The Pragmatic Engineer Newsletter.

Last year, in April 2023, you shared details in the Tech Leader Compensation survey, conducted by The Pragmatic Engineer and VC firm Creandum. Creandum has since published their report, and today I'm publishing an in-depth look at these numbers. You can view details of this report here.

Делюсь c вами зарплатой лидов в этих ваших Европах.

@career_works
💩13👍7🔥21
Нас скоро всех заменят 😄

https://twitter.com/raunakdoesdev/status/1769066769786757375

Если вы не поняли из скриншотов, Steven дал доступ к своему аккаунту софтинке по имени Devin (отсюда игра слов Steven + Devin -> Deven) и та успешна пофиксила баг, при этом после прочтения документации задала дополнительный вопрос поддержке =)

Про Devin интернет трещит уже неделю - https://www.cognition-labs.com/introducing-devin

@ohmydataengineer

(p.s. напомнило последний сезон The Silicon Valley и бота Гилфойла)
(p.s. 2: советую посмотреть вот это видео если вы вдруг начали переживать https://www.youtube.com/watch?v=80MPXoRHvK8 по этому поводу)
💩7👍21🔥1
Пятничный юмор или как совет директоров попросил AI внедрить 😂 (true story)

@ohmydataengineer
😢19👍13💩42🔥1
https://boehs.org/node/everything-i-know-about-the-xz-backdoor

Всю прошлую неделю (и скорее всего, текущую тоже), Tech часть интернета будет бухтеть про XZ уязвимость, или, как ее прозвали "Бекдор для всего интернета". 2 года подготовки и ребятам почти удалось, но один из специалистов заметил проблемки с перформансом ssh (работал на 500 ms дольше), пошел разбираться и наткнулся на очень много интересного.

@ohmydataengineer
💩7👍64🔥1
https://mattturck.com/landscape/mad2024.pdf

Стабильный гость этого канала - MAD 2024 - Machine Learning, AI & Data Landscape.

@ohmydataengineer
💩19👍7🔥51
https://www.astronomer.io/state-of-airflow/

Астрономер выкатил репорт про текущее состояние Airflow. Если кратко - все хорошо у него, по скорость развития и контрибьюшенов опережает Spark и Kafka.

Ссылку сначала увидел у @dataexplorers, а потом у себя в почте.

@ohmydataengineer
12💩9👍3🔥3
Очень долго смеялся и плакал 😳

(ибо это все до боли знакомо)
2💩2
Forwarded from В IT чудес не бывает (Maxim Shulga)
Тема недели в #it_memes
🔥15💩4👍32
https://medium.com/intuit-engineering/how-intuit-data-analysts-write-sql-2x-faster-with-internal-genai-tool-c3b9d482208a

В продолжении прошлого пятничного мема, количество платформ и сервисов, которые за денюжку, подключиться к DWH и делать там запросики - увеличилось в 10 раз. И стоит это много, а вот поднять простенький https://huggingface.co/tsdocode/text-to-sql и натравить на мету - не, спасибо.

В статье, кстати, описан второй подход и оч даже хорошие результаты.

@ohmydataengineer
👍6💩3
https://github.com/airbnb/chronon

Airbnb выложил в открытый доступ то ли фичастор, то ли аггрегатор семантического слоя, то ли что то для AI 😂

Chronon is a platform that abstracts away the complexity of data computation and serving for AI/ML applications. Users define features as transformation of raw data, then Chronon can perform batch and streaming computation, scalable backfills, low-latency serving, guaranteed correctness and consistency, as well as a host of observability and monitoring tools.

It allows you to utilize all of the data within your organization, from batch tables, event streams or services to power your AI/ML projects, without needing to worry about all the complex orchestration that this would usually entail.

More information about Chronon can be found at chronon.ai.

@ohmydataengineer
💩82🔥2👍1
Коллеги делятся прекрасным из IL рынка бихдаты!


@ohmydataengineer
💩14😢111🔥1
Пятничный юмор!

Не постил ничего почти месяц. А вас стало только больше 😱
Пора возвращаться в ритм.

@ohmydataengineer
🔥20😢11👍64💩3
https://blog.picnic.nl/7-antifragile-principles-for-a-successful-data-warehouse-574b655f0bc6

В последнее время приходится много делать архитектурных задач, поэтому вытаскиваю из списка "Прочитать позже" всякие статейки про архитектуру и подходы в проектировании.

@ohmydataengineer
👍6🔥43💩3
https://mattermost.com/blog/making-a-postgres-query-1000-times-faster/

Обычно мне кидают какашонков на то, что статьи оч поверхностные или, еще хуже, не релевантные.
Сегодня, надеюсь, не такая 😂

На деле, конечно, ничего необычного и без серебрянных пуль, просто было приятно и полезно читать ход чужих мыслей, когда люди дебажат долгие запросы.

@ohmydataengineer
👍15💩15
https://habr.com/ru/companies/lamoda/articles/810705/

К сожалению, в России инженерные блоги компаний ведутся на Хабре, а не на stand-alone ресурсах.
Однако это не мешает появлению там интересных статей с деталями и разборами.

Например, у Lamoda про Spark & Airflow.

@ohmydataengineer
👍9🔥4💩4👎1🥱1