💰Сколько ты зарабатываешь?

🌈 Зарегестрировался значит я в отечественном заменителе LinkedIn с названием Сетка. Название, конечно, треш.

🖥 Пока только осваиваюсь. Но уже наткнулся на интересный пост. Кто поучаствует в обсуждении здесь, тому в Новом Году обещаю пообещать повышение зарплаты на X2.

💎Также предлагаю обсудить идею такой сети. Повторит ли она судьбу ClubHouse?

🚗🎞НОВОГОДНИЙ выпуск: Дубайские модели, карьера, обучение, LeetCode и другие радости айтишника

🎩В последний рабочий день года последний подкаст в этом году. В выпуске говорим:
• о блогерстве
• о карьерном треке
• о технологиях и терминологиях
• о светлом будущем, в котором нас заменит искусственный интеллект
• о тухлых комментариях тех, кто не попал в IT

❤️Подписывайтесь на наши каналы:
• Ия, Team Lead DA: t.me/Lady_Analyst
• Евгений, DE: t.me/halltape_data

Если было полезно, весело, то поддержите наш проект донатами:
💲 pay.mysbertips.ru/92484472

🫥 Задача с собеса на 800к/месяц

Эй, миллионеры, что выведет следующий запрос?

SELECT *
FROM table
ORDER BY total DESC

#sql

🧐 По вакансии сверху писать сюда @denis_lomakov

🎞 JAVA-DEVELOPER: Кто такой Senior и что спрашивают на собесах
Гость: Анастасия Андреева, Senior Java Developer

Анастасия поделится:
• Кто такой senior разработчик и как им стать
• Честно о том, как проходила собесы и что не получилось
• Какие вопросы и задания даёт, когда сама проводит собеседования, поделится лайфхаками
• Расскажет зачем нужны алгоритмы и как использует искусственный интеллект

✅ Подписывайтесь на наши каналы:
• Ия, Team Lead DA: https://news.1rj.ru/str/Lady_Analyst
• Евгений, DE: https://news.1rj.ru/str/halltape_data
• Анастасия, Java Developer: https://news.1rj.ru/str/itdevgrl

Если было полезно, весело, то поддержите наш канал донатами:
💲 https://pay.mysbertips.ru/92484472

🧐 HDFS

Начинаю цикл постов про HDFS в стиле «для бабушек».

Hadoop Distributed File System (HDFS). В двух словах – это файловое хранилище. Или навороченный жесткий диск. Представьте, что вам каждый день надо сохранять 500Гб на жесткий диск. На домашнем компе у вас очень быстро закончится место. Придется докупать постоянно много жестких дисков. А куда их столько подключать? Портов не хватит! Поэтому люди начали строить дата центры.

Это здания, в которых стоят шкафы серверов. Т.е. это просто шкаф, в который можно поместить до 30-40 серверов. Каждый сервер выглядит, как полка в шкафу буквально. Сами сервера тоже соединены между собой. Сервер - это несколько жестких дисков (похожие на наши домашние), соединенные между собой. И также соединены между собой и сами шкафы через специальное устройство «типа роутера» или (свич-коммутатор).

В итоге мы имеем огромный кластер из серверов. Или очень большой жесткий диск. При том он еще и удаленный. Каждый сервер может иметь у себя на борту не только диски, но и процессоры, контроллеры и собственную операционную систему. В HDFS это Linux. И да, вы спокойно можете подключиться к любому из доступных вам серверов и полазить внутри него по файловой системе. Все знакомые команды в терминале также прекрасно работают и у них.

С каждым постом мы будет усложняться и углубляться в подробности. Пропускать пост нежелательно, чтобы потом не поехала крыша.

#hdfs

✅ Он шарит за всю Big Data Сбера!

Хочу порекомендовать канал Кости – дата инженера из моей команды! Он крайне эрудированный парень.. я вот сейчас реально не преувеличиваю. Шарит за многие технологии, языки и именно благодаря ему у меня сейчас крутится витрина данных на кластере. Без его помощи я бы тупил еще долго:)

Костя пишет не только про код, но и просто крайне полезные мысли. Вот мне например понравился отрывок:

…вы чувствуете что чего то не понимаете и упираетесь в стену. То не спешите менять тех стек и область своего изучения. Поспите день - другой, найдете того кто мог бы вам помочь и объяснить непонятный момент и так вы достигнете гораздо большего.
Это важно, потому что :
Вы столкнетесь с такими же проблемами и преградами в другом языке (это называется learning curve по умному)

Костя также относительно недавно делал deep dive по Airflow! В канале можете найти видеозапись презентации. Это у нас в команде мы проводим такие «сходки», когда кто-то один готовит материал по одной технологии и всем остальным рассказывает.

Короче качаем скиллы!
Еще раз ссылка
➡️https://news.1rj.ru/str/dataskewer

🎞 DATA АНАЛИТИК: Следователь продал авто и стал аналитиком | Интервью с Middle DA

Гость: Алексей Яцына, Middle Data Analyst, Сбер

Алексей в интервью поделится:
• Как продал свой Феррари авто и перешел из следователя в аналитики
• Как профессия следователя пересекается с аналитиком данных
• Какие курсы на аналитика прошел и какие оказались лучше. Карпов vs Я.Практикум
• Про стажировку и почему отказался от нее
• Почему нравится ходить по собесам и про первую работу в банке
• Про карьерный трек аналитка и куда хочет двигаться дальше

https://youtu.be/znR94HAbf9s

✅ Подписывайтесь на наши каналы:
• Ия, Team Lead DA: https://news.1rj.ru/str/Lady_Analyst
• Евгений, DE: https://news.1rj.ru/str/halltape_data

Если было полезно, весело, то поддержите наш канал донатами:
💲 https://pay.mysbertips.ru/92484472

К чему был предыдущий вопрос?

🧳На днях у нас с коллегой возник такой кейс: есть 50 таблиц, содержащих колонку с датой, но там есть дата, дата и время и unix timestamp. Цель - нужно их все объединить. БД - ClickHouse.

Итерация 1:

SELECT 
  max(
    if(
      table_name LIKE 'offline%', 
      toDate(FROM_UNIXTIME(dateTime::INT)), 
      toDate(dateTime)
    )
  ) AS max_date 
FROM schema.source_table

Количество считанных строк - 46 млрд. Время работы - 2,5 минуты. Ну... долго ждать, давайте еще раз внимательно посмотрим🤓

Итерация 2 - вынесли приведение даты со временем к дате в самый конец:

SELECT
  toDate(
    max(
      if(
        table_name LIKE 'offline%',
        FROM_UNIXTIME(dateTime::INT),
        dateTime
      )
    )
  ) AS max_date
FROM schema.source_table

Количество считанных строк - 46 млрд. Время работы - 1,5 минуты. Уже лучше, но можно ли еще быстрее?

Итерация 3 - вынесли приведение unix timestamp к дате со временем:

SELECT
  toDate(
    if(
      table_name LIKE 'offline%',
      FROM_UNIXTIME(max(dateTime)::INT),
      max(dateTime)
    )
  ) AS max_date
FROM schema.source_table

Количество считанных строк - 25 млн. Время работы - 6 секунд. Супер! Нам этом остановимся👍
В итоге мы сначала находим максимальные значения и только потом кастуем. Выигрыш во времени - в 25 раз.

🕒Время и строки можно посмотреть в системной табличке system.query_log в столбцах query_duration_ms, read_rows.

🐢В первых двух случаях в плане запроса есть шаги:

ReadFromMergeTree (schema.source_table) - читаем таблицу

Expression ((Conversion before UNION + (Projection + Before ORDER BY))) - кастуем к дате в каждом подзапросе

🐆В третьем:

ReadFromStorage (MergeTree(with Aggregate projection _minmax_count_projection)) - вот эта проекция сильно быстрее, чем скан всей таблицы, а лишних приведений уже нет. Profit👍

#sql_tips

🥲 Стажер Data Engineer СБЕР

Смотреть

SQL, Python

Будет плюсом: Spark, Hadoop

🧐 HDFS Какой размер блока?!

Итак повторим. У нас несколько шкафов, внутри сервера (до 40 штук), а внутри серверов жесткие диски. Жесткие диски бывают HDD (как на слайде) и SSD. Все файлы в HDFS делятся на блоки.

HDD дешевле, но медленнее. SSD дороже, но быстрее. Принцип работы HDD похож на виниловую пластинку. Есть магнитные диски и есть специальная головка (красная на слайде). Она намагничивает на вращающийся магнитный диск магнитные дорожки. Так пишутся наши файлы. Эти магнитные сектора могут располагаться на разных дорожках. Поэтому головка диска постоянно бегает по дорожкам, читая или записывая тот или иной файл. Т.е. если головка будет читать один большой цельный файл, то очевидно бегать туда сюда она не будет. Она просто будет читать длинную длинную дорожку.

В SSD никаких вращающихся механизмов нет. Информация там хранится в специальных ячейках, которые заряжаются, если на них подать напряжение и разряжаются, если напряжение с них убрать. Есть заряд это 1, нет заряда это 0. Кстати SSD не очень любят перезапись. Дело в том, что ячейка памяти держит у себя заряд благодаря диэлектрику. А он с каждой перезаписью разрушается. Тем самым ячейка начинает хуже держать заряд и емкость SSD снижается. При этом скорость конечно моментальная благодаря внутреннему контроллеру. Он главный мозг и все знает про все ячейки.

Собственно какой размер блока должен быть в HDFS? Нам важно, чтобы чтение и запись шли как можно быстрее. Если размер блока будет слишком маленьким, то времени на чтение 1000 блоков уйдет больше, чем на чтение 10. Пока головка сменит положение, пока прочтет информацию. И так 1000 раз. Вместо того, чтобы 10 раз сменить положение и спокойно прочесть то, что нужно.

В мире люди опытным путем посчитали, что 128Мб, 256Мб являются оптимальными размерами для блоков. Я сейчас говорю на примере стандартного привычного CSV файлика. Это важно, так как более специфичные файлики формата parquet хранятся иначе. Но об этом в другой раз.

#hdfs

🧐 Я понял о чем этот пост спустя только 6 месяцев дата инжиниринга.

Важно! Если вы еще не знаете, что такое NameNode и проблема мелких файлов в HDFS, то смело пропускайте.

Я уже запланировал публикации своих постов, где об этом рассказываю. За февраль вы все догоните. Сейчас можете почитать, но в целом это будет бесполезно.

⬇️⬇️⬇️