❌ Ситуация в IT сложная!

📹 Сохранил несколько комментов с YouTube видео про вранье в резюме и накрутку опыта.
Понятно, что люди хотят пробиться через авто-фильтр HR. Плюс на самой вакансии может быть несколько тысяч откликов.
В этот момент всякое желание откликаться конечно пропадает. Поэтому вот несколько рекомендаций, чтобы посеять в вас тотальную уверенность:

1️⃣ Из 300 откликов только 10 человек реально годные. У остальных просто ужасные резюме, где написан неАЙТИшный опыт, который никому не нужен + нет никакого пет проекта (Это вообще сразу мимо - вы хотите себя продать работодателю или вас за красивые глаза брать?). И имейте в виду, что вакансия может висеть очень долго. Поэтому вы можете видеть 1млрд откликов.

2️⃣ Сидите в тематических telegram чатах. Там пишут конкретно ЗАРПЛАТЫНЕ ВИЛКИ и есть ССЫЛКА на HR или вообще на team lead. Плюс можно скинуть свои резюме на прожарку, спросить абсолютно вопросы про пет проекты, обучение и так далее.
Вот тут прям никто не стесняется и указывает сколько вы будете зарабатывать 💵. Вот список:

✅️ https://news.1rj.ru/str/analysts_hunter
✅️ https://news.1rj.ru/str/hadoopusers
✅️ https://news.1rj.ru/str/job_mts
✅️ https://news.1rj.ru/str/vkjobs
✅️ https://news.1rj.ru/str/jobforjunior

3️⃣ Менторство. Если вам прям страшно, боязно и чувствуете, что неуверенны для прохождения собеседований, то купите менторство. Может вам вообще одной-двух встреч будет достаточно. Зато вам конкретно по вашей ситуации подскажут, что делать. Плюс родилась идея, что лучшие ребята вообще могут быть рекомендованы рекрутерам напрямую. Например Ия берет на менторство ребят по аналитике. Я пока только могу проконсультировать вас в лс. Мне нужно еще набить шишки. Но уже сейчас мне есть, что рассказать, помочь и даже где-то направить человека на верный путь!

🗣Мониторьте телеграм чаты, берите услуги менторов, делайте пет проекты

🔄 Кто решит, тому трешка на Патриках, как обычно!

Задача.
Посчитать кол-во автомобилей(марок) у людей. При этом нужно учесть, что столбцов с названиями авто может быть и 100 и 200 и 1000.

Предложите адекватное решение этой задачи. В конце я напишу вариант на Spark. Но хочется увидеть решение на SQL

#sql

🧐 HDFS Блочное хранилище

Файлы не хранятся одним цельным куском (Как у нас на компьютере). Как правило в HDFS удобно хранить таблицы с данными. Например Excel таблицу в формате csv. (По факту таблички в HDFS конечно чаще хранятся в формате parquet)

HDFS разбивает файл на блоки определенного размера. Поскольку HDFS это не один большой диск, а много мелких (сервера), то каждый блок записывается на разные жесткие диски (сервера). Представьте таблицу размером 1000 Мб. Представьте, что размер блока установлен системой в 100 Мб. Тогда таблица будет разрезана на 10 блоков по 100 Мб. Каждый блок будет записан на разные жесткие диски (сервера). А теперь зачем это надо?

Если в один из жестких дисков прилетит копье, то он умрет и похоронит все данные, которые на нем были. При этом мы не потеряем весь файл целиком, а только 1/10 его часть. Это одна из фишек HDFS. Плюс, если нам нужно прочитать большой файл, то делать это одним компьютером было бы очень долго. Вместо этого, мы можем подключить несколько компов и дать им посчитать по блоку параллельно. Каждый возьмет себе небольшой кусочек и одновременно с другими выполнит вычисления.

Можно ли хранить в HDFS например видео или музыку?
Нет, видосы и музыку сложнее разбить на блоки. Для таких данных существуют другие типы хранилищ.

Здесь я специально избегаю терминов таких как, топология сети, узлы имен, сегменты, репликация. Об этом будет в следующих постах. Мы будем плавно усложнять материал, чтобы никто не путался.

#hdfs