В каких программах я пишу?
Когда JetBrains выдавали лицензии, я использовал исключительно их!
Но теперь из free осталось только PyCharm (тут пишем на питоне).
Поэтому на сегодняшний день мой стек такой:
1. VSCode (python)
2. PyCharm Comunity Edition (python)
3. DBeaver (пишем на SQL)
4. Jupiter Notebook (pandas, numpy)
5. Docker Desktop
Можно все писать в VSCode, но я столкнулся со странным отображением при работе с SQL с CROSS JOIN. Возможно плагин писал какой-то индус и он перестарался.. результат соединения там странноватый. Поэтому рекомендую DBeaver, либо если есть возможность, ставьте DataGrip - это топчик!
Следующий пост с ответами
Когда JetBrains выдавали лицензии, я использовал исключительно их!
Но теперь из free осталось только PyCharm (тут пишем на питоне).
Поэтому на сегодняшний день мой стек такой:
1. VSCode (python)
2. PyCharm Comunity Edition (python)
3. DBeaver (пишем на SQL)
4. Jupiter Notebook (pandas, numpy)
5. Docker Desktop
Можно все писать в VSCode, но я столкнулся со странным отображением при работе с SQL с CROSS JOIN. Возможно плагин писал какой-то индус и он перестарался.. результат соединения там странноватый. Поэтому рекомендую DBeaver, либо если есть возможность, ставьте DataGrip - это топчик!
❤🔥7
Ответы на задачи по live coding
Файл sql_create_data.txt для создания таблиц с данными
Файл sql_query.txt содержит условия задач и ответы на них в виде запросов.
Для быстрого создания таблиц и работы с SQL можете использовать этот онлайн ресурс. Только поставьте там диалект PostgreSQL.
Но я крайне рекомендую установить СУБД на комп локально и запускаться из DBeaver или DataGrip. Для PostgreSQL есть отдельный плагин для компа(MacOS), который сам подключается к ней. Нажали кнопку и субд сама ждет подключений.
Все написано на PostgreSQL.
⬇️⬇️⬇️
Файл sql_create_data.txt для создания таблиц с данными
Файл sql_query.txt содержит условия задач и ответы на них в виде запросов.
Для быстрого создания таблиц и работы с SQL можете использовать этот онлайн ресурс. Только поставьте там диалект PostgreSQL.
Но я крайне рекомендую установить СУБД на комп локально и запускаться из DBeaver или DataGrip. Для PostgreSQL есть отдельный плагин для компа(MacOS), который сам подключается к ней. Нажали кнопку и субд сама ждет подключений.
Все написано на PostgreSQL.
⬇️⬇️⬇️
Sqliteonline
SQL Online IDE - Fast SQL Editor | SQL Compiler
SQL OnLine - SQLite, DuckDB, PGLite, MariaDB / MySQL, PostgreSQL, MS SQL Server. AI error analysis, User-friendly interface for Data Science. No registration for start, No DownLoad, No Install. | sql compiler, federated queries, temporal query federation…
❤2
Ответы на задачи по тестовым
Файл sql_create_part2.txt для создания таблиц с данными
Файл sql_key_part2.txt содержит ответы на них в виде запросов.
Все написано на PostgreSQL.
⬇️⬇️⬇️
Файл sql_create_part2.txt для создания таблиц с данными
Файл sql_key_part2.txt содержит ответы на них в виде запросов.
Все написано на PostgreSQL.
⬇️⬇️⬇️
👍1
Тестовое DE 21-02.pdf
117.8 KB
Собеседование. Задачи [часть 2.2]
Второе задание с витринами данных займет до двух дней.
Следующий пост с ответами
Второе задание с витринами данных займет до двух дней.
👍2
Keys_DE.zip
159.2 KB
Ответ на тестовое
Здесь в архиве лежат файлы с решением этого тестового задания. Достаточно объемная работа, поэтому уже архивом
Здесь в архиве лежат файлы с решением этого тестового задания. Достаточно объемная работа, поэтому уже архивом
👍2
❗️Всмысле нет опыта?
Вы еще скажите, что телепортом не умеете пользоваться! Минимум 2 года опыта!
Вы еще скажите, что телепортом не умеете пользоваться! Минимум 2 года опыта!
😁12👍1😨1
Docker
Тем, кто будет изучать docker, рекомендую поставить docker desktop. Запуск контейнеров, удаление и прочее - прямо из коробки. Но все также можно зайти в сам bash контейнера через терминал. И все также можно управлять процессами через терминал. Просто у вас всегда по рукой десктоп версия, если нужно что-то быстро запустить-остановить.
⬇️⬇️⬇️
Отсюда скачать
Тем, кто будет изучать docker, рекомендую поставить docker desktop. Запуск контейнеров, удаление и прочее - прямо из коробки. Но все также можно зайти в сам bash контейнера через терминал. И все также можно управлять процессами через терминал. Просто у вас всегда по рукой десктоп версия, если нужно что-то быстро запустить-остановить.
⬇️⬇️⬇️
Отсюда скачать
👍5
PostgreSQL
Аналогично докеру, есть desktop версия postgresql. Тоже все просто. Установил и пользуешься. Можно конечно ставить все без него и порты всякие везде менять... но оно вам надо? Универсальное решение.
⬇️⬇️⬇️
Отсюда скачать
Аналогично докеру, есть desktop версия postgresql. Тоже все просто. Установил и пользуешься. Можно конечно ставить все без него и порты всякие везде менять... но оно вам надо? Универсальное решение.
⬇️⬇️⬇️
Отсюда скачать
❤7❤🔥1
Кто такой этот Hadoop?
Очень коротко и по факту на пальцах. Про хеши, ноды и map reduce можете почитать сами в интернетах.
https://telegra.ph/Kto-takoj-ehtot-Hadoop-07-13
Очень коротко и по факту на пальцах. Про хеши, ноды и map reduce можете почитать сами в интернетах.
https://telegra.ph/Kto-takoj-ehtot-Hadoop-07-13
Telegraph
Кто такой этот Hadoop?
HDFS (Hadoop Distributed File System) [part1]
❤7🔥1
System Design на минималках!
На собеседовании по soft skills мне задали такой вопрос:
Сколько чашек кофе выпивают в Москве?
На этот вопрос я ответил почти сразу и это было так:
"В Москве 15 млн человек, из них 5 млн не пьют кофе. В среднем мы пьем по 3 кружки в день, стало быть 3 * 10 млн = 30 млн кружек"
Но меня попросили подумать и посчитать более детально. Показываю пример:
В Москве 15 млн человек. Допустим из них 5 млн человек действительно не пьют кофе (аллергия, пьют чай и прочее). Остается 10 млн человек. Но туда входят дети, старики и средний возраст. Очевидно каждый из них либо не пьет совсем, либо пьет редко.
Прикинем наши 10 млн:
5 млн взрослых (18 - 40) - 3 раза/день - 15 млн чашек
3 млн взрослых (41 - 59) - 2 раза/день - 6 млн чашек
1 млн стариков (60 - 80) - 1 раз в 4 дня = 0.25 раза/день - 250 000 чашек
1 млн детей - 0 раз/день - 0 чашек
15 + 6 + 0.25 = 21.25 млн чашек кофе
Получается, что так мы получаем более точное число и уже можем проследить категории людей, а также задуматься об адекватной периодичности и так далее.
Кстати в последнее время я смотрю на примеры собеседований по system Design с Валерием Бабушкиным. Мощный и очень харизматичный чувак, нетипичный для IT сферы)
P.S. Насколько такие задачи нужны - хз.. но поразгонять мозг в целом прикольно
На собеседовании по soft skills мне задали такой вопрос:
Сколько чашек кофе выпивают в Москве?
На этот вопрос я ответил почти сразу и это было так:
"В Москве 15 млн человек, из них 5 млн не пьют кофе. В среднем мы пьем по 3 кружки в день, стало быть 3 * 10 млн = 30 млн кружек"
Но меня попросили подумать и посчитать более детально. Показываю пример:
В Москве 15 млн человек. Допустим из них 5 млн человек действительно не пьют кофе (аллергия, пьют чай и прочее). Остается 10 млн человек. Но туда входят дети, старики и средний возраст. Очевидно каждый из них либо не пьет совсем, либо пьет редко.
Прикинем наши 10 млн:
5 млн взрослых (18 - 40) - 3 раза/день - 15 млн чашек
3 млн взрослых (41 - 59) - 2 раза/день - 6 млн чашек
1 млн стариков (60 - 80) - 1 раз в 4 дня = 0.25 раза/день - 250 000 чашек
1 млн детей - 0 раз/день - 0 чашек
15 + 6 + 0.25 = 21.25 млн чашек кофе
Получается, что так мы получаем более точное число и уже можем проследить категории людей, а также задуматься об адекватной периодичности и так далее.
Кстати в последнее время я смотрю на примеры собеседований по system Design с Валерием Бабушкиным. Мощный и очень харизматичный чувак, нетипичный для IT сферы)
P.S. Насколько такие задачи нужны - хз.. но поразгонять мозг в целом прикольно
👍9
Apache Spark
Крайне рекомендую этот урок! Но только после того, как вы потыкали pandas и sql. Видос прям кайф и супер доступно!
https://www.youtube.com/watch?v=OfS5o8vz-O8&t=870s
Крайне рекомендую этот урок! Но только после того, как вы потыкали pandas и sql. Видос прям кайф и супер доступно!
https://www.youtube.com/watch?v=OfS5o8vz-O8&t=870s
YouTube
ВВЕДЕНИЕ В PYSPARK И SPARKSQL / ОЛЕГ АГАПОВ
На вебинаре хочу рассказать про появление Apache Spark, его применение в современном стеке дата-инструментов, а также на практике показать как запустить Spark на своём компьютере и написать первый ETL пайплайн!
🔔 План:
📌 Как и почему появился Apache Spark…
🔔 План:
📌 Как и почему появился Apache Spark…
❤5
Forwarded from Девчонка из IT
Всем привет!
Возвращаюсь в канал и начну с топовой истории)
Вчера к нам на собеседование пришёл кандидат, который решил воспользоваться Chat GPT 🤣
Пруфов нет, но все признаки на лицо
Вводная: по резюме 5 лет опыта, работал в известных больших компаниях на высоконагруженных проектах с блекджеком и корутинами)))
После всех вопросов чел зависал секунд на 5-10, у него подёргивалось плечо, делал уточнения "правильно ли я понял, что вы спрашиваете ...."
И начинал отвечать в стиле "... обладает характеристиками и используется для предоставления ...."
Потом я чуть не упала, когда мы попросили перечислить сущности k8s, и он сказал - под, репликационные наборы (это типа ReplicaSet) 🤪
Затем мы решили перейти к секции с кодом, кандидат перепутал = и ==, не знал что такое юникод, запутался в ООП.
Я читала о том, что на некоторых курсах начинающих разработчиков учат врать в резюме, но сама столкнулась впервые. Шок-контент😨
Возвращаюсь в канал и начну с топовой истории)
Вчера к нам на собеседование пришёл кандидат, который решил воспользоваться Chat GPT 🤣
Пруфов нет, но все признаки на лицо
Вводная: по резюме 5 лет опыта, работал в известных больших компаниях на высоконагруженных проектах с блекджеком и корутинами)))
После всех вопросов чел зависал секунд на 5-10, у него подёргивалось плечо, делал уточнения "правильно ли я понял, что вы спрашиваете ...."
И начинал отвечать в стиле "... обладает характеристиками и используется для предоставления ...."
Потом я чуть не упала, когда мы попросили перечислить сущности k8s, и он сказал - под, репликационные наборы (это типа ReplicaSet) 🤪
Затем мы решили перейти к секции с кодом, кандидат перепутал = и ==, не знал что такое юникод, запутался в ООП.
Я читала о том, что на некоторых курсах начинающих разработчиков учат врать в резюме, но сама столкнулась впервые. Шок-контент
Please open Telegram to view this post
VIEW IN TELEGRAM
😁9
Бросайте IT. ИИ отберет у вас работу!
Мои мысли на эту тему с моей колокольни. Где те люди, которые работали с перфокартами? Они же все потеряли работу! Наверное сейчас бедные сидят на лавке никому ненужные. Наверняка обучились чему-то новому.
Это как писать музыку. Я если что в прошлом музыкант и написал достаточно много песен и много работал с группами. Так вот. Лет 10 назад уже во всю использовали записанные заранее сэмплы барабанов. Уже не надо было ехать в студию, оплачивать работу звукорежиссера. Гитары записывались дома через компьютер. Уже не требовалось снятия звука с ламповых усилителей. Дальше продакшн в компе и звук готов.
А вспомните электронную музыку. Она вообще уже давним давно не пишется на синтезаторах. Синты стоят у людей как прикол. Все давно уже заменили VST плагины, кстати которые написали разработчики. Сейчас на создание трека с нуля уходит куда меньше времени, чем уходило у условных Pink Floyd в начале их пути.
И я помню, как наблюдал, как ребята не интересующиеся компьютерным продакшеном и плагинами плавно скатывались в небытие..Помните кстати тот огромный микшерный пульт в студиях. Ну он уже как бы и не нужен. Точно такой же есть у тебя в компьютере. В музыке аналогичные программированию есть IDE.
Так вот насчет ИИ. Раньше приложение писало 100 программистов. Теперь 100 программистов будут писать 100 приложений. Но все они будут шарить за новые технологии.
ChatGPT это просто T9 на стероидах. Это не искусственный интеллект. Это прокаченный Гугл. Я очень много его использую в работе. Ты экономишь часы поиска ответов на нетривиальные вопросы! Единственное, в нем не хватает знаний бизнеса, в котором он используется. Представьте сложную структуру и архитектуру того же банка. Как было бы проще потратить несколько вечеров с чатом и понять, как работает вся система. Ты быстрее вникаешь в бизнес процессы, быстрее начинаешь расти как спец.
Короче бросайте булки с чаем, быстро за обучение!
Мои мысли на эту тему с моей колокольни. Где те люди, которые работали с перфокартами? Они же все потеряли работу! Наверное сейчас бедные сидят на лавке никому ненужные. Наверняка обучились чему-то новому.
Это как писать музыку. Я если что в прошлом музыкант и написал достаточно много песен и много работал с группами. Так вот. Лет 10 назад уже во всю использовали записанные заранее сэмплы барабанов. Уже не надо было ехать в студию, оплачивать работу звукорежиссера. Гитары записывались дома через компьютер. Уже не требовалось снятия звука с ламповых усилителей. Дальше продакшн в компе и звук готов.
А вспомните электронную музыку. Она вообще уже давним давно не пишется на синтезаторах. Синты стоят у людей как прикол. Все давно уже заменили VST плагины, кстати которые написали разработчики. Сейчас на создание трека с нуля уходит куда меньше времени, чем уходило у условных Pink Floyd в начале их пути.
И я помню, как наблюдал, как ребята не интересующиеся компьютерным продакшеном и плагинами плавно скатывались в небытие..Помните кстати тот огромный микшерный пульт в студиях. Ну он уже как бы и не нужен. Точно такой же есть у тебя в компьютере. В музыке аналогичные программированию есть IDE.
Так вот насчет ИИ. Раньше приложение писало 100 программистов. Теперь 100 программистов будут писать 100 приложений. Но все они будут шарить за новые технологии.
ChatGPT это просто T9 на стероидах. Это не искусственный интеллект. Это прокаченный Гугл. Я очень много его использую в работе. Ты экономишь часы поиска ответов на нетривиальные вопросы! Единственное, в нем не хватает знаний бизнеса, в котором он используется. Представьте сложную структуру и архитектуру того же банка. Как было бы проще потратить несколько вечеров с чатом и понять, как работает вся система. Ты быстрее вникаешь в бизнес процессы, быстрее начинаешь расти как спец.
Короче бросайте булки с чаем, быстро за обучение!
❤15