Понравился сервис Rowboat для обзора и предобработки данных. На видео я загружаю тестовый csv и через секунду получаю информацию по каждому столбцу. Пропуски, уникальные значения, визуализации, мин, макс, медиана, распределение и многое другое. Можно сплитовать и объединять столбцы, выбирать регистр, мерджить значения и фильтровать.

Круто, что основной функционал доступен бесплатно, хотя выгрузка обработанного датасета или визуализаций уже потребует подписки. Пока планирую использовать для быстрого осмотра данных перед работой с ними в юпитере и самопроверки.

В новом выпуске РБК новый график. И снова две линии из трёх практически не различимы по цвету. Хотя это не единственная визуализация, с остальными все лучше. Интересно, что в каждом выпуске есть материал с визуализацией данных. Думаю, скоро мы увидим на Яндекс Практикуме курс дата-журналиста))

Очень плохо. В Черном море меньше воды, чем здесь. Иногда казалось, что книга написана нейросетью. По этой теме и так не много систематизированного материала, а тут такая подстава. В общем, не рекомендую.

Теперь аналитик данных в Почта Банк.

Вторая неделя близится к концу. Пока состояние примерно такое, при этом уже есть задачи, которые просто некому сделать, кроме тебя. Как только немного выдохну, вернусь с постами. Если выдохну)

Этот мем стоит того, чтобы в нем разобраться)

Аналитика – лучший способ вкатиться?

На днях общался с тестировщиком, который свитчнулся несколько лет назад. Во время разговора подумал о следующем. Если когда-то считалось, что через QA проще и быстрее всего войти в IT (возможно, так оно и было какое-то время), то сейчас подобное скорее можно сказать про аналитику. С одной оговоркой – этот путь пока ещё не стал общим местом.

Почему я так думаю?

1. Аналитики нужны в разных сферах

Это не только банки и маркетплейсы. Аналитиков ищут госучреждения, заводы, медицинские клиники, онлайн-школы, застройщики, автодилеры, крупные компании, маленькие фирмы, ипшники, кто угодно. А это значит:
– вам будет проще найти первую работу в профессии, опираясь на предыдущий опыт
– возраст 30+ может быть преимуществом
– ваш переход в новую профессию выглядит как вариант развития текущей карьеры, а не как безумство
– можно начать свой путь даже без SQL и Python (есть и такие вакансии)

2. Возможность поменять направление

Учиться и делать свои проекты обычно интересно и увлекательно, мы получаем эндорфин и все такое. Но только после получения коммерческого опыта придет окончательное понимание того, хотите ли вы заниматься этим делом действительно серьезно. Если вдруг вы поняли, что хардовая сторона вам менее интересна, то можно уйти в бизнес-аналитики, проджекты или продакты, или даже в маркетологи. Навыки, которые вы уже получили, однозначно вам пригодятся. С другой же стороны, если харды вам интереснее, то здесь от DE до ML и дальше. Благо, вакансии DA это такая химера, внутри которой может быть уклон в любую из смежных сфер.

3. Аналитика не перегрета вниманием

Обычно работа аналитика представляется людям скучной и рутинной (но мы-то с вами понимаем, коллеги).
Поэтому все, кто обычно хочет вкатиться быстро и просто, выбирают другой путь. Благодаря этому в сфере аналитики все ещё работает рынок кандидата. Кто-то может не согласиться, но мне представляется, что ситуация у нас лучше, чем у начинающих разработчиков или тестировщиков, которые ищут работу по полгода.

В общем, если вы сомневаетесь, то набирайтесь решимости и переходите к реальным действиям, пока момент не упущен.

Небольшая, но ёмкая статья об отличиях колоночных и строковых СУБД. Прочитайте, если все ещё кратко не получается сформулировать эту разницу. В комментариях добавил гифки.

Пополняется библиотека понемногу, собираю животных на обложках как покемонов)

На прошлой работе таблица в несколько миллионов строк казалась мне большой. На практике обычно приходилось работать с десятками тысяч строк, иногда – сотнями. В такой ситуации не сильно думаешь о том, насколько оптимален написанный тобой SQL-запрос.
На текущем месте ситуация совершенно иная, поскольку я сходу перешёл к таблицам в несколько десятков миллионов строк. Однако результат моей работы на этой неделе побил все рекорды – 1 миллиард 250 миллионов строк. Теперь интересно, как скоро я увижу нечто бОльшее.

«IT осталось недолго»

Вчера на стриме у Евгения Виндюкова я немного поднял тему комментариев, краткий смысл которых можно свести к фразам «у тебя не получится», «после 30 поздно», «вы не найдете работу» и так далее. Мы можем услышать такие комментарии от знакомых или прочитать под видео о смене профессии. О том, почему люди их оставляют поговорим позже – это отдельная большая тема. Сейчас хочется посмотреть на сами тейки. Один из них – IT осталось недолго, скоро хайп закончится, раньше такое уже было с юристами и экономистами. Думаю, вы знаете эту точку зрения.

Я сам так считал в начале 2010-х. В итоге такая точка зрения обошлась мне довольно дорого. Ситуация с IT отличается от хайпа на юристов 20 лет назад, потому что здесь в основе лежат трансформации во всем мире, а не в отдельно взятой стране, резко вывернувшей в капитализм. IT будет меняться, но никуда не денется. Лучшей иллюстрацией к этой мысли будет диаграмма количества данных, ежегодно создаваемых в мире. Больше конкретики можно увидеть в этой статье, там есть ссылки на источники. В следующий раз напишу про ещё один миф из комментариев.

«AI вас всех заменит»

О, сколько копий сломано на этом тейке. Как пример, вы можете прочесть вот эту маленькую статью, а также пройтись по комментариям. Аргументов хватает у каждой из сторон, однако сторонники "замены" обычно не дают точных сроков ее, этой самой "замены", точного наступления. Вне зависимости от того, кто из них прав, я бы вообще не рекомендовал тревожиться об этом, если вы только начинаете свое обучение.
И вот почему:

* чтобы вкатиться вам нужен максимум год, за это время ситуация не изменится настолько, что вы не сможете найти работу из-за AI
* шум вокруг AI привлекает инвестиции, стоит помнить об этом, когда читаете новости
* механизм принятия решений AI не очень прозрачен, что создает дополнительные риски для компаний
* люди несут ответственность за свою работу, с них можно спросить
* любой модели потребуется оператор, который будет писать промты
* даже если настанет день, когда самые технические роли заменит AI — вы спокойно перейдете в системные аналитики, потому что ни одна модель не выдержит такое количество созвонов
* в промышленном масштабе использование AI — дорого и ресурсоемко
* для узконаправленного использования AI необходимо обучение модели, а для обучения — данные, а там где данные, там и вы)

А вообще сегодня я ковырял легаси SQL-скрипт, собирающий таблицу с агрегированными данными. Скрипт состоит из нескольких запросов, но занимает две с половиной тысячи строк. Хотелось бы посмотреть, как человек пытается составить промт, чтобы LLM выдал нужный ответ в виде такого скрипта.

Так что пока AI наш друг и товарищ, а до всего остального еще дожить нужно)

Второй месяц на новой работе ✅

✍ Дорогой дневник, синий банк выкупил банк, в котором я работаю...

🥲 То ли мы насилуем Кликхаус, то ли он нас... Ещё предстоит разобраться

😵‍💫 В Яндекс Практикуме пришлось взять переход в другую когорту, посмотрим, как это будет

👀 В рамках стороннего проекта снова поработал с pymorphy2

⚡️ Наконец-то закрыл одну из задач испытательного

🦫 Обзавелся кружкой DBeaver

👌 А ещё внедрил в команду аналитиков чат с мемами (да, они жили без него!)

Дропнул табличку, которая разрослась из-за неправильного джойна. То есть сам джойн-то был правильный, просто кто-то не посмотрел, есть ли повторы данных в ключе...

К слову, на эту тему есть хорошая статья на Хабре, рекомендую.

«После 30 мозг высыхает»

Почитал тут один аналитический чат, в котором случился целый наплыв адептов «сухого мозга после 30». Вспомнил, что это еще один вид комментариев, которые могут сильно демотивировать начинающих. Основной тезис — после 30 мозг уже настолько закостенел и потерял гибкость, что все ваше обучение будет медленным и неэффективным, вы не угонитесь за молодыми, а потому нечего и начинать. Узнали? Согласны?

Что не так в этом тейке?

1. Он гиперболизирован

Обычно подается так, что после 30 вам тушат свет, все, конец жизни, судьбу не изменить. Кто пишет такие комменты? Это два типа людей: старожилы, которым обидно, что в их святую обитель пришли люди со стороны, и те, кто потерпел неудачу и ищет себе оправдание. Когда я преподавал детям, то заметил, что если ребенок не может справиться с какой-то задачей, то часто заявляет, что «это невозможно». Многие взрослые тоже предпочитают «это невозможно» вместо «у меня не получилось». Что касается первых, то они просто хотят защитить свою трушность, проходим мимо и все.

2. Вопрос изучен не до конца

Так, если раньше считалось, что пресловутая гибкость теряется уже после 25 (я помню, как мне это еще в университете транслировали), то сейчас пришли к мнению, что процесс только берет начало в период с 30 до 40 лет. Опять же — можно измерять разные вещи. Если речь идет про использование тех навыков, которые вы уже приобрели ранее, то это одно. К примеру, у шахматистов пик способностей приходится на 30-37 лет. Способности к изучению нового — другое. Многое зависит от того, насколько интенсивно вы учились ранее и как ваша текущая деятельность связана с когнитивными нагрузками. Подробнее смотрите в этой статье. Если кратко — да, процессы старения необратимы, но если вы продолжаете учиться во взрослом возрасте, то шансы сохранить ясный ум в старости выше. Еще из интересного — взрослые учатся лучше, если префронтальная кора «выключена» когнитивным истощением, которое наступает после выполнения сложной задачи.

3. Гонки нет, у всех свой путь

Это вообще вредное занятие, потому что мы обычно представляем других ого-го, а самих себя неизвестно кем. Да и вообще это не турнир с рейтинговой таблицей. Ну да, есть много выпускников из крутых вузов, которые устремятся в лучшие компании и преуспеют там. Но это вовсе не значит, что на рынке не останется места для вас. Тем более, что у вас есть опыт в другой сфере, а это нередко может оказаться ключевым при отборе кандидата. Представим, что сеть медицинских клиник ищет аналитика данных, а тут вы с пятилетним опытом в медицине и годом в аналитике.
Это мэтч.