Время от времени прилетает просьба накидать вакансию на позицию джуна\мидла\сеньера в ds и всегда встает вопрос - какие критерии определяют соответсвующий уровень. На кагле появился датасет IT вакансий с HH.ru и я первым делом полез смотреть чем статистически один level отличается от другого. К сожалению конторы чаще пишут просто data science без указания уровня. Но при этом ожидаемый опыт указан всегда. Посмотрел чем отличаются требования на позиции с ожидаемым DS опытом менее и более 3 лет.

И так, если от Вас ожидают experience 3 и более лет (условно позиция middle+\senior) в data science\machine learning, то самым важным фактором будет знание докеров, ооп и мат. анализа., pytorch, tensorflow, airflow, c++ и конкретные базы вроде postgresql\clickhouse\hadoop. Кроме того, сюда добавляются: управление проектами, английский язык и работа в команде. А если ожидаемый experience менее 3 лет (условно позиция junior\middle-), то ключевыми навыками будут spark (много вакансий от сбера и вк с требованием spark), r, matplotlib, opencv, sql, базы данных, теор.вер., scikit-learn, numpy, linux. Кажется джунов ищут по принципам - знает базовые вещи, вроде linux и стандартных библиотек питона\R что бы покрутить таблички и визуализировать результат + умеет в теорию вероятностей и имеет представление о работе с любыми базами.

Датасет взят тут -> https://www.kaggle.com/vyacheslavpanteleev1/hhru-it-vacancies-from-20211025-to-20211202

Решил сделать похожую штуку для продуктовых/web/marketing аналитиков. Но профессия аналитик довольно размыта, поэтому почистил список от 1С, business и system версий вакансий. И даже в нечетких границах определения удается сформировать ключевые требования для людей с опытом 3 и более лет. Это в первую очередь инструменты pandas, jira, power bi, знание различных видов анализа, информационной безопасности и управления проектами, а также грамотность и грамотная речь (умение хорошо говорить - жирный плюс к скиллам аналитика). А для позиций с опытом менее 3 лет ожидают аналитический склад ума🤦‍♂️, умение сводить таблички в excel, crm, google tag manager + яндекс.метрика, мат.статистика и заманивают работой с большим объемом информации. Если кто-то из Ваших знакомых хочет ворваться в IT джуном аналитиком и думает какие курсы пройти, скажите что можно вообще ничего не изучать. На hh есть вакансии аналитиков где один из ключевых навыков - пользователь пк! Доступная профессия!🦾

Для не персональных рекомендаций часто используют такую метрику ассоциаций как lift, которая показывает во сколько раз шанс приобрести два товара вместе выше шансов взять их не зависимо друг от друга. Используя датасет фильмов и просмотров KION между любой парой фильмов можно оценить lift и представить все это в виде графа. Я использовал InfoMap кластеризацию, что бы выделить информативные участки (InfoMap, в отличии от других классических алгоритмов графовой кластеризации не пытается увеличить модулярность, он случайно шагает по вершинам и старается передать нам как можно меньше информации о своем пути, то есть, если половину всего времени мы двигаемся через одну ноду, то достаточно для нее передать 1 бит информации, а не популярные вершины будут закодированы самыми длинными сообщениями, и если мы попали в плотный кластер, то можно под него выделить отдельный словарь и еще сильнее сжать информацию).

InfoMap собрал фильмы в кластера, и самым большим оказался набор популярных мировых фильмов (Мстители, Зверополис, Ford против Ferrari и т.д.), во втором чаще встречаются новые (после 2019 года) российские фильмы и сериалы (Холоп, Содержанки, Последний богатырь и т.д.), в третьем менее популярные, чем в первом кластере, криминальные картины (Гнев человеческий, Острые козырьки и т.д.). В четвертом кластере собрались российские мелодрамы, а в пятом фильмы про войну. Интересно что, военные и криминальные картины расположились рядом, а российские сериалы и новые фильмы рядом с российскими мелодрамами. Исходный граф не влез красиво в картинку, пришлось рисовать только его плотные кластера.

Датасет взят тут -> https://www.kaggle.com/asenin/kion-dataset

Куда же без ирисов. "Время" здесь чаще двигается в кластерах классов цветков, чем между ними.