Всём привет, привет всем 🙌
Я Дима - ditengm, и это мой телеграм канал про it.

Чем он будет отличаться от других тг каналов:
➡️ я буду рассказывать про опыт и мысли человека, который родился в маленьком городе на 20к, выбрался в Москву и уже нашёл работу на первом курсе. Я здесь буду говорить, что вуз играет ультра малую часть в вашем it развитии, что не нужно бояться идти в тëмное будущее, что бить в одну точку - это необходимость в нашем мире, а не выбор.

Для кого он:
➡️ для data science / data analyst ребят
➡️ кто участвует в хакатонах
➡️ кто только начинает свой путь в it
➡️ и кому не всë равно на саморазвитие

Что здесь будет:
➡️ буду делиться своим бесценным опытом в ds / da
➡️ статьи, книги, видео про it
➡️ ну и про саморазвитие

Если твоë сердечко любит айтишечку, то есть кнопка подписаться🔥

Про меня:
- Работаю Middle Data Scientist (Sber)
- Опыт работы 2 года
- Принял участие в 9 хакатонах, из которых выиграл 2 хакатона

VK: https://vk.com/dsvlko
Telegram: https://news.1rj.ru/str/ditengm
Instagram: @ditengm
GitHub: https://github.com/ditengm
linkedin: https://www.linkedin.com/in/dmitriysavelko/

Многие задают себе вопросы🤔:
➡️ как найти первую работу?
➡️ где взять новые знания?
➡️ что делать, если нет опыта?

Типичные ответы вы найдëте в интернете, я же расскажу про конкретные примеры и способы достижения результатов🤫

KarpovCourses
Я работаю саппортом в KarpovCourses, то есть студенты мне кидают код, а я нахожу в нëм ошибку. Вроде бы небольшое достижение, но данная работа даст мне деньги, а в первую очередь знания, с помощью которых можно достичь больших высот в моей сфере

Никакие секретные знания, никакие связи, никакие сверхъестественные силы не помогли мне в приобретении этой профессии, а самые банальные, но почему-то малоприменимые, для людей вещи: настойчивость, смекалка, целеустремлённость и умение налаживать контакт с человеком, а также самодисциплина🤓

Ответ:
Чтобы найти работу или получить первый опыт, по-моему мнению,
- необходимо проявить себя среди остальных 👑
- выделиться перед работодателем или в проекте 📈
- не забивать на задачу, а отложить и попробовать снова 📝
- и главное, холодно и дисциплинированно подходить к каждому делу 💻

Вот вроде банальные вещи, но они являются моей личной основой для моего развития.

Буквально через два-три месяца я смог достичь результата, который будет основой для моего будущего результата на всю жизнь 🤯

#DataScience
#Собесы

В дополнение к предыдущему посту.

Вещи, которые мне помогли:

1. Я зарегался в linkedin и писал всем hr-ом, которых только видел. В моих сообщениях было около двухсот hr-ов. Придумайте шаблонное письмо и СПАМЬТЕ им 💼

2. Посмотрите на шаблоны резюме и пишите туда релевантный опыт. Сделайте 5 резюме на hh.ru и подобных сайтах и с сопроводительным письмом отсылайте всем кому видите 🪪

3. Сделайте качественное сопроводительное письмо: кто вы, зачем вы компании, какую пользу вы принесёте и т. д. ✍️

4. Ходите на все собесы, так вы поймёте, кто вы на рынке, какие у вас минусы и пробелы в знаниях, которые вы сможете исправить 🗣

5. Ходите на хакатоны, митапы, форумы, нетворкинги. Вы можете познакомиться с людьми, которые помогут вашей карьере , или просто найдëте классных ребят 🤝

6. Не сдавайтесь и ебашьте - это самый важный пункт 🤯

#Мысляки
#Собесы

Про собеседования:

1. Чем больше, тем лучше.
Ходите на как можно большее количество собесов, смотрите мак-интервью. Это нужно для опредения своих ошибок и их исправления 👥

2. Мониторинг вопросов и задач на собеседовании.
Гугл -> Поиск -> топ 10 вопросов на собеседовании дата сатанист.
Примерно так должна выглядеть ваша примерно так должна выглядеть ваша подготовка в к собеседованиям. 👀

3. Основные темы вопросов на собеседовании:
➡️ Python (pandas, matplotlib, numPy, seaborn)
➡️ Математика для DS (Линал, Матан, статистика, теория вероятностей)
➡️ Data Science (машинное обучение (от градиентого спуска до рекомендательных систем и кластеризации), нейронные сети, EDA, отбор признаков)

4. Важная тема - это алгоритмы и структуры данных.
Объясню: для сложных моделей вам понадобится порой самому создать или модернизировать свою структуру данных или же улучшить уже существующую сетку, а идейно вам поможет знание алгоритмов 🤖

5. Предметная область.
Если вы идëте в банк - ознакомтесь с сферой экономики и банка, медицина - сфера медицины... Data Science - это пересечение реальной жизни, программирования и математики 💼

6. Софты.
Умение коммуникации и налаживать контакты с людьми - это невероятно важное и необходимое умение. Не забывайте, что вы работаете в команде, и соло вы не вытащите проект, поэтому софт скилы - это необходимость 🫃

7. English лангуеч.
Особенно важна в DS, так как вся передовая научная литра по темам пишется на английском языке, плюс чтение доков никто не отменял 🗣

Примерно эти пункты вас будут спрашивать на собеседовании, главное - это проработка ошибок, и умение правильно себя критиковать 😱

#Собесы

❗️Навигация❗️

#DataScience - Про дата-сатанизм: материалы, идеи, мысли и т.д.
#DataAnalyst - Соответственно про дата-аналитику
#Материалы - Про ресурсы и материалы, которые помогут IT
#Собесы - Рекомендации про собесы
#События - Хакатоны, митапы, встречи, соревнования, работа
#Мысляки - Мои мысли и рассуждения на разные темы

Личный ROADMAP по Data Science/Data Analytics
+ ссылки на ресурсы

Придерживаясь этого плана, я стал Junior Data Science по NLP🤓

1. Математика 🧮
Для начала хватит первого курса вышмата:
- Линейная алгебра (матрица, определитель, обратная матрица и т.д.)
- Математический анализ (производные, градиенты, дифференциалы, интегралы и т.д.)
Здесь подойдёт любой курс по вышмату первого курса

2. Статистика и теория вероятностей. 📈
Это очень важная часть обучения, ей стоит уделить значительное внимание, потому что дальнейшее машинное обучения строится на статистике и тервере

3. Python 🐍
Это ваше сердце, вы будете к этому прикасаться каждый день.
Примерный стек:
pandas , numpy , matplotlib
Чтобы запомнить лучше, необходима практика

3. SQL 🗃
Здесь самое главное - практика. Вы не сможете выучить SQL, не решив, хотя бы 100 задач
Теория + практика
Практика

Вот здесь чуть-чуть разделяются пути аналитика и дата-сатаниста
Для Data Scientist'а

1. Машинное обучение. 🤖
Начинаем с линейной регрессии и заканчиваем... А ничем мы не заканчиваем, это тема необъятна просто продолжаем учиться.
Если чувствуем, что спокойно можем написать fit/predict без документации, то пробуем ходить на собеседования и выполнять рекомендации, которые я написал в посте выше
Курс по ML

2. Нейронки. 🤖🤖🤖
Это будет страшно, но выполнимо. Еë вы будете изучать очень и ОЧЕНЬ много, но как только вы выучите основы, то опять по собесам бегайте
Курсы от МФТИ

3. A/B тесты. 📊
Они нужны в нашем случае, чтобы быть уверенным можно ли загружать модельки загружать на прод.
Желаю ознакомиться с данной темой, всегда будет полезна
Вводное видео по a/b тестам

Необязательные для Джуна, но очень желательные

4. Алгоритмы 😵‍💫
Когда вы будете писать нейронку, и вам необходимо написать эффективную программу, то ИДЕИ и НАВЫКИ, которые вы получите в результате изучения алгоритмов вам очень помогут
Здесь нужно решать задачи на алгоритмы

5. Английский 🗣
Необходимо, чтобы изучать новую информацию по дата-сатанизму.
Сам изучаю данную тему, поэтому сложно сказать по ресурсам.

Также поделюсь совместным каналом, в котором публикуются материалы по Data Science: https://news.1rj.ru/str/shaminmatan

#DataAnalyst
#DataScience
#Материалы

Сегодня был на конференции ITalks, на которой говорилось о российском Финтехе.

Плюсы от конференций:

1. Нетворкинг 👥
Моя самая любимая часть конференций. Вы можете познакомиться с человеком, который
- даст вам оффер 💥
- даст совет и рекомендации🔥
- пригласит на стажировку ⚡️
- ну или вы просто можете классно провести время ☀️

Пример:
Я познакомился с завкафедрой института искусственного интеллекта и анализа данных вуза Синергии (да, и что?)
Замечательный мужик, который знает очень много в своей сфере. Он пригласил меня выступить на конференции по нейронкам, естественно я согласился)

2. Знания 📜
Доклады людей, которые шарят в той или иной сфере, могут очень вас идейно прокачать.

Пример:
Сегодня был доклад про биометрию
(Это когда с помощью личика можешь заходить в телефончик)
- Обсуждалась система биометрии в современных процессах.
- Была выдвинута идея введения edge-устройств для защиты ваших личных данных (данных вашего красивого личика)
- А также оптимизация нейронок для слабых устройств
И на эти темы у меня есть знания от топового специалиста 🏆

3. Развлечение 🎉
Иногда стоит отдохнуть с друзьями, этому может способствовать конференция. Допустим сегодня давали бесплатную еду и бесплатный алкоголь, плюс там выступал Wylsacom, что подогревало мой интерес

Ходите на конференции и митапы, так вы будете красавчиками красивыми 😎

#Мысляки #События

+1 Выигранный Хакатон 😎

Наша команда заняла второе место на хакатоне ZakupkiHack. Я выступал в качестве капитана-MLщика, и это была далеко не самая лёгкая задача. Два с половиной дня написания кода и одна бессоная ночь дали свои плоды, и у нас получилось сделать достойное решение.

Задача 🤔
Сделать анализ рынка для поставщика, который вводит описание интересующего его товара. Например, мне интересны "игрушки для детей от трёх лет", и алгоритм делает аналитику на основе похожих товаров.

Что было дано 🗂
Датасет из позиций закупок, грубо говоря, были даны покупки определённого товара. В эту закупку входила цена, страна, описание и категория товара.

Решение 📊
1. Почистили мега вонючий датасет от мусора💩
2. Распарсили текст и провели лемматизацию (это штука переводит слово в изначальное состояние: слово красивейший в красивый )
сделали из них эмбеддинги (вектора (для самых маленьких - это циферки) , которые передают определённую информацию о словах). 🧮
3. С помощью расчёта угла косинуса между описанием, который нам дал поставщик, желающий получить аналитику, и всеми описаниями, которые у нас были в тексте. Подсчитанный угол косинуса показывает насколько близки вектора друг другу, другими словами, насколько сильно описания сходятся, тем самым отобрали топ похожих описаний из изначального датасета
4. По итогу построили графики, которые показывают место нашего поставщика среди конкурентов, конкуренцию на рынке, а также анализ по странам 📈

Проблемы 🫠
1. Там было много редких слов, которые было очень сложно обработать. Из-за их редкости алгоритму было очень сложно понять, что мы вообще от него хотим, да даже человеку порой сложно догадаться до этого.
Вот представьте, что у вас просят шиберную задвижку DN 500, я бы ударил этого человека, который меня это попросил 🤡
2. Мы выдаём определённое количество подходящих товаров, то есть мы можем выдать товары, которые не подходят его запросу, или выдать не все запросы

Итог:
Много вкусной еды на фуршете.... 🥴
Ну и конечно же второе место с проектом, который не стыдно показать работодателем. Также познакомился со многими интересными людьми и возможно нашёл работу🤫

GitHub с проектом

#События

Необходимость ВУЗа для программиста

Есть мир айтишников, а есть остальной мир : гуманитариев, инженеров и всех кто не IT. Я сейчас буду рассматривать конкретно сторону IT.
И это чисто субъективщина, свои мысли в комментарии. Буду рад обсудить 🤡

Начну с того, что нужно среднестатистическому прогеру - работа. Потому что основное обучение ремеслу происходит именно там, а значит и развитие по карьерной лестнице. Но джуну сложно получить еë, ведь даже при поиске первой работы, тебя просят опыт в работе. И от сюда выходит первая проблема:
ВУЗ не даëт релевантный опыт работы, как следствие, выпускник выходит с голой попой и никому не нужный 🫣

1 год бакалавра необходим - это матан + линал, это база, особенно в DS. Но остальные три года? За это время можно выучить релевантные предметы и стать специалистом более лучшего качества в определённой сфере

Тут можно поспорить: ВУЗ тебя делает специалиста широкого качества. Ты сможешь и в DS, и в DA, и в разработку, да даже принтеры чинить сможешь. Но качество образования лично моего ВУЗа (МИРЭА) оставляет желать лучшего ПО НЕКОТОРЫМ ПРЕДМЕТАМ. На мой вопрос к преподавателю "зачем это мне нужно будет , и где я смогу это применять? ", препод с улыбкой отворачивается, игнорируя меня. И как тогда мне интересоваться предмету, если я даже не знаю зачем он мне нужен ?

Я слышал и видел много практик, когда человек работал с второго курса и на выходе из ВУЗа получал +200к, при этом забивая на образование в ВУЗе, но не забивая на личное образование 😎

Вопрос остаëтся открытым в комментариях, но стоит подчеркнуть, что ВУЗ даëт невероятно важную вещь в жизни - социальный лифт. Ты знакомишься, сотрудничаешь, враждуешь, дружишь, создаëшь... И все те дела, которые воспитывают тебя, как социальную единицу. В этом я полностью благодарен ВУЗу.

#Мысляки

Материалы по DS / DA

Python / SQL
- Программирование на Python
- Алгоритмы и структуры данных МФТИ
- Тренировка алгосов
- Интерактивный тренажер по SQL
- Оконные функции
- Pandas
- Numpy
- Matplotlib

Статистика:
- Основы статистики I
- Основы статистики II
- A/B тестирование
- Математическая статистика
- Теория вероятностей

ML / AI
- Введение в Data Science и машинное обучение
- Машинное обучение МФТИ
- Глубинное обучение ШАД
- Машинное и глубокое обучение DLS

Tableau
- Визуализация данных с Tableau
- Tableau - продвинутый курс

Пост будет со временем дополняться
Пару ссылок взял у этого товарища - https://github.com/0n1xx

#Материалы #DataScience #DataAnalyst

Основные типы задач машинного обучения

Умение различать типы задач в машинном обучении - это одна из самых важных задач, с которыми вы столкнётесь.

Есть три основных вида задач машинного обучения:
- Обучение с учителем (Supervised Learning)
- Обучение без учителя (Unsupervised Learning)
- Обучение с подкреплением (Reinforcement Learning)

1️⃣ Обучение с учителем (Supervised Learning) - это когда у вас есть с чем сравнивать, то есть примеры правильных ответов, на которых обучается модель. Грубо говоря, вы показываете тупой машине, что является правильным ответом, а она со временем становится умной и красивой
а) Задача регрессии - предсказание определённого числа на основе каких-то данных. (Предсказание стоимости квартиры, исходя от месторасположения и количества квадратных метров)
б) Задача классификации - предсказание определённого класса тоже на основе каких-то данных (Предсказание пола человека по росту, весу и тд.)

2️⃣ Обучение без учителя (Unsupervised Learning) - это когда моделька предсказывает без вашего вмешательства, то есть вы не лезете в её обучение, она сильная и независимая
а) Кластеризация - объединение объектов в группы по схожим признакам
б) Рекомендательные системы - подбор контента на основе предпочтений пользователя (Spotify, youtube, netflix - все они используют рекомендательные системы)
в) Поиск аномалий — поиск объекта, сильно отличающегося от других

3️⃣ Обучение с подкреплением (Reinforcement Learning)
Модель обучается на основе её прошлых предсказаний, она взаимодействует с некоторой средой, получая от неё негативные и позитивные сигналы, тем самым выступая для себя в роле учителя
Пример

Почитать про машинное обучение можно здесь или здесь

#DataSciencce

Градиентный спуск.

Что это такое ?
Разберёмся на примере:
Представьте, что вы находитесь среди гор, причём вы стоите на одной из вершин, и ваша задача - это спуститься вниз в самую глубокую точку, но при этом вы не понимаете - спускаетесь вы или нет, когда идёте вперёд. Но у вас в руке есть компас, который показывает, где находится самая высока точка среди вас этого горного массива. И вы уверенно шагаете напротив направления этой стрелки. 🏞

Градиентный спуск - это ваше движение для нахождения локального минимума функции вдоль градиента.
Градиент - это ваш компас, то есть вектор, который показывает направление наибольшее возрастания некоторой скалярной величины.
Градиент функции — это вектор, координатами которого являются частные производные этой функции по всем её переменным, грубо говоря, показывает точку куда смотрит ваш компас в вашем пространстве

Этапы градиентного спуска для функции одной переменной на картинке:
1️⃣ Мы появились в какой-то точке X_start, около которой хотим найти минимум функции
2️⃣ Затем мы находим наш градиент (направление нашего компаса)
3️⃣ И с определённой длиной шага спускаемся против направления нашего градиента. Определённая длина - это какое-то число, с которым мы будем спускаться вниз. Оно означает длину нашего шага. Назовём его learning_rate. Зачем это нужно, расскажу чуть позже.
4️⃣ Спустившись, мы получили новую точку X. И теперь повторяем всё с самого начало - то есть X_start = X
И наша финальная формула выглядит так: X = X_start - learning_rate * Градиент

Так как градиент - это вектор, который состоит из чисел. Они могут быть большими или маленькими. И мы можем спокойно перепрыгнуть наш минимум или вовсе не дойти до него. Поэтому для контроля мы используем Learning rate, он уменьшает наш шаг 🏃‍♀️

Подробнее можно посмотреть здесь или здесь
#DataScience

Про джунство на 2-ом курсе

Этот пост про:
1⃣ Как я к этому пришёл?
2⃣ Как совмещаю с вузом?
3⃣ Как меня взяли, если я на 2-ом курсе?
4⃣ Что я конкретно делаю на работе?

Можете смело пропускать пункты, которые вам не нравятся. Изложение будет по порядку 🙌

Как я к этому пришёл? 🏃‍♂
Работал. Много работал.
Это путь длинною в год, в начале которого я решил собрать команду, чтобы участвовать в хакатонах и параллельно изучал ML' ку в DLS.
Хакатоны дали мне бесценный опыт управления командой и некоторое виденье, как должны решаться бизнес задачки.
В конце весны, под самый разгар сессии, я решил активно начать искать различные вакансии. Путëм такого ожесточённого поиска я устроился на Karpov/Courses, а там пошло поехало...
Мне дали курсы от Толи Карпова, а они самая настоящая имба.
Я не останавливался в своих поисках работы ,и меня позвали на собеседование в DSM GROUP на аналитика, но во мне заметили потенциал дата сатаниста ,и дали мне офер сатанистом
Вывод: работай, не сдавайся, не бойся ошибок и работай

Как я совмещаю с вузом? 🫣
В вуз я хожу два раза в неделю, стараясь вовремя закрывать дедлайны, а все остальные дни хожу на работу. Спасибо моим любимым одногруппникам, что кидаете мне ДЗ. В целом каждый может совмещать, но работа - это дополнительные усилия и ответственность. Можно договариваться с одногруппниками, с преподавателями, короче, крутится и вертеться


Как меня взяли, если я на 2-ом курсе? 🤓
Всë зависит от работодателя: некоторым компаниям непринципиально взять студента, некоторые принимают только с высшим образованием, некоторые принимают только студентов. Мне повезло, моему руководителю было всë равно на возраст.
Ещё дело в том, сможете ли вы решить бизнес-задачу - вы должны доказать, что именно вы лучше всех выполните задачу и принесëте больше всех денег компании


Что я делаю на работе? 🧑‍💻
Я разрабатываю модель, которая должна определять один класс из десятки тысяч по текстовому описанию препарата. Это задача про nlp и про классический ml. Основная сложность заключается в достижении высокого качества. Мне нужно выбить accuracy ≈ 0.95, а я напомню, что это многоклассовая классификация по текстовому описанию
Более подробный пост будет, когда я выполню задачу, расскажу про технологии и подходы

Вывод:
- Работал много и усердно, чтобы был виден результат
- Вы должны чётко распределять нагрузку между работой и остальной жизнью
- Порешайте больше бизнес-задач в DS, чтобы показать работадателю, что
♂ ass you can ♂

#Мысляки