🔋 Труба данных – Telegram
🔋 Труба данных
3.99K subscribers
330 photos
5 videos
9 files
449 links
Авторский канал обо всем, что происходит в мире работы с данными: хранение, обработка, визуализация, как мы принимаем решения и как мы становимся профессионалами в работе с данными.

Автора канала - @SimonOsipov
Download Telegram
ШАД, Академия Больших Данных MADE от Mail и Ozon Masters

Возможно, когда вы интересовались темой Data Science, вы натыкались на такую аббревиатуру, как ШАД. Это Школа Анализа Данных Яндекса, где тебя накачивают по самые помидоры знаниями про DS и вот это все. Лычка "Я окончил ШАД" одна из немногих, кто в реальности открывает двери почти в любую компанию. Раньше у них был только DS, а теперь есть "Разработка машинного обучения", "Data Science", "Инфраструктура больших данных" и "Анализ Данных в прикладных науках".
Обучение длится 2 года, следующий набор - апрель 2021.

Но на самом деле, у ШАД появились конкуренты, и это очень, очень хорошо.

MADE (это Mail.Ru) объявил о начале нового набора на свою программу больших данных. На выбор есть 3 специальности: DS, ML и DE.
Обучение есть очное (3 раза в неделю), есть дистанционное.
Длится 1.5 года, бесплатно(!)
Но за место под солнцем придется побороться, вступительные испытания по математике и программированию отсеивают очень много народа.

Есть еще и Ozon Masters, DS/DE и BI в качестве направлений, тоже бесплатно (!), тоже полтора года, правда только очно в Москве.
И, конечно же, вступительные испытания. Набор также открыт, но если у MADE это все ближе к сентябрю, то Ozon регистрация закроется скоро и начнутся испытания.

Ах да, нигде нет ограничений на возраст и на то, что надо быть студентом или выпускником.

Лично знаю преподавателей и кураторов со всех трех программ и могу посоветовать любую из них, если вы хотите мощно прокачаться.
Правда есть одно маленькое но: есть устойчивое мнение, что "ШАД / MADE / Masters, работа и личная жизнь - выберите любые два". Нагрузка на программах колоссальная.
#НамДжунаБы

Стажер в Сбербанк, не очень высокие требования (но и з/п тоже небольшая)😭

__
Компания: Сбербанк, Правовой Департамент
Вакансия: Стажер в LegalTech проект
Локация: пока удаленка, затем Москва, м. Полянка.
Проект: LegalTech, NLP, необходимо обрабатывать десятки и сотни ГБ текстов, модели NER, модели связей, в итоге highload решение с миллионной аудиторией.
О тебе: хорошее знание Python и классических алгоритмов и структур данных. Опыт разработки - плюс. SQL - плюс. Желание развиваться в области DS, NLP.
О нас: Команда DS с опытом Deep NLP, большинство стажеров становятся постоянными членами нашей команды.
Вилка: Стандатная стажерская зарплата: 50 тыс. руб. gross, которая с кварталками и годовыми премиями превращается в 50 тыс. руб. net.
Присылайте CV на kuznetsov.m.viktor@sberbank.ru с пометкой "Стажер" или в телеграмм @slonoten, там же вопросы.
__
Вредные советы 9. Как не надо итерироваться по двум спискам.
Если у вас есть два списка и вам нужно проитерироваться по обоим одновременно, не стоит использовать индексы первого для того, чтобы взять аналогичный индекс в втором списке. Для этого есть zip().

Антипаттерн
Создаем переменную, которая у нас будет служить индексом, затем используем его для того, чтобы проитерироваться по списку.

numbers = [1, 2, 3]
letters = ["A", "B", "C"]

for index in range(len(numbers)):
print(numbers[index], letters[index])


А как надо?
И
спользуй zip(), блеат! При этом автоматически создаются пары значений из каждого из списков и не надо ничего придумывать:

numbers = [1, 2, 3]
letters = ["A", "B", "C"]

for numbers_value, letters_value in zip(numbers, letters):
print(numbers_value, letters_value)


#ВредныеСоветы
Что такое SRE и с чем его едят?

Сколько было сломано копий при спорах про Software Reliability Engineering, про то, кому это надо и не надо. Для себя я сформировал следующее понимание: SRE это когда ты знаешь в любой момент времени, что происходит с твоим сервисом, если что-то идет не так, система сама пытается исправить состояние. Если же это не удается, то специалисты сразу знают, где болит и где надо чинить.

Считаю, что логгирование и мониторинг - показатели зрелости продукта и разработчиков, которые его делают. Поэтому если вы хотите знать поболее про SRE - начните с этого доклада, а потом уже книжки от OReilly синенькие читайте =)

https://www.youtube.com/watch?v=qe_9RGyATzo

#пятничныйYoutube
#НамДжунаБы

Тут до меня дошли новости, что на прошлую вакансию, которую я постил, один из читателей этого канала получил оффер. И на еще одну до этого (в Wildberries) тоже.

Поэтому я продолжу постить junior вакансии, связанные с Python (а это DE, Backend и DS) ибо именно такие истории меня максимально мотивируют.
Вакансия выше текстом:

Вакансия: DS (Junior / Middle)
Компания: Сбербанк
Город: Москва
Вилки:
Gross, без учета премий ( + квартальные >=1 оклада + годовая - 5-8 окладов)
Junior: 90 - 120 т.р.
Middle: 115 - 170 т.р.
Ищем Junior / Middle DS в управление валидации Сбера.

Управление занимается оценкой и управлением модельного риска. У нас сейчас существенно расширяется команда и мы ищем сильных кандидатов.
В Сбере количество моделей растет в геометрической прогрессии, и, как следствие, растет модельный риск (различные, как правило не очень хорошие, последствия от решений, основанных на неточных или на неверно интерпретируемых прогнозах моделей). Вот этим мы и управляем

А именно:
Разрабатываем подходы для оценки модельного риска
Валидируем абсолютно все модели Сбера, способные значимо повлиять на финансовый результат
Разрабатываем и автоматизируем методы для валидации
Строим систему отчетности
Строим платформу для онлайн-мониторинга и автовалидации типовых классов моделей
А успешный кандидат будет помогать нам:
Разбираться во внутренностях модели и процесса, где она применяется
Переводить работу модели в деньги и защищать свои расчеты
Исследовать подход к моделированию и работать над методологией ( Например, в зависимости от бизнес-применения модели настоятельно рекомендовать подходящую метрику качества)
Автоматизировать и масштабировать свои решения
Исследовать и предлагать методы количественной оценки модельного риска (Например, выяснить наличие каких факторов влияет на падение качества модели со временем)

Почему у нас интересно:
Очень сильная команда (МГУ, МФТИ, ВШЭ, РЭШ)
Очень интересные задачи (на подумать, с *) на стыке ML, математики и бизнеса, fit-predict тут не пройдет, придется много узнавать, выяснять и думать
Внушительный и разнообразный ландшафт препарируемого материала (=моделей), много работы будет "под капотом"

Что ждем от кандидата:
Знание ML (основные алгоритмы и что там вообще внутри происходит)
Знание мат. статистики, теор.вера :bayesgroup:, алгоритмов и структур данных
Знание Python и основных библиотек анализа данных :nor:
Знание SQL (хотя бы весьма базовое), навыки работы с базами данных

Совмещение с учебой:
Возможно.
Готовы обсудить условия с студентами старших курсов / магистратуры / аспирантуры.
Многие наши сотрудники параллельно учатся
Пишите:
@kostapanfilov, panfilov.k.o@sberbank.ru

#НамДжунаБы
Согласитесь, хорошо оформленный GitHub при поиске первой работы - очень верный способ оказаться впереди большей части кандидатов на вакансию.

Поэтому вот вам свежачок для оформления. Если создать репозиторий с названием своего профиля, например, SimonOsipov/SimonOsipov и там оформить файл README.md, то он высветится на главной странице.
Псс, DE or DIE третий митап на подходе. Следующий четверг, 16.07. С 19:00 до 21:00.

Кажется, будет жарко. В этот раз подробно и глубоко будут рассмотривать один целиковый кейс от дата инженеров из Додо Пиццы (Ксения Томак, Михаил Кумачев, Дарья Буланова) и Solution Architect из Databricks (Иван Трусов). Есть отличный шанс узнать всю внутреннюю кухню того, как готовится пицца! Ее нельзя просто так взять и приготовить – нужны ингредиенты. Про них-то и будет доклад: как, откуда и через что текут данные, необходимые для решения задачи прогнозирования спроса на них.

Подробности и регистрация по ссылке: https://deordie.timepad.ru/event/1350632/
Avito.Tech и школа Аналитики

Какое-то время назад я писал (https://news.1rj.ru/str/ohmydataengineer/54) про гигантов нашей айтишечки и их прикладные курсы. Так вот, кое-что замелькало интересное: AvitoTech открыл набор в школу аналитики! Записаться и почитать подробности можно здесь (https://bit.ly/2OggOCt), но не тяните, прием заявков закроется уже на след неделе, 16 июля.

Что для поступления:
- Приём заявок (до 16 июля)
- Первый этап тестирования — с 17 по 19 июля. Это онлайн-тест, который займёт два часа. Нужно будет решать задачи по теории вероятностостей, математической статистике и основам программирования на любом языке.
- Второй этап тестирования — онлайн-экзамен 25 июля.
- Собеседование с командой аналитиков Авито — с 10 по 23 августа.
- Старт обучения в сентябре.

Что по обучению:
В первом семестре студенты будут изучать:
- Прикладную статистику.
- SQL и базы данных.
- Python.

Во втором семестре курсов больше:
- Эконометрика.
- Эксперименты.
- Метрики.
- Machine learning.
- Визуализация данных.

Обучение онлайн/оффлайн/смешанное. И бесплатное. На лендинге, кстати, довольно все хорошо расписано.

#где_поучиться
Тем временем на гитхабе получил бейджик. Теперь мой говнокод и PR закопают во льдах Арктики.
#НамДжунаБы

Вакансия: Аналитик БигДата (jun/mid)
Компания: ДИТ Москвы
Город: Москва
Вилка: оклад 100 до 150 т.р. net + премии по результатам работы
Контакты: @steffix

Не стоит бояться требований, если написано junior, значит ребята готовы смотреть проактивных и инициативных.
https://docs.google.com/spreadsheets/u/0/d/119RI3oS9XNOjq2X8VLpUOMpyarcMsNzid-nA1OqbXkA/htmlview?pru=AAABc90JMyg*iiQYwEl6l_UPxGeCkdqgUQ

Тут собрали табличку про зарплаты Blizzard. Можно смело посмотреть на зарплаты в той компании, в которой вы все мечтали работать, убивая кабанов в Нортшире😂

Associate Data Engineer, $44 в час и 1.2% повышение з/п, 1.5 года опыта - единственная позиция, связанная с Data Engineering.

P.S. Геймдев никогда не был про очень большие деньги, если что. Туда идут совсем за другим.
#НамДжунаБы

Младший аналитик в Шарик.
Чтобы сконтактировать, нужно зарегаться в Open Data Science (ODS.ai) правда, но вам и так это будет полезно.
#НамДжунаБы

Тут Билайну нужны стажеры, в комментах поговаривают, что 40к это нижняя граница и можно получить больше.

Поэтому если ML интересно, дерзайте. За спрос денег не берут
#НамДжунаБы

Еще одна джуниорская позиция в DS направление. Опять же, чтобы прислать резюме, нужно зарегаться в ODS и писать в личку.
#НамДжунаБы

Еще одна джунская позиция в Miramedix.
#ЗадачкиНаСобесе

Что нам выдадут в этом случае?

P.S. Сначала подумайте над ответом, почему будет именно так, и когда вы будете уверены в своем ответе и сможете пояснить свою логику, тогда уже бегите в консоль его проверять.
https://insights.stackoverflow.com/survey/2020

В феврале StackOverflow, как обычно, проводил опрос разработчиков. Вот, выкатили интересный отчет.
Пара моментов, на которые я обратил внимание:

1) Подавляющее преимущество количества мужчин над женщинами в DevOps и сисадминстве, больше чем 25-ти кратное преимущество.

2) JavaScript продолжает доминирование как самый используемый язык программирования среди профессиональных разработчиков. Обратите внимание на позиции Scala, Perl, Dart и, пусть меня простит Брагилевский, Haskell.

3) График с “кажется, этот язык высокооплачеваемый” максимально неожиданный (поправка на то, что он про глобальный). Например, у нас в России все знают, что больше всего башляют за Java 8

5) Главная причина просматривать вакансии и искать другую работу это “бабки, бабки, бабки”

6) Мой любимый график - отношение зарплаты к количеству лет профессионального опыта. Посмотрите, где Data Engineer находится 😜