🥁В преддверии нового учебного года мы вновь публикуем ежемесячный дайджест конференций, митапов, хакатонов и прочих образовательных событий по направлениям Data Science, Machine Learning и Big Data. Многие из этих мероприятий проводятся в 2020 году онлайн и доступны для удаленного участия:
• 1 сентября в 11:00 МСК - вебинар компании «Неофлекс» «ML, который работает «по-взрослому» для ИТ-директоров/CIO, руководителей подразделений Data Science, а также для тех, кто занимается оптимизацией и автоматизацией процессов организаций, связанных с моделями машинного обучения. https://globalcio.ru/web-conference/7925/
• 3 сентября в 14:45 SberCloud проведет первый митап по Data Science: разработка и масштабирование AI-сервисов в облаке. Офлайн событие состоится в пространстве Deworkacy (Москва, Русаковская, 1), регистрация не более 50 человек. Количество регистраций на онлайн-трансляцию не ограничено. https://sbercloud.ru/ru/warp/meetups/ds-cloud
• 4 сентября в 11:00 МСК состоится вебинар "Искусственный интеллект в медицине": как ИИ-сервисы могут повысить точность диагностики, автоматизировать рутинную часть работы врача, подобрать оптимальный метод лечения и даже помочь в создании новых лекарств. https://celsus.ai/webinar/
• 8 и 10 сентября в 10:00 МСК в онлайн-формате состоится Scoring Case Forum 2020 - ежегодный форум скоринговых технологий, источников данных, anti-fraud решений и оценки физических лиц и МСБ в online и offline-каналах. В программе интервью с признанными экспертами, аналитические обзоры, кейсы лидеров рынка, панельные дискуссии, практикумы и мастер-классы. Стоимость участия 10 000 рублей. http://scoring-forum.ru/
• 9 сентября в 10.00 МСК состоится вебинар компании Qualcomm Technologies о разработке безопасных и многофункциональных систем автоматического управления и высокопроизводительных вычислительных архитектурах следующего поколения. Регистрация доступна по ссылке https://www.scale-up-360.com/en/automotive-imaging/register
• 10-11 сентября в Москве пройдет III Конференция «Прогнозирование и планирование 2020» - интенсив по получению практических навыков и углубленных компетенций в прогнозировании и планировании. Адрес: Москва, Максима Заря Отель, ул. Гостиничная, д. 4, корп. 9. Стоимость участия: 25 000 рублей. https://forecasting-conference.ru/
• 10 сентября в 11.00 МСК начнется вебинар "BigData в Azure. Какие сервисы подобрать для работы с большими данными, преимущества и отличия". https://softline.ru/events/web_2020_bigdata_azure_200910
• 14-18 сентября в 10.00 МСК состоится профессиональная онлайн-конференция для Python-разработчиков Russian Python Week 2020. Стоимость участия: 5900 рублей. https://conf.python.ru/moscow/2020
• 17 сентября в 09:00 МСК в оффлайн- и онлайн-формате пройдет конференция ScoringDay 2020 с практическими кейсами по ML-моделям https://scorconf.ru/
• 17-18 сентября в 12:43 МСК в режиме онлайн пройдет BIG DATA & AI CONFERENCE, где можно узнать о современном состоянии дел в анализе данных и машинном обучении, познакомиться с лучшими практиками и понять, как их применять в собственном бизнесе. Все кейсы и технические решения, которые будут представлены на конференции, реализованы в 2019-2020 годах и прозвучат для широкой публики впервые. Традиционно Big Data&AI Conference поделена на несколько треков: «Бизнес», «Технический», а также научный семинар. Ученые представят свои доклады во второй день конференции — 18 сентября. Стоимость участия: 5000 рублей. http://ai-conf.org/
• 19-20 сентября с 11:00 до 19:00 МСК в режиме онлайн пройдет мега-конференция DataFest по DS, ML, анализу и обработке больших данных. Youtube трансляция докладов и нетворкинг в сотне тематических комнат spatial.chat, доступных по профилю на ods.ai. https://datafest.ru/2020/
• 22 сентября в Москве CNews проводит конференцию «Искусственный интеллект 2020». Стоимость участия для представителей ИТ-компаний, Телеком и консалтинговых компаний – 18 000 рублей. https://events.cnews.ru/events/iskusstvennyi_intellekt_2020.shtml

▪️ Уроки Django

Урок 1. Создаем пустой проект - Смотреть
Урок 2. Создаем модели базы данных - Смотреть
Урок 3. Создаем админку - Смотреть
Урок 4. Выводим записи в браузер. - Смотреть
Урок 5. Фильтрация по категориям - Смотреть

#python #django

@itlecture

Немного про градиентный спуск: https://neurohive.io/ru/osnovy-data-science/gradient-descent/

Диалог @a_nikushin и @data_karpov о доступном образовании для аналитиков на Youtube вдохновил меня рассказать одну свою историю и поделиться ссылками.

Так сложилось, что в Университете мне очень повезло с преподавателями (от линейной алгебры до баз данных и языков программирования). Один из них, В. Л. Аббакумов, разжег настоящую страсть к методам анализа данных своими лекциями и лабораторными заданиями. В. Л. — практик и был моим научным руководителем по дипломной работе (мы делали кластеризацию данных Ленты), а затем и по кандидатской диссертации (строили нейронную сеть специальной архитектуры, тогда еще в Matlab).

Уже несколько лет назад в рамках ШАД и Computer Science Яндекса у него был записан курс Анализ данных на Python в примерах и задачах в двух частях. Настало время поделиться ссылками на первый и второй плейлисты на Youtube.

Первая часть посвящена описательным статистикам, проверке статистических гипотез, иерархическому кластерному анализу и кластерному анализу методом к-средних, классификационным моделям (деревья, Random Forest, GBM). В целом, весь плейлист достоин внимания без отрыва 🤓
Во второй части более глубокое погружение в нейронные сети, keras, deep learning, xgboost и снова все лекции крайне рекомендованы.🎖
Смотреть можно смело на 1.5x.

Материалы к видео:
— Часть 1. Занятия и материалы
— Часть 2. Занятия и материалы

Ребята из product sense собрали фильмы, из которых можно чему-то научиться. Для аналитиков они тоже будут полезны.

Особо обращаю внимание на эти:
- Человек, который изменил все (Moneyball), 2012
- Основатель (The Founder), 2016
- Скрытые фигуры (Hidden Figures), 2016
- Остановись и гори (Halt and Catch Fire), 2014

https://productsense.io/productmovies

Пример автоматизации ежедневной задачи при формировании отчета с помощью Google Cloud
https://bit.ly/2ZlwwlJ

via @prometriki

​​Параметры в Google Data Studio — очень крутая штука. Вот пример, как с их помощью реализовать динамический выбор Secondary Dimension, как в Google Analytics: https://bit.ly/329isNQ

via @WebAnalyst

Интересная новость об изменениях в работе Беру и Яндекс Маркета. Я это так понимаю, что планы по доходам жестко не выполняются, и необходимо срочно что-то менять. Очень "радуют" попытки в чистом поле создать "русский Амазон", просто взяв две большие конторы и кучу денег. Практика показывает, что это не так работает, и нужно много времени и много труда...
Еще показательно, что все это неким образом объединится, а в комментариях шутят, что все это объединится с Go и превратится в Go Покупки.

Интересная тенденция с модными сейчас супераппами. Не уверен, что это правильно - строить этакого Франкенштейна, в котором будет сразу все. Вопрос спорный, время рассудит, хорошо это или плохо.
https://vc.ru/trade/156754-beru-stanet-chastyu-yandeks-marketa-marketpleys-smenit-nazvanie-a-servis-budet-edinoy-ploshchadkoy-dlya-onlayn-pokupok

Неплохой разбор подзапросов в SQL

И пара лично выстраданных лайфхаков по изучению.

1. Сайты с упражнениями бессмысленны, если базовый синтаксис вы уже знаете.

Найдите/сделайте свой датасет. Абсолютно неважно, что у него будет внутри, лишь бы лично вам в нём интересно было копаться.

Задавайте к своим данным вопросы, ищите ответы.
Если кажется, что вопрос какой-то тупой и вытащить инфу из датасета невозможно, то это даже плюс, смекалочка сама себя не разовьет.

2. Изучайте схемы данных, рисуйте свои на бумажках, расписывайте/проговаривайте вслух, что именно хотите получить.

Важно не механически перебирать колонки в запросе, а понимать, что происходит.

Отличный разговор про проведение AB тестов Анатолия Карпова и Никиты Маршалкина из VK: https://www.youtube.com/watch?v=gljfGAkgX_o

В штатах узурпируется data-driven подход, а математика становится аморальной. Думаю, многие из вас уже слышали про обвинения алгоритмов в дискриминации. Например, ещё в 2007 году систему распознавание речи критиковали за сексизм, ибо мужской голос определялся лучше, чем женский. Подобные случаи множатся и уже нисколько не удивляют моё отечественное сознание. Однако это что-то новенькое: суд запретил университету Калифорнии использовать SAT и ACT тесты (местный ЕГЭ) для приёма, потому что дети из бедных семей их хуже сдают.

Знаю, что критиков ЕГЭ много, но обратите внимание на причину. Вы понимаете степень абсурда? Баллы же оцениваются не по уровню доходов в семье, а по количеству знаний. Ученики с плохим результатом сдают тест хуже не из-за того, что они из бедных семей, а потому что они менее образованы. Вообще ирония заключается в том, что стандартизированные тесты появились в том числе, чтобы избавиться от дискриминации, дабы при зачислении в университет не обращали внимание на элитарность школы, рекомендационные письма и прочее.

В США в статистике не должно быть неравенства. У негров больше ипотечная ставка? Значит это банковский расизм, а не отражение исторически сложившегося социального неравенства. У жены меньше лимит по карте? Значит это сексистский кредитный скоринг Goldman Sachs. Кстати, благосостояние коррелирует ещё со здоровьем, почему бы не отменить тогда нормативы для спортсменов и космонавтов, спасателей? Завершу мысль чужими словами: «Freedom is the freedom to say that two plus two make four. If that is granted, all else follows» — Джордж Оруэлл, 1984. #мысливслух

Статья, на которую ссылаются Карпов и Маршалкин в разговоре: https://medium.com/@vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f

Сегодня два больших гугловых обновления App+Web:

1. Event-scoped Custom Metrics and Dimensions - https://support.google.com/analytics/answer/10075209
2. Data Studio Connector - https://www.kristaseiden.com/new-appweb-data-studio-connector/

​​Как мобильная аналитика улучшает экономику приложения:

https://www.cossa.ru/special/mobile/274100/

via @ProductAnalytics

​​Хорошая #шпаргалка по способам загрузки данных в BigQuery.

@BigQuery

Прямо сейчас Анатолий Карпов ведет вебинар по статистическим методам: https://www.youtube.com/watch?v=-zps6hm0nX8&feature=youtu.be

Продвигает бутстрап в массы

Как проанализировать эффект от нововведения?

Иногда в работе бывает такое: "Мы внедрили новую фичу в продукте, про A/B тест забыли, да и времени на него нет. Теперь вот не понимаем каков эффект. Проанализируй и скажи что-как."
Что делать в такой ситуации? Есть несколько способов:

- Иногда помогает сравнение метрик до и после. Если нововведение оказало мощный эффект, это будет видно. Встречается редко. Сезонность, тренды и прочие факторы могут привести в ложным выводам.

- Можно провести ухудшающий A/B тест. "Откатываем" часть пользователей к старому варианту и сравниваем с текущим. Самый надежный способ в плане достоверности.

- Использовать библиотеку casual impact. Умные ребята из google придумали хитрый способ измерить эффект от нововведения без A/B тестов. Если грубо, то строится прогноз метрики на данных до нововведения и подбираются надежные ковариаты. Отклонения текущих значений от предсказанных можно трактовать как эффект от нововведения. Подробнее тут и тут.

​​Наконец-то закончил статью на одну из самых сложных для понимания тем - оконные функции в SQL.
На ее написание ушло почти пять месяцев с перерывом на отпуск :)

В статье на простых примерах с картинками разбирается принцип работы данных функций, а в конце вас ждут кейсы с расчетом моделей атрибуции «Первый клик» и «С учетом давности взаимодействий».

#из_личного
После того, как я закончила курсы, я искала работу примерно пять месяцев. Это было непростое время, потому что с каждым новым отказом вера в то, что поиск закончится успехом, уменьшалась. Первые три собеседования были просто провальными. Но они дали представление о том, какими примерно будут следующие. Я выработала систему подготовки к собеседованиям в зависимости от того, кто будет на другом конце - HR, Product manager или тех.специалист. Ко всем у меня был свой подход. Для HR важнее была история - что делала, что умею, ключевые слова по скилам. Продакту уже больше важны кейсы, причём продуктовые - AB тесты(какие метрики смотреть), воронки, событийная аналитика. Тех.спецы, понятно, больше про hard skills - те же AB тесты, но уклон в методы проверки, Python и способы хранения данных в нем (помимо наших любимых датафреймов, есть ещё списки, словари, сэты, кортежи и проч, что не дают, например, в курсе Яндекс.Практикум), конечно, SQL. И перед каждым собеседованием - подготовка: повторение старого, изучение нового. И нужно прокачивать умение рассказывать занимательные истории. Если при рассказе о том, как вы считали ROMI и что вам пришлось преодолеть при этом, у вас горят глаза - вы у цели!
Помимо самих курсов у меня был небольшой опыт копания в данных «по знакомству». Так или иначе, данные сейчас есть у многих бизнесов, но они не всегда знают, что с ними делать. Мне удалось попасть в частную медицинскую клинику и на практике применить мои знания - посчитать LTV, спрогнозировать загрузку врачей, поотвечать на вопросы маркетинга. В общем, в моем резюме появилась важная графа - релевантный опыт работы и несколько историй для собеседования.
Для себя я сделала вывод, что поиск работы в айти - это отдельный навык. Ему я училась немногим меньше, чем самой аналитике на курсах.
Кстати, это не мой случай, но вам может помочь - если у вас есть опыт хотя бы опосредованно связанный с аналитикой (опыт в маркетинге, опыт построения отчётов в 1С, автоматизация в эксель, работа с кодом, может что-то ещё, о чем я даже не знаю), это надо выставить на первое место в резюме и упомянуть на собеседовании.
Ну и напоследок - к пятому месяцу я была порядочно всем этим вымотана. С трудом верила в успех, но стискивала зубы перед каждым собесом. Некоторое случайное стечение обстоятельств (ну и, конечно, мои мольбы о том, чтобы меня взяли уже наконец и я покажу класс), и я получила отличный оффер. И у вас получится 🦾, если вы в поисках. Ко всем вашим знаниям и умениям, приложится подходящий случай.

📊 Минипост: Очарованные циферками

В последнее время я всё чаще наблюдаю феномен «пабмеда» — когда на любую точку зрения в интернете находятся «данные», её подтверждающие. Мы никому больше не верим на слово, но как только видим график — аргумент как будто бы становится в десять раз авторитетнее. Машина ведь врать не будет!

Особенно резко проблема стоит в модных data-driven компаниях с плоской структурой, где человек с паверпоинтом побеждает здравый смысл примерно всегда.

Вопрос — что делать? Как выживать в таком мире? Можно ли победить глупость или лучше её возглавить, пока остальные не одумались?

https://vas3k.ru/notes/datadriven/