Привет!
Запрыгиваю на уехавший поезд хайпа телеграм-каналов. Так вот, сейчас много каналов посвящённых анализу данных, но часто они сводятся к техноблогингу, ретранслированию около-AI новостей и их субъективной оценке.

Хочется больше хардкора и цель данного канала доносить максимально сжато полезный контент. Я хочу сфокусироваться тут на следующих вещах:
- 📣 анонс бесплатных DS/BigData-мероприятий в Москве, России и СНГ (возможно платных, но как быть с ними, честно признаться, я пока не решил)
- 🏆 новые DS-конкурсы
- 🎓 новости DS/BigData-курсов
- 🛠 новости библиотек и инструментов DS/BigData, которые стоят внимания и почему
- 🖇 детальный разбор статей (а не просто ссылка)
- 🐍 немного python'а
- 💼 возможно появится дайджест DS/BigData-вакансий (формат интересный, но тоже еще не проработан)

Рад Всем! Зовите друзей! Для связи (я где-то не прав, предложить новость или просто уточнить что-то) пишите в этот телеграм: http://xxtt.ru/6462

#events : Moscow Data Science Major
11.00-17.00 01/09/2018, #Москва, офис Mail.Ru, Бесплатно
Но обязательна регистрация http://xxtt.ru/mdsm_01092018

Обязательно к посещению. Сам собираюсь посетить следующие доклады и секции:
Всю "Передовая ML" - сжатое ревью прошедших мировых конференций
Всю "RecSys" - особенно доклад Одноклассников
Доклады про "Анализ качества пиццы по фото" и "Архитектуру OCR и TD"
Ну и расслабиться под "Пивоварение: следить за температурой в python"

#competitions : ECCV 2018 Challenge
Дедлайн: 30/08/2018 (осталось 3 дня)
Призовой фонд: 3.000$
3 задачи:
1) Сегментация дорожной разметки из кадров видео
2) Определение позции камеры в 3d пространстве на основе кадров видео
3) По кадрам восстановить позицию автомобилей в 3d
На лидерборде первой задаче всего 1 участник, на остальных - участников нету.
Легкая возможность получить приз, если у вас есть хоть какие-то наработки в этом направлении.
Источник: http://xxtt.ru/3cb7 (и далее по ссылкам)

#competitions : RSNA Pneumonia Detection Challenge
Детекция непрозрачности легких на изображениях рентгена грудной клетки (для определения пневмонии)
Дедлайн: 24/10/2018 (почти 2 месяца)
Призовой фонд: 30.000$ (1st - 12.000$, 2nd - 7.000$, 3rd - 4.000$, 4-10th - 1.000$)

Победители будут приглашены на конференцию RSNA (Чикаго, штат Иллинойс, США, с 25 по 30 ноября 2018) без регистрационного взноса
Первым 200 участникам предоставляются 300$ кредитами на Google Cloud для участия в конкурсе
Конкурс пройдет в 2 этапа: до 24/10 нужно отправить финальную модель, далее на новых данных с помощью отправленной модели нужно подготовить финальное предсказание до 31/10
Подробнее про конкурс: http://xxtt.ru/ec8b

#competitions : Power Laws: Cold Start Energy Forecasting
Прогнозирование электропотребления "холодного пуска" здания
Дедлайн: 31/10/2018 (более 2 месяцев)
Призовой фонд: 23.000$ (1st - 12.000$, 2nd - 7.000$, 3rd - 4.000$)

Данные представлены в виде временных рядов с почасовыми показателями энергопотребления и температуры
Для обучения представлены 4 недели почасовых наблюдений
Для предсказания необходимо прогнозировать разные временные отрезки:
- прогнозировать по часам на сутки
- прогнозировать по дням на неделю
- прогнозировать по неделям на 2 недели
Также по зданиям дана метаинформация.
Суммарный объем данных ~ 36 мегабайт
DrivenData - не очень популярная платформа для конкурсов, потому большая конкуренция не предвидится.
Ссылка на страницу конкурса: http://xxtt.ru/cea8

#competitions : MadCars / MailRu Mini AI Cup #3
Бой автомобилей в замкнутом пространстве, вдохновленный игрой Drive AHEAD.
Необходимо реализовать/обучить алгоритм управления автомобилем с целью выведения из строя автомобиля соперника.
Реализация применяется на большинстве популярных языков (даже php есть 👻).
Взаимодействие осуществляется через систему ввода-вывода: на вход поступают данные окружающего мира, на выходе ожидаются ваши действия.

Дедлайны:
по 06/09 - бета-тест (возможность проникнуться механикой, сделать первые решения)
по 20/09 - рейтинговые игры
24/09 — финал между топовыми игроками
Призы: 1st - MacBook Air, 2-3 - Apple iPad, 4-6 - Samsung Gear S3 (или их ценовой эквивалент)
Финалисты конкурса получат фирменные футболки чемпионата, а TOP-10 участников скидку на 250 рублей на 20 поездок в сервисе такси Ситимобиль (в течение месяца)
Страница конкурса: http://xxtt.ru/9975

#python #tips : Распараллеливание и progress bar
Как контролировать многопоточное применение функции к массиву данных?
- С появлением tqdm стало проще контролировать процесс прохода по циклу (про tqdm: http://xxtt.ru/60c8)
- Также мало для кого секрет, что функции map проста для распараллеливания с помощью встроенной библиотеки multiprocessing (хорошая статья про это: http://xxtt.ru/c6c6)
Но что, если вы хотите следить за процессом распараллеленного выполнения с помощью multiprocessing?
Есть решение! Вот пример:

from multiprocessing import Pool
from tqdm import tqdm_notebook

def pow_2(n):
    import time
    sq_n = n ** 2
    time.sleep(0.1) # slow function 🙂
    return (n, sq_n)

def imap_unordered_bar(func, args, n_jobs):
    p = Pool(n_jobs)
    res_list = [x for x in tqdm_notebook(
        p.imap_unordered(func, args),
        total=len(args)
    )]
    p.close()
    p.join()
    return res_list

result = imap_unordered_bar(pow_2, range(100), n_jobs=10)

где args - массив данных к которому вы хотите параллельно применить функцию func
❗️`imap_unordered` возвращает результаты не обязательно в порядке входных данных. Потому, если вам важно понимать, результатом каких входных значений является выходное значение, возвращайте идентификатор, по которому восстановите к чему относился результат.
Код примера на github: http://xxtt.ru/6b4d

Пример синхронного применения функции и распараллеливание этой же функции
t.me/powerofdata/32

#python #tips #libs : tqdm в телефоне
tqdm - сделала жизнь проще. Но как следить за долгим процессом итерации? Да так, чтобы можно было оторваться от компьютера, поиграть с детьми, провести время с женой, но при этом держать руку на пульсе.
Есть hyperdash, но придется ставить приложение и огромную либу, при этом будут сыпаться логи, а мы то хотим ProgressBar.
А что, если tqdm можно засунуть в telegram?
Да так, что в один чат будут приходить ProgressBar с разных скриптов или даже серверов.
Достаточно установить легковесную либу. Как это сделать и как ее использовать, смотрите в репозитории http://xxtt.ru/5098

#education #courses : Неделю назад Университета Карнеги - Меллона начал новую сессию курса по Deep Learning.
С программой и описанием курса можно познакомиться тут: http://deeplearning.cs.cmu.edu (курс на английском).
К сожалению, в отрытом доступе будут появляться только лекции и слайды.

Я связался с профессором курса и спросил о возможности присоединиться к тестам и домашним работам на Kaggle. Профессор отозвался на просьбу и на текущий момент готов предоставить доступы к учебным материалам. От нас требуется набрать учебную группу, так что если вы хотите пройти курс - заполните, пожалуйста, форму ниже.

Тем не менее, действовать надо быстро, потому что мы пойдем синхронно с текущим запуском курса, а на данный момент прошло уже 3 лекции.

Так же мы хотим создать свою площадку для обсуждения и взаимопомощи на курсе (piazza/slack/telegram).
Все успешно завершившие (над метрикой успешности еще работаем) курс получат электронные сертификаты от ODS.

Ну и как вы понимаете: все бесплатно, держится на полном энтузиазме и требовать чего-то от сообщества вы не можете 🙂

Форма: http://xxtt.ru/fa9d

В эту субботу (10.11) в Москве пройдет одно из крупнейших Data Science событий осени - Sberbank Data Science Day. 5 потоков, 20 секций, >50 спикеров.
Секции: AutoML, CV, NLP, DS/AI в ритейле, DS/AI в промышленности, DS/AI в телекоме и медиа, DS/AI в банковской и финансовой сфере, DS/AI в медицине и биоинформатике и другие.
Все действие развернется в Киноцентре "Октябрь" (Новый Арбат)
В этот день так же разберутся решения победителей двух соревнований: AutoML (написание мета-алгоритма, решающую любую ML задачу), КлассикAI (алгоритм по написанию стихов)
Регистрация обязательна. Основные места закончились, но если вы не успели зарегистрироваться, то по промокоду AutoML регистрируйтесь как Участник соревнования.

Подробнее про событие: http://xxtt.ru/0eca
Ссылка на регистрацию: http://xxtt.ru/d13e

Очень рекомендую!
Увидимся 😉

#events : Тренировка по машинному обучению 24 ноября
В эту субботу (24 ноября, 12:00) пройдет очередная тренировка по машинному обучению.
Место: Яндекс, зал Мулен Руж
Сбор в 11:30, начало в 12:00
Программа:
- Антон Кленицкий — Построение системы автоматического машинного обучения (SDSJ AutoML 2018)
- Павел Остяков — Классификация изображений с применением на новый географический регион (Kaggle Inclusive Images Challenge)
- Константин Гаврильчик, Евгений Кононенко — Детектирование кораблей на спутниковых снимках (Kaggle Airbus Ship Detection Challenge)
Регистрация обязательна: http://xxtt.ru/5134