Вот еще куча полезных ссылок и постов по Data Science.
#DataScience

Меню канала с основными постами.

Основы Data Science, алгоритмы.
1. Data Science
2. Big Data
3. Data Mining
4. Нейросети
5. Задача про Титаник
6. Регрессия, регрессоры. Классификаторы.
7. Деревья решений
8. Наивный Байесовский классификатор
9. Метод K-ближайших соседей

Визуализация.
1. Визуализация данных
2. Тепловые карты

Истории о нейросетях
1. Пример работы нейросети на примере боев сумо
2. Нейросети и распознавание порноактеров
3. Нейросети и трейдинг
4. Нейросети и видеослежка

Истории из жизни.
1. Айфон-психолог
2. Магазины вычисляют вашу беременность
3. Знакомство с помощью Data Science
4. Знакомство с помощью Data Science - 2
5. Про машинный перевод

Бесплатный гайд для новичков по машинному обучению

http://www.allitebooks.in/machine-learning-dummies/

Natural Language Processing with Python – S. Bird, E. Klein, E. Loper (en) 2009

Рассказывается о различных языковых технологиях: от фильтрации электронной почты до автоматического перевода.

#middle

Python Machine Learning – Sebastian Raschka (en)

Даст более глубокое понимание машинного обучения.

#book #middle #theory

Глубокое обучение при помощи Spark и Hadoop: знакомство с #Deeplearning4j:
https://habr.com/company/piter/blog/344824/

Радиология Москвы: Репозиторий открытых данных для машинного обучения и «искусственного интеллекта»

http://medradiology.moscow/iskusstvennyy-intellekt

#CT #Radiology #OpenData

Правда и ложь систем распознавания лиц
https://m.habr.com/company/recognitor/blog/418127/

Ongoing Face Recognition Vendor Test (FRVT) Part 1: Verification

#NIST #FaceRecognitionTest
https://www.nist.gov/sites/default/files/documents/2018/06/21/frvt_report_2018_06_21.pdf

First Class GPUs support in Apache Hadoop 3.1, YARN & HDP 3.0
https://hortonworks.com/blog/gpus-support-in-apache-hadoop-3-1-yarn-hdp-3/

Простенько, но зато понятно. О том, чем Docker может быть полезен дата-ученому.
https://www.kdnuggets.com/2018/08/data-scientist-guide-getting-started-docker.html
#Docker

Случайно затесалась к аксакалам Рунета, тк была в роли со-организатора.

Alberto Cairo выложил в открытый доступ видеоматериалы своих тренингов по визуализации данных: http://www.thefunctionalart.com/2018/08/visualization-mooc-materials-available.html?m=1

What are the experts in data analysis really doing? Conclusions from 35 interviews https://habr.com/company/wirex/blog/421845/

Оказывается Гугл открыли поиск по датасетам (Google Dataset Search) [1] пока в бета версии, но уже работает.
Его поиск основан на тегах dataset [2] с помощью которых описываются структурированные данные.

Плюс в том что это позволяет Гуглу индексировать все данные описанные таким образом через атрибуты typeof="dcat:Dataset" или в коде <noscript type="application/ld+json">. В инструкциях есть примеры [4] того как это делается.

Минус в том что данные очень сконцентрированы в порталах у которых большинства есть стандартизованное API, в основном, API продукта CKAN. Например, только в Res3Data [5] более 2000 каталогов. Большая их часть не использует тэги гугла для индексирования и живут со своим правилам.

В принципе создавая поиск по датасетам важно помнить о том что есть 3 условных категории пользователей:
- общественно-политические
- коммерческие
- научные / академические

Можно их свести к общему знаменателю, но всё же с учётом их потребностей. И, на мой взгляд, важнее уметь индексировать цифровые репозитории через существующие API, чем навязывать публикацию тегом dataset. Во всяком случае краткосрочно, а долгосрочно конечно всё делается правильно.


Ссылки:
[1] https://toolbox.google.com/datasetsearch
[2] https://developers.google.com/search/docs/data-types/dataset
[3] https://search.google.com/structured-data/testing-tool
[4] https://productforums.google.com/forum/#!topic/webmasters/nPq4BW6iPIA
[5] https://www.re3data.org/

#opendata #google

Инструменты, истории и сервисы на данных:
- Поиск автора статьи в NYTimes [1] об инсайдере в администрации Трампа через анализ статьи и твитов сотрудников администрации [2]
- Deon. Инструмент проверки на дата этику для дата сайентистов [3]. Полезен всем без исключения для самопроверки. На русский пока не переведён
- Why data culture matters ? [4] Статья в журнале McKinsey о важности культуры работы с данными в организации

Ссылки:
[1] https://www.nytimes.com/2018/09/05/opinion/trump-white-house-anonymous-resistance.html
[2] http://varianceexplained.org/r/op-ed-text-analysis/
[3] http://deon.drivendata.org
[4] https://www.mckinsey.com/business-functions/mckinsey-analytics/our-insights/why-data-culture-matters

#data

Если вы интересуетесь IoT или даже работаете в этой области, то всегда полезно иметь под рукой каталог компаний. Это могут быть или потенциальные партнеры и коллеги, или конкуренты. Знать о том, и о том — полезно.

И вот, например, есть такая гуглокарта Map of IoT Companies & Startups

https://www.google.com/maps/d/viewer?mid=1HvovjRP_nq0ny-f-yDbz9RdIhUBBX0KA

Но там отстутсвуют российские проекты.

Потому, напомню за проект, где мы собираем (ну, стараемся собрать) данные обо всех российский хардверных проектах и компаниях.

На сегодня в таблице 49 записей из которых 10 стартапов.

Все данныепубликуются вот тут:
http://bit.ly/CATALOG_RUSHARDWARE

А чтоб попасть в «каталог», нужно всего лишь заполнить гуглоформу:
http://bit.ly/RUS_HARDWARE

The purpose of this roadmap is to give you an overview of the core skills needed in data science. These are views help by individuals we have spoken to and do not represent any companies’ opinion.

https://github.com/hasbrain/data-science-roadmap