First Class GPUs support in Apache Hadoop 3.1, YARN & HDP 3.0
https://hortonworks.com/blog/gpus-support-in-apache-hadoop-3-1-yarn-hdp-3/

Простенько, но зато понятно. О том, чем Docker может быть полезен дата-ученому.
https://www.kdnuggets.com/2018/08/data-scientist-guide-getting-started-docker.html
#Docker

Случайно затесалась к аксакалам Рунета, тк была в роли со-организатора.

Alberto Cairo выложил в открытый доступ видеоматериалы своих тренингов по визуализации данных: http://www.thefunctionalart.com/2018/08/visualization-mooc-materials-available.html?m=1

What are the experts in data analysis really doing? Conclusions from 35 interviews https://habr.com/company/wirex/blog/421845/

Оказывается Гугл открыли поиск по датасетам (Google Dataset Search) [1] пока в бета версии, но уже работает.
Его поиск основан на тегах dataset [2] с помощью которых описываются структурированные данные.

Плюс в том что это позволяет Гуглу индексировать все данные описанные таким образом через атрибуты typeof="dcat:Dataset" или в коде <noscript type="application/ld+json">. В инструкциях есть примеры [4] того как это делается.

Минус в том что данные очень сконцентрированы в порталах у которых большинства есть стандартизованное API, в основном, API продукта CKAN. Например, только в Res3Data [5] более 2000 каталогов. Большая их часть не использует тэги гугла для индексирования и живут со своим правилам.

В принципе создавая поиск по датасетам важно помнить о том что есть 3 условных категории пользователей:
- общественно-политические
- коммерческие
- научные / академические

Можно их свести к общему знаменателю, но всё же с учётом их потребностей. И, на мой взгляд, важнее уметь индексировать цифровые репозитории через существующие API, чем навязывать публикацию тегом dataset. Во всяком случае краткосрочно, а долгосрочно конечно всё делается правильно.


Ссылки:
[1] https://toolbox.google.com/datasetsearch
[2] https://developers.google.com/search/docs/data-types/dataset
[3] https://search.google.com/structured-data/testing-tool
[4] https://productforums.google.com/forum/#!topic/webmasters/nPq4BW6iPIA
[5] https://www.re3data.org/

#opendata #google

Инструменты, истории и сервисы на данных:
- Поиск автора статьи в NYTimes [1] об инсайдере в администрации Трампа через анализ статьи и твитов сотрудников администрации [2]
- Deon. Инструмент проверки на дата этику для дата сайентистов [3]. Полезен всем без исключения для самопроверки. На русский пока не переведён
- Why data culture matters ? [4] Статья в журнале McKinsey о важности культуры работы с данными в организации

Ссылки:
[1] https://www.nytimes.com/2018/09/05/opinion/trump-white-house-anonymous-resistance.html
[2] http://varianceexplained.org/r/op-ed-text-analysis/
[3] http://deon.drivendata.org
[4] https://www.mckinsey.com/business-functions/mckinsey-analytics/our-insights/why-data-culture-matters

#data

Если вы интересуетесь IoT или даже работаете в этой области, то всегда полезно иметь под рукой каталог компаний. Это могут быть или потенциальные партнеры и коллеги, или конкуренты. Знать о том, и о том — полезно.

И вот, например, есть такая гуглокарта Map of IoT Companies & Startups

https://www.google.com/maps/d/viewer?mid=1HvovjRP_nq0ny-f-yDbz9RdIhUBBX0KA

Но там отстутсвуют российские проекты.

Потому, напомню за проект, где мы собираем (ну, стараемся собрать) данные обо всех российский хардверных проектах и компаниях.

На сегодня в таблице 49 записей из которых 10 стартапов.

Все данныепубликуются вот тут:
http://bit.ly/CATALOG_RUSHARDWARE

А чтоб попасть в «каталог», нужно всего лишь заполнить гуглоформу:
http://bit.ly/RUS_HARDWARE

The purpose of this roadmap is to give you an overview of the core skills needed in data science. These are views help by individuals we have spoken to and do not represent any companies’ opinion.

https://github.com/hasbrain/data-science-roadmap

Настало время пятничных видосов!
Как помнят самые стойкие, на Chaos Constructions 2018 был организован круглый (ну ок, прямоугольный) стол о зарождении интернета на территории государства Российского.
Ностальгией активно сыпали пионеры, участники и просто свидетели тех времён:
- Дмитрий Бурков. Фактически, человек-монография телекоммуникаций. Делал первый аплинки, создавал ENOG и т.д.
- Дмитрий Завалишни. Активно участвовал в создании Релком’а(прадед всея рунета) и российского сегмента Фидонет.
- Игорь Николаев (ага, тот самый, с разборок линуксоидов). Был среди первых студентов кафедры вычислительной физики Питерского университета, от чего стал свидетелем зарождения нашего сегмента Интернета. - Алексей Нилов. Работал на той же кафедре, потом ушёл в ректорат создавать академсеть, а потом и интернет.
Два часа отборных баек и отличного настроения.
https://www.youtube.com/watch?v=fZrn971IQNA

Новое про Julia: https://juliacomputing.com/blog/2018/10/12/october-newsletter.html

Стартовал Telecom Data Cup.
Задача и правила опубликованы на сайте: https://mlbootcamp.ru/round/15/tasks/

Участников с лучшими результатами ждут ценные подарки:
1 место — 400 000 рублей
2 место — 200 000 рублей
3 место — 100 000 рублей

#mlbootcamp #telecomdatacup

6 самых полезных проектов Machine Learning за 2018 год

Вместе с проектами публикуются коды и наборы данных, которые позволяют разработчикам и небольшим командам изучать и имплементировать новое в свои работы. Не все эти проекты новые в теоретическом плане, но зато применимы на практике.

Проекты:
1. Fast ai
2. Detectron
3. FastText
4. AutoKeras
5. Dopamine
6. vid2vid

Подробнее про каждый проект:
https://towardsdatascience.com/the-10-most-useful-machine-learning-projects-of-the-past-year-2018-5378bbd4919f

Поиск данных от European Data Journalism Network: https://edp.europeandatajournalism.eu/?language=en

50 Years of Data Science
https://www.tandfonline.com/doi/abs/10.1080/10618600.2017.1384734