Простые, но полезные лайфхаки по работе с Excel.
1. https://lifehacker.ru/2014/06/10/20-sekretov-excel/
2. https://lifehacker.ru/2014/07/10/uskorennaja-rabota-v-excel/

Наверное самая лучшая визуализация восприятия вероятности 😉

По ссылке можно найти множество полезных наборов сетевых данных.
Весьма полезный инфоресурс для тех, кто решил освоить анализ соцсетей.

http://konect.uni-koblenz.de/

Библиотека красивых интерактивных диаграмм Bokeh (Python): https://github.com/bokeh/bokeh

А также Bokeh Cheat Sheet: https://www.datacamp.com/community/blog/bokeh-cheat-sheet-python
Памятка по синтаксису библиотеки.

Для тех кто любит работать с данными, но всё что касается государственных данных надоело и вообще хочется быть поближе к технологиям и исследованиям подборка ссылок.
GHTorrent [1] - база всего что есть в открытом доступе в Github'е собранное через их открытое API. Распространяется в виде дампов в MySQL и MongoDB, по 70 гигабайт каждый дамп

DNSCensus [2] - огромная база DNS записей на 2013 год, более 2.5 миллиардов записей объёмом в 157 гигабайт.

911Datasets [3] коллекция наборов данных по теме терракта 11 сентября 2001 года в США.

Wikimedia Dumps [4] - десятки терабайт дампов Википедии и других проектов Викимедии

LibGen Torrents [5] более миллиона научных книг через торренты

Archive.org datasets [6] коллекции наборов данных загруженные в Интернет-архив

Academic Torrents [7] более 25 терабайт научных данных раздаваемых через торренты

Ссылки:
[1] http://ghtorrent.org/
[2] https://dnscensus2013.neocities.org/index.html
[3] http://911datasets.org/index.php/Main_Page
[4] http://libgen.io/libgen/repository_torrent/
[5] https://meta.wikimedia.org/wiki/Data_dump_torrents
[6] https://archive.org/search.php?query=datasets
[7] http://academictorrents.com

#opendata #datasets

15 популярных библиотек на языке Python

https://www.upwork.com/hiring/data/15-python-libraries-data-science/

Полезные статьи по статистике простым языком: http://k-tree.ru/articles/statistika/

Полезная книга по статистическому анализу на английском языке: http://www.statsref.com/HTML/index.html

Визуализация при помощи Pairs Plots в Python (быстрое создание EDA-визуализации): https://towardsdatascience.com/visualizing-data-with-pair-plots-in-python-f228cf529166

Я ненавижу Spark

Поэтому хочу опубликовать тут список хороших ресурсов, которые, помогут мне (и возможно вам) его узнать лучше, чем сейчас, и я не буду рвать на голове волосы, когда джоба падает.
Первые две книги уже скачала - осталось только прочитать.

💥 Learning Spark: Lightning-Fast Big Data Analysis
http://shop.oreilly.com/product/0636920028512.do

💥 Advanced Analytics with Spark: Patterns for Learning from Data at Scale
https://www.amazon.com/Advanced-Analytics-Spark-Patterns-Learning/dp/1491912766

💥 Spark in a day
https://www.amazon.com/Spark-Ultimate-Learning-Development-Beginners-ebook/dp/B013GQP702/httpwwwtuto0a-20

💥 Apache Spark Tutorial
https://www.tutorialspoint.com/apache_spark/index.htm

💥 Apache Spark Scala Tutorial
https://github.com/deanwampler/spark-scala-tutorial

💥 Python For Data Science Cheat Sheet (by DataCamp)
https://s3.amazonaws.com/assets.datacamp.com/blog_assets/PySpark_Cheat_Sheet_Python.pdf

💥 Spark documentation - там много других полезных ссылок на видео/книги/лекции
https://spark.apache.org/documentation.html

Список полезных ресурсов для изучения в рамках Data Science: https://chadwgardner.com/resources/

Очень полезная книга Data Science livebook. Ее писали усилиями Data Science-сообщества в течение года:
https://livebook.datascienceheroes.com/

Это не про данные, но тоже полезно: https://habrahabr.ru/post/353194/.me

Время заняться PySpark-ом: http://spark.apache.org/docs/2.1.0/api/python/pyspark.html

PySpark Cheat Sheet: Spark in Python:
https://www.datacamp.com/community/blog/pyspark-cheat-sheet-python

Еще парочка полезных ссылок по PySpark:
1. https://blog.sicara.com/get-started-pyspark-jupyter-guide-tutorial-ae2fe84f594f
2. https://www.tutorialspoint.com/pyspark/index.htm

Схема Spark (взято из DataCamp)

Интервью (с транскриптом) с Nathan Marz о лямбда-архитектуре: https://www.infoq.com/interviews/marz-lambda-architecture

Его же книга Big Data: Principles and best practices of scalable realtime data systems: https://www.goodreads.com/book/show/13421400-big-data