Pandas for Geospatial data:

🐼Working with coordinates can be a nightmare and GeoPandas tool comes quite handy.

The goal of GeoPandas is to make working with geospatial data in python easier. It combines the capabilities of pandas and shapely, providing geospatial operations in pandas and a high-level interface to multiple geometries to shapely. GeoPandas enables you to easily do operations in python that would otherwise require a spatial database such as PostGIS.

🌎 Learn more here: http://geopandas.org/

Stay tuned, subscribe and share!
xoxo

THE DATA SCIENCE INTERVIEW STUDY GUIDE

https://www.coriers.com/the-data-science-interview-study-guide/

AWS launches Textract, machine learning for text and data extraction

https://venturebeat.com/2019/05/29/aws-launches-textract-machine-learning-for-text-and-data-extraction/amp/

Meta-Learners - learning how to learn
https://blog.fastforwardlabs.com/2019/05/22/metalearners-learning-how-to-learn.html

Awesome Knowledge Graph Embedding Approaches

This list contains repositories of libraries and approaches for knowledge graph embeddings, which are vector representations of entities and relations in a multi-relational directed labelled graph.
https://gist.github.com/mommi84/07f7c044fa18aaaa7b5133230207d8d4

The Natural Language Decathlon (decaNLP)

https://blog.einstein.ai/the-natural-language-decathlon/

Data Science Blogs
A curated list of 200+ blogs related to Data Science.

https://www.cybrhome.com/topic/data-science-blogs?q=data%20science

ARIMA Model – Complete Guide to Time Series Forecasting in Python

https://www.machinelearningplus.com/time-series/arima-model-time-series-forecasting-python

Топ-13 библиотек Scala для анализа данных

https://habr.com/ru/company/newprolab/blog/459172/

На DataCamp появился курс Data Science for Managers: https://www.datacamp.com/courses/data-science-for-managers

What Your Employees Need to Learn to Work With Data in the 21st Century
https://www.datacamp.com/community/blog/what-your-employees-need-to-learn-to-work-with-data-in-the-21st-century

Slides: https://docs.google.com/presentation/d/14W_KDsI8ei6sQVS1ab4qnBUGZ_qAtdJoySxTtX7Tq98/edit?usp=sharing

Для тех кто интересуется данными не только с точки зрения Data Science, но и в более прикладных задачах работы с данными относящимися к дата инженерии.

Несколько полезных ресурсов:
- Data Engineering Cookbook [1] - поваренная книга по инженерии данных, много о том как системы работы с данными разворачиваются и используются
- Awesome Data Engineering - неплохой список ссылок на проекты по инженерии данных на Github
- Data Engineering How-to [3] - подборка ссылок на курсы и иные ресурсы по инжинерии данных
- What is Data Engineer [4] - ответ на вопрос кто такой инженер данных (для тех кто ещё об этом не знает)
- Who Is a Data Engineer & How to Become a Data Engineer? - подробно о том кто такие инженеры данных

В России вот уже много лет ажиотажный спрос на data science, но подготовка дата инженеров ушла на 2-й и 3-й план и это особенно чувствуется когда вопросы о том где взять данные и как настроить инфраструктуру звучат всё чаще.

То чем занимаюсь я лично - это чистая дата инженерия, с очень и очень небольшой долей науки о данных. Найти данные, создать инфраструктуру их обработки и очистки - всё это должен уметь дата инженер. Если Вы знаете хорошие курсы по этой теме на русском языке, поделитесь ими, например в чате.

Ссылки:
[1] https://github.com/andkret/Cookbook
[2] https://github.com/igorbarinov/awesome-data-engineering
[3] https://github.com/adilkhash/Data-Engineering-HowTo
[4] https://towardsdatascience.com/who-is-a-data-engineer-how-to-become-a-data-engineer-1167ddc12811

#data #opendata #dataengineering #dataengineer

The AI research field clusters around seven main research areas.
https://www.elsevier.com/connect/using-ai-to-map-ai

AI chord graph
https://www.elsevier.com/research-intelligence/nested-components/chord-graph

Machine Learning and Data Science Applications in Industry
https://github.com/firmai/industry-machine-learning

DevOps Pipeline for a Machine Learning Project
(Applying machine learning to DevOps)
#ML #DevOps
https://blog.statsbot.co/machine-learning-devops-611210393c1a

Demystifying the Data Science job families.
A layman’s guide to understanding the differences between Data Scientist, Research Scientist, Applied Scientist, and Business Intelligence Engineer

https://towardsdatascience.com/demystifying-the-data-science-job-families-c74f2294b1bd

Git для данных - это давняя мечта многих разработчиков и дата-инженеров. Как организовать хранение и передачу данных так чтобы было похоже на систему контроля версий и учитывало объёмы и изменения в наборах данных.

Несколько проектов существуют для решения этой задачи, например такие:
- Dolt [1] [2] - умеет многое, объединять данные, сравнивать, делать таблицы сравнения, разрешать конфликты и тд. плюс многое из возможностей git'а
- Daff [3] позволяет работать с таблицами CSV и также сравнивать их, объединять и тд. Интегрирован с git
- DVC [4] система контроля версиями для проектов по машинному обучению. Довольно популярна и умеет многое связанное с проектами именно по ML


Ссылки:
[1] https://github.com/liquidata-inc/dolt
[2] https://www.dolthub.com/
[3] https://github.com/paulfitz/daff
[4] https://dvc.org/

#opendata #data #git #datatools