Այ սա արդեն շատ հետաքրքիր է։ #Cloudera չգիտեմ հիմա ինչ պտի անի։ #EMR
https://aws.amazon.com/about-aws/whats-new/2019/12/amazon-emr-is-now-available-in-your-data-center-with-aws-outposts/
https://aws.amazon.com/about-aws/whats-new/2019/12/amazon-emr-is-now-available-in-your-data-center-with-aws-outposts/
Լավ ամփոփում է թե ինչով են զբաղվում #DataEngineer ները
https://www.infoq.com/presentations/data-engineering-pipelines-warehouses/?itm_source=infoq&itm_campaign=user_page&itm_medium=link
https://www.infoq.com/presentations/data-engineering-pipelines-warehouses/?itm_source=infoq&itm_campaign=user_page&itm_medium=link
InfoQ
Future of Data Engineering
Chris Riccomini talks about the current state-of-the-art in data pipelines and data warehousing, and shares some of the solutions to current problems dealing with data streaming and warehousing.
Կարծում եմ շատ հետաքրքիր պրոյեկտ է, որի կարիքը զգացվելու գրեցե բոլոր կազմակերպություններում #DataDiscovery
https://eng.lyft.com/amundsen-lyfts-data-discovery-metadata-engine-62d27254fbb9
https://eng.lyft.com/amundsen-lyfts-data-discovery-metadata-engine-62d27254fbb9
Medium
Amundsen — Lyft’s data discovery & metadata engine
In order to increase productivity of data scientists and research scientists at Lyft, we developed a data discovery application built on…
Բավականին խոստումնալից պրոյեկտ է երևում #DataScientist գործը հեշտացնելու համար
https://medium.com/netflix-techblog/open-sourcing-metaflow-a-human-centric-framework-for-data-science-fa72e04a5d9
https://medium.com/netflix-techblog/open-sourcing-metaflow-a-human-centric-framework-for-data-science-fa72e04a5d9
Medium
Open-Sourcing Metaflow, a Human-Centric Framework for Data Science
by David Berg, Ravi Kiran Chirravuri, Romain Cledat, Savin Goyal, Ferras Hamad, Ville Tuulos
Կարծում եմ ոչ միան #DataScientist պետք կգա։ Շատ հաճախ մեծ ովյալների հետ պետք է լինում աշխատել ոչ կլաստերի վրա, ու այդ դեպքում սենց գործիքները շատ օգտակար կարող են լինել #Vaex
https://towardsdatascience.com/a-billion-rows-a-second-36b7a2066175
https://towardsdatascience.com/a-billion-rows-a-second-36b7a2066175
Medium
A Billion Rows A Second
Working with BIG! data in Python.
Ինձ թվում է մի քանի տարում այդքան գործիքները կարևոր չեն լինի, այլ ավելի շատ ինչպես դրանք օգտագործելով լավ արդյունք ստանալ #DataEngineering ում։
https://cloud.google.com/blog/products/data-analytics/introducing-the-code-free-bridge-to-data-analytics-on-google-cloud/Խ
https://cloud.google.com/blog/products/data-analytics/introducing-the-code-free-bridge-to-data-analytics-on-google-cloud/Խ
#DataDiscovery
https://towardsdatascience.com/how-linkedin-uber-lyft-airbnb-and-netflix-are-solving-data-management-and-discovery-for-machine-9b79ee9184bb
https://towardsdatascience.com/how-linkedin-uber-lyft-airbnb-and-netflix-are-solving-data-management-and-discovery-for-machine-9b79ee9184bb
Medium
How LinkedIn, Uber, Lyft, Airbnb and Netflix are Solving Data Management and Discovery for Machine Learning Solutions
When comes to machine learning, data is certainly the new oil. The processes for managing the lifecycle of datasets are some of the most…
Եթե աշխտաում եք տվյալների հետ ապա հաստատ գործ կունենաք ամսաթվերի և ժամերի հետ, ու #Python հիմնական գրադարանը դրա համար այդքան էլ ինտուտիվ չէ ի տարբերություն այս մեկի որը դուրս շատ եկավ
https://pendulum.eustace.io/
https://pendulum.eustace.io/
Դզումա որ սենց #LInux #laptop արտադրողներ կան։ Որ ամեն ինչ լինի , նույնիսկ #FacialRecongnition 😉 և կարող ես ընտրել որ դիստրոն ես ուզում հետը գա
https://slimbook.es/en/pro-x-en
https://slimbook.es/en/pro-x-en
Եվս մի կարևոր գաղափար որը օգտագործվում է #Distributed համակարգերում
https://medium.com/system-design-blog/consistent-hashing-b9134c8a9062
https://medium.com/system-design-blog/consistent-hashing-b9134c8a9062
Medium
Consistent Hashing
Consistent hashing idea was introduced in paper Consistent Hashing and Random Trees: Distributed Caching Protocols for Relieving Hot Spots…
Կարծում եմ տվյալների հոսքերի հետ աշխատելու համար շատ հարմար կոնցեպտ է և արժե ծանոթ լինել #ReactiveX
https://dzone.com/articles/introduction-to-reactive-extensions-in-scala-for-s-1
https://dzone.com/articles/introduction-to-reactive-extensions-in-scala-for-s-1
dzone.com
Introduction to Reactive Extensions In Scala for Stream Processing - DZone Java
This post defines Reactive Extensions in Scala, explaining that ReactiveX helps standardize an API around processing a stream of data with helpful examples.
#ETL #ELT #Redshift
https://aws.amazon.com/blogs/big-data/etl-and-elt-design-patterns-for-lake-house-architecture-using-amazon-redshift-part-1/
https://aws.amazon.com/blogs/big-data/etl-and-elt-design-patterns-for-lake-house-architecture-using-amazon-redshift-part-1/
Amazon
ETL and ELT design patterns for lake house architecture using Amazon Redshift: Part 1 | Amazon Web Services
New: Read Amazon Redshift continues its price-performance leadership to learn what analytic workload trends we’re seeing from Amazon Redshift customers, new capabilities we have launched to improve Redshift’s price-performance, and the results from the latest…
Կարծում եմ #AWS էլ իր վերջի լուծումներով #DataVirtualization ուղղությամբ է շարժվում
https://dzone.com/articles/scratching-the-surface-of-data-virtualization-data
https://dzone.com/articles/scratching-the-surface-of-data-virtualization-data
dzone.com
Scratching the Surface of Data Virtualization - DZone Big Data
In this article, we discuss the advantages of data virtualization, use cases for implementing it, and tools available for teams to use.