Անձամբ չեմ օգտագործել, բայց հետաքրքրիր #Framework է #DAG և #ETL համար հաստկապես եթե #Python ով եք գրում
https://github.com/dagster-io/dagster
https://github.com/dagster-io/dagster
GitHub
GitHub - dagster-io/dagster: An orchestration platform for the development, production, and observation of data assets.
An orchestration platform for the development, production, and observation of data assets. - dagster-io/dagster
#LongRead հարցազրույցներ վարելու մասին
http://www.lihaoyi.com/post/HowtoconductagoodProgrammingInterview.html
http://www.lihaoyi.com/post/HowtoconductagoodProgrammingInterview.html
հա, իդեպ, ուզում եմ վստահ լինեմ որ բոլորդ տեղյակ եք այս կայքի մասին, կարծում եմ գործ որոնելու ամենալավ հարթակն է, հատկապես նաև #remote Ցավոք հայաստանում հեշտ չէ գործ գտնել ասենք #Haskell կամ նույնիսկ #Scala ծրագրավորողներին, կարծում եմ #remote լավ ալտերնատիվ է
https://stackoverflow.com/jobs
https://stackoverflow.com/jobs
Ֆունդամենտալ գիրք հատկապես եթե ուսանող եք #Python
https://doc.lagout.org/programmation/python/Data%20Structures%20and%20Algorithms%20in%20Python%20[Goodrich,%20Tamassia%20&%20Goldwasser%202013-03-18].pdf
https://doc.lagout.org/programmation/python/Data%20Structures%20and%20Algorithms%20in%20Python%20[Goodrich,%20Tamassia%20&%20Goldwasser%202013-03-18].pdf
Տարօրինակ է,բայց #SchemaRegistry գաղափարը մենակ #Kafka հետ է ասոցացվում ամեն տեղ։ Բայց ամեն դեպքում արժե պատկերացում ունենալ ինչի համար է այն պետք (հայերեն սենց թեմաներով գրելը դաժան է 😛)
https://www.confluent.io/blog/schemas-contracts-compatibility
https://www.confluent.io/blog/schemas-contracts-compatibility
Confluent
Schemas, Contracts, and Compatibility | Confluent
This blog post explores the similarities between schemas and APIs, and the importance of being able to modify schemas without the risk of breaking consumer applications. Gwen Shapira discusses the details of what compatibility really means for schemas an…
Շատ լավ վիդեո #Spark մասին. Չնայած մի քիչ հին է բայց ակտուալ է։
https://www.youtube.com/watch?v=qf2IxHzueXA
https://www.youtube.com/watch?v=qf2IxHzueXA
YouTube
JavaDay Kyiv 2015: Spark Architecture, Alexey Grishchenko
Alexey Grishchenko
Evangelist and architect of distributed data processing systems working at Pivotal
JavaDay Kyiv (http://javaday.org.ua) - the community-driven conference for Java developers. Stay geeky!
Evangelist and architect of distributed data processing systems working at Pivotal
JavaDay Kyiv (http://javaday.org.ua) - the community-driven conference for Java developers. Stay geeky!
Այս գիրքը հաստատ արժե կարդալ եթե ցանկանում եք դառնալ #DataEngineer (հենց 4րդ հրատարակությունը) https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/
O’Reilly Online Learning
Hadoop: The Definitive Guide, 4th Edition
Get ready to unlock the power of your data. With the fourth edition of this comprehensive guide, youâ??ll learn how to build and maintain reliable, scalable, distributed systems... - Selection from Hadoop: The Definitive Guide, 4th Edition [Book]
Սա էլ կիրառումը
https://aws.amazon.com/blogs/big-data/orchestrate-big-data-workflows-with-apache-airflow-genie-and-amazon-emr-part-1/
https://aws.amazon.com/blogs/big-data/orchestrate-big-data-workflows-with-apache-airflow-genie-and-amazon-emr-part-1/
Amazon
Orchestrate big data workflows with Apache Airflow, Genie, and Amazon EMR: Part 1 | Amazon Web Services
This post introduces an architecture that helps centralized platform teams maintain a big data platform to service thousands of concurrent ETL workflows, and simplifies the operational tasks required to accomplish that.