Եթե #Terraform և #AWS ից օգտվում եք կարծում եմ օգտակար կլինի. շարունակելով #dataops թեման
https://medium.com/xebia-engineering/best-practices-to-create-organize-terraform-code-for-aws-2f4162525a1a
https://medium.com/xebia-engineering/best-practices-to-create-organize-terraform-code-for-aws-2f4162525a1a
Medium
Best practices to create & organize Terraform code for AWS
Terraform best practices and how to adopt them
Շատ հետաքրքիր հոդված #columnar ֆորմատների և նրանց շուրջ էկոսիստեմի մասին
https://www.influxdata.com/blog/apache-arrow-parquet-flight-and-their-ecosystem-are-a-game-changer-for-olap/
https://www.influxdata.com/blog/apache-arrow-parquet-flight-and-their-ecosystem-are-a-game-changer-for-olap/
InfluxData
Apache Arrow, Parquet, and Flight are a Game Changer | InfluxData
Apache Arrow, a specification for an in-memory columnar data format, and associated projects: Parquet for compressed on-disk data, Flight for highly efficient RPC, and other projects for in-memory query processing will likely shape the future of OLAP a...
Մի հատ նորից ուզում եմ հասկանամ ալիքի աուդիտորիան։
Are you a
Are you a
Final Results
21%
Data engineer
6%
Data analytis/BI
21%
Data Scientist
23%
Backend engineer
30%
Other
Այժմ կարող եք ձեր տվյալները այլ բազաներից չտեղափոխել #Redshift այլ արտաքին սխեմա ստեղծել
https://aws.amazon.com/blogs/big-data/build-a-simplified-etl-and-live-data-query-solution-using-redshift-federated-query/
https://aws.amazon.com/blogs/big-data/build-a-simplified-etl-and-live-data-query-solution-using-redshift-federated-query/
Amazon
Build a Simplified ETL and Live Data Query Solution using Redshift Federated Query | Amazon Web Services
You may have heard the saying that the best ETL is no ETL. Amazon Redshift now makes this possible with Federated Query. In its initial release, this feature lets you query data in Amazon Aurora PostgreSQL or Amazon RDS for PostgreSQL using Amazon Redshift…
Շատ լավ դիտարկում #Scala անցյալի և ապագայի մասին
https://www.lihaoyi.com/post/TheDeathofHypeWhatsNextforScala.html
https://www.lihaoyi.com/post/TheDeathofHypeWhatsNextforScala.html
Forwarded from DataEng
Амазон запустил новый сервис Amazon AppFlow, облачный ETL по забору данных из SaaS продуктов в хранилища AWS: https://aws.amazon.com/ru/appflow/
Amazon
Интеграция SaaS – Amazon AppFlow – AWS
Amazon AppFlow – это сервис интеграции, который дает возможность безопасно передавать данные между приложениями SaaS и сервисами AWS без кода.
բավականին հարմար #opensource ծրագիր եմ գտել տարբեր գրառումներ կատարելու համար, նույնիսկ #cli ունի, ինչպես նաև #webclipper
https://joplinapp.org/
https://joplinapp.org/
#StreamingSQL գնալով ավելի շատ է տարածվում։ Այսօր ևս մի պլատֆորմի մասին իմացա
https://eventador.io/
Բայց բացի դրանից շատ նմանատիպ լուծումներ կան ինչպես օրինակ
https://materialize.io/
#KinesisDataAnalytics
#kSQL
և մի շարք այլ լուծումներ։
https://eventador.io/
Բայց բացի դրանից շատ նմանատիպ լուծումներ կան ինչպես օրինակ
https://materialize.io/
#KinesisDataAnalytics
#kSQL
և մի շարք այլ լուծումներ։
Cloudera
CDP Stream Processing: Streaming Data Solution | Cloudera
Create real-time streaming analytics applications to detect and respond to critical events that drive business outcomes with Cloudera Stream Processing.
Շատ լավ համեմատություն #Hudi և #DeltaLake միջև որոնք երկուսն էլ նոր նախագծեր են #DataLake կառուցելու համար
https://medium.com/@punchhtech/apache-hudi-vs-delta-lake-295c019fe3c5
https://medium.com/@punchhtech/apache-hudi-vs-delta-lake-295c019fe3c5
Medium
Apache HUDI vs Delta Lake
The tale of the two ACID platforms on Data Lakes
#Linux ով համակարգիչների և հատկապես լափթոփների արտադրողները գնալով շատանում են,և որակը նույնպես լավանում է
https://www.tuxedocomputers.com/en/Linux-Hardware/Linux-Notebooks/10-14-inch/TUXEDO-InfinityBook-S-14-v5.tuxedo#!#configurator
https://www.tuxedocomputers.com/en/Linux-Hardware/Linux-Notebooks/10-14-inch/TUXEDO-InfinityBook-S-14-v5.tuxedo#!#configurator
Tuxedocomputers
TUXEDO InfinityBook S 14 v5 - 14 inch non-glare Full-HD IPS + magnesium chassis + max. Intel Core i7-Quad-Core + max. 40GB RAM…
#Pulsar ի հետաքրքիր կիրառում որպես #Kafka ալտերնատիվ
https://streamnative.io/blog/tech/2020-04-21-from-apache-kafka-to-apache-pulsar/
https://streamnative.io/blog/tech/2020-04-21-from-apache-kafka-to-apache-pulsar/
StreamNative
Forwarded from DevBrain
Монументальный труд про построение бэкэнда на Python от Яндекса: https://habr.com/ru/company/yandex/blog/499534/
Хабр
Практическое руководство по разработке бэкенд-сервиса на Python
Привет, меня зовут Александр Васин, я бэкенд-разработчик в Едадиле. Идея этого материала началась с того, что я хотел разобрать вступительное задание ( Я.Диск ) в Школу бэкенд-разработки Яндекса. Я...
Մի քիչ հին պրեզենտացիա է ,բայց շատ հետաքրքիր կիրառում է #Spark օնլայն #ML համար։
https://youtu.be/wyfTjd9z1sY
https://youtu.be/wyfTjd9z1sY
YouTube
Prediction as a Service (Josef Habdank)
Data Science with SparkML on DataBricks is a perfect platform for application of Ensemble Learning on massive a scale. This talk will take you through a success story of development of a Prediction-as-a-Service platform which trains and predicts trends on…
#DataOps #DataGovernance
https://towardsdatascience.com/the-rise-of-dataops-from-the-ashes-of-data-governance-da3e0c3ac2c4
https://towardsdatascience.com/the-rise-of-dataops-from-the-ashes-of-data-governance-da3e0c3ac2c4
Medium
The Rise of DataOps (from the ashes of Data Governance)
Legacy Data Governance is broken in the ML era. Let’s rebuild it as an engineering discipline to drive orders-of-magnitude improvements