Եթե #Hive եք օգտագործում #EMR վրա ապա հաստատ արժե օգտագործել
https://aws.amazon.com/blogs/big-data/apache-hive-is-2x-faster-with-hive-llap-on-emr-6-0-0/
https://aws.amazon.com/blogs/big-data/apache-hive-is-2x-faster-with-hive-llap-on-emr-6-0-0/
Amazon
Apache Hive is 2x faster with Hive LLAP on EMR 6.0.0 | Amazon Web Services
Customers use Apache Hive with Amazon EMR to provide SQL-based access to petabytes of data stored on Amazon S3. Amazon EMR 6.0.0 adds support for Hive LLAP, providing an average performance speedup of 2x over EMR 5.29, with up to 10x improvement on individual…
Շատ թույն գործիք եմ գտել #SQL նախագծերի #deployment և #versioning համար։ Կարծում եմ հարմար կլինի սրանով CI/CD կազմակերպել նմանատիպ նախագծերի համար
https://sqitch.org/
https://sqitch.org/
Եթե #Terraform և #AWS ից օգտվում եք կարծում եմ օգտակար կլինի. շարունակելով #dataops թեման
https://medium.com/xebia-engineering/best-practices-to-create-organize-terraform-code-for-aws-2f4162525a1a
https://medium.com/xebia-engineering/best-practices-to-create-organize-terraform-code-for-aws-2f4162525a1a
Medium
Best practices to create & organize Terraform code for AWS
Terraform best practices and how to adopt them
Շատ հետաքրքիր հոդված #columnar ֆորմատների և նրանց շուրջ էկոսիստեմի մասին
https://www.influxdata.com/blog/apache-arrow-parquet-flight-and-their-ecosystem-are-a-game-changer-for-olap/
https://www.influxdata.com/blog/apache-arrow-parquet-flight-and-their-ecosystem-are-a-game-changer-for-olap/
InfluxData
Apache Arrow, Parquet, and Flight are a Game Changer | InfluxData
Apache Arrow, a specification for an in-memory columnar data format, and associated projects: Parquet for compressed on-disk data, Flight for highly efficient RPC, and other projects for in-memory query processing will likely shape the future of OLAP a...
Մի հատ նորից ուզում եմ հասկանամ ալիքի աուդիտորիան։
Are you a
Are you a
Final Results
21%
Data engineer
6%
Data analytis/BI
21%
Data Scientist
23%
Backend engineer
30%
Other
Այժմ կարող եք ձեր տվյալները այլ բազաներից չտեղափոխել #Redshift այլ արտաքին սխեմա ստեղծել
https://aws.amazon.com/blogs/big-data/build-a-simplified-etl-and-live-data-query-solution-using-redshift-federated-query/
https://aws.amazon.com/blogs/big-data/build-a-simplified-etl-and-live-data-query-solution-using-redshift-federated-query/
Amazon
Build a Simplified ETL and Live Data Query Solution using Redshift Federated Query | Amazon Web Services
You may have heard the saying that the best ETL is no ETL. Amazon Redshift now makes this possible with Federated Query. In its initial release, this feature lets you query data in Amazon Aurora PostgreSQL or Amazon RDS for PostgreSQL using Amazon Redshift…
Շատ լավ դիտարկում #Scala անցյալի և ապագայի մասին
https://www.lihaoyi.com/post/TheDeathofHypeWhatsNextforScala.html
https://www.lihaoyi.com/post/TheDeathofHypeWhatsNextforScala.html
Forwarded from DataEng
Амазон запустил новый сервис Amazon AppFlow, облачный ETL по забору данных из SaaS продуктов в хранилища AWS: https://aws.amazon.com/ru/appflow/
Amazon
Интеграция SaaS – Amazon AppFlow – AWS
Amazon AppFlow – это сервис интеграции, который дает возможность безопасно передавать данные между приложениями SaaS и сервисами AWS без кода.
բավականին հարմար #opensource ծրագիր եմ գտել տարբեր գրառումներ կատարելու համար, նույնիսկ #cli ունի, ինչպես նաև #webclipper
https://joplinapp.org/
https://joplinapp.org/
#StreamingSQL գնալով ավելի շատ է տարածվում։ Այսօր ևս մի պլատֆորմի մասին իմացա
https://eventador.io/
Բայց բացի դրանից շատ նմանատիպ լուծումներ կան ինչպես օրինակ
https://materialize.io/
#KinesisDataAnalytics
#kSQL
և մի շարք այլ լուծումներ։
https://eventador.io/
Բայց բացի դրանից շատ նմանատիպ լուծումներ կան ինչպես օրինակ
https://materialize.io/
#KinesisDataAnalytics
#kSQL
և մի շարք այլ լուծումներ։
Cloudera
CDP Stream Processing: Streaming Data Solution | Cloudera
Create real-time streaming analytics applications to detect and respond to critical events that drive business outcomes with Cloudera Stream Processing.