Շատ հետաքրքիր հոդված #columnar ֆորմատների և նրանց շուրջ էկոսիստեմի մասին
https://www.influxdata.com/blog/apache-arrow-parquet-flight-and-their-ecosystem-are-a-game-changer-for-olap/
https://www.influxdata.com/blog/apache-arrow-parquet-flight-and-their-ecosystem-are-a-game-changer-for-olap/
InfluxData
Apache Arrow, Parquet, and Flight are a Game Changer | InfluxData
Apache Arrow, a specification for an in-memory columnar data format, and associated projects: Parquet for compressed on-disk data, Flight for highly efficient RPC, and other projects for in-memory query processing will likely shape the future of OLAP a...
Մի հատ նորից ուզում եմ հասկանամ ալիքի աուդիտորիան։
Are you a
Are you a
Final Results
21%
Data engineer
6%
Data analytis/BI
21%
Data Scientist
23%
Backend engineer
30%
Other
Այժմ կարող եք ձեր տվյալները այլ բազաներից չտեղափոխել #Redshift այլ արտաքին սխեմա ստեղծել
https://aws.amazon.com/blogs/big-data/build-a-simplified-etl-and-live-data-query-solution-using-redshift-federated-query/
https://aws.amazon.com/blogs/big-data/build-a-simplified-etl-and-live-data-query-solution-using-redshift-federated-query/
Amazon
Build a Simplified ETL and Live Data Query Solution using Redshift Federated Query | Amazon Web Services
You may have heard the saying that the best ETL is no ETL. Amazon Redshift now makes this possible with Federated Query. In its initial release, this feature lets you query data in Amazon Aurora PostgreSQL or Amazon RDS for PostgreSQL using Amazon Redshift…
Շատ լավ դիտարկում #Scala անցյալի և ապագայի մասին
https://www.lihaoyi.com/post/TheDeathofHypeWhatsNextforScala.html
https://www.lihaoyi.com/post/TheDeathofHypeWhatsNextforScala.html
Forwarded from DataEng
Амазон запустил новый сервис Amazon AppFlow, облачный ETL по забору данных из SaaS продуктов в хранилища AWS: https://aws.amazon.com/ru/appflow/
Amazon
Интеграция SaaS – Amazon AppFlow – AWS
Amazon AppFlow – это сервис интеграции, который дает возможность безопасно передавать данные между приложениями SaaS и сервисами AWS без кода.
բավականին հարմար #opensource ծրագիր եմ գտել տարբեր գրառումներ կատարելու համար, նույնիսկ #cli ունի, ինչպես նաև #webclipper
https://joplinapp.org/
https://joplinapp.org/
#StreamingSQL գնալով ավելի շատ է տարածվում։ Այսօր ևս մի պլատֆորմի մասին իմացա
https://eventador.io/
Բայց բացի դրանից շատ նմանատիպ լուծումներ կան ինչպես օրինակ
https://materialize.io/
#KinesisDataAnalytics
#kSQL
և մի շարք այլ լուծումներ։
https://eventador.io/
Բայց բացի դրանից շատ նմանատիպ լուծումներ կան ինչպես օրինակ
https://materialize.io/
#KinesisDataAnalytics
#kSQL
և մի շարք այլ լուծումներ։
Cloudera
CDP Stream Processing: Streaming Data Solution | Cloudera
Create real-time streaming analytics applications to detect and respond to critical events that drive business outcomes with Cloudera Stream Processing.
Շատ լավ համեմատություն #Hudi և #DeltaLake միջև որոնք երկուսն էլ նոր նախագծեր են #DataLake կառուցելու համար
https://medium.com/@punchhtech/apache-hudi-vs-delta-lake-295c019fe3c5
https://medium.com/@punchhtech/apache-hudi-vs-delta-lake-295c019fe3c5
Medium
Apache HUDI vs Delta Lake
The tale of the two ACID platforms on Data Lakes
#Linux ով համակարգիչների և հատկապես լափթոփների արտադրողները գնալով շատանում են,և որակը նույնպես լավանում է
https://www.tuxedocomputers.com/en/Linux-Hardware/Linux-Notebooks/10-14-inch/TUXEDO-InfinityBook-S-14-v5.tuxedo#!#configurator
https://www.tuxedocomputers.com/en/Linux-Hardware/Linux-Notebooks/10-14-inch/TUXEDO-InfinityBook-S-14-v5.tuxedo#!#configurator
Tuxedocomputers
TUXEDO InfinityBook S 14 v5 - 14 inch non-glare Full-HD IPS + magnesium chassis + max. Intel Core i7-Quad-Core + max. 40GB RAM…
#Pulsar ի հետաքրքիր կիրառում որպես #Kafka ալտերնատիվ
https://streamnative.io/blog/tech/2020-04-21-from-apache-kafka-to-apache-pulsar/
https://streamnative.io/blog/tech/2020-04-21-from-apache-kafka-to-apache-pulsar/
StreamNative
Forwarded from DevBrain
Монументальный труд про построение бэкэнда на Python от Яндекса: https://habr.com/ru/company/yandex/blog/499534/
Хабр
Практическое руководство по разработке бэкенд-сервиса на Python
Привет, меня зовут Александр Васин, я бэкенд-разработчик в Едадиле. Идея этого материала началась с того, что я хотел разобрать вступительное задание ( Я.Диск ) в Школу бэкенд-разработки Яндекса. Я...
Մի քիչ հին պրեզենտացիա է ,բայց շատ հետաքրքիր կիրառում է #Spark օնլայն #ML համար։
https://youtu.be/wyfTjd9z1sY
https://youtu.be/wyfTjd9z1sY
YouTube
Prediction as a Service (Josef Habdank)
Data Science with SparkML on DataBricks is a perfect platform for application of Ensemble Learning on massive a scale. This talk will take you through a success story of development of a Prediction-as-a-Service platform which trains and predicts trends on…
#DataOps #DataGovernance
https://towardsdatascience.com/the-rise-of-dataops-from-the-ashes-of-data-governance-da3e0c3ac2c4
https://towardsdatascience.com/the-rise-of-dataops-from-the-ashes-of-data-governance-da3e0c3ac2c4
Medium
The Rise of DataOps (from the ashes of Data Governance)
Legacy Data Governance is broken in the ML era. Let’s rebuild it as an engineering discipline to drive orders-of-magnitude improvements
#Presto #book
https://www.starburstdata.com/oreilly-presto-guide-download/?utm_campaign=O%27Reilly%20Presto%20Book&utm_source=oreilly&utm_medium=newsletter&mkt_tok=eyJpIjoiTkRjMlltSXpabVprTWpFdyIsInQiOiJFQWppSXRpeFwvMndRTHI3dEp4Q2ZvSStQV2pkY3RkamE4UXZhNDkzVGlYMEZhaTJENFRibjlRUXdOVUl2MUlTWjBUdDAyeUwxamFza044c2tBU2g1UWkrbVl5c0dHaXZEdTFuWU1PQmZCMVBLbFwvM1FuNnVOdG8xV2cwKzBDVmErIn0%3D
https://www.starburstdata.com/oreilly-presto-guide-download/?utm_campaign=O%27Reilly%20Presto%20Book&utm_source=oreilly&utm_medium=newsletter&mkt_tok=eyJpIjoiTkRjMlltSXpabVprTWpFdyIsInQiOiJFQWppSXRpeFwvMndRTHI3dEp4Q2ZvSStQV2pkY3RkamE4UXZhNDkzVGlYMEZhaTJENFRibjlRUXdOVUl2MUlTWjBUdDAyeUwxamFza044c2tBU2g1UWkrbVl5c0dHaXZEdTFuWU1PQmZCMVBLbFwvM1FuNnVOdG8xV2cwKzBDVmErIn0%3D
Starburst
O'Reilly Trino Guide | Starburst
Hot off the press and valued at $69.99. Get your free digital copy from Starburst. ...
Շատ հավես #podcast #Linux #Fedora և #Lenovo ֆանատների համար։ Լիքը լավ նորություններ
https://podcasts.google.com/?feed=aHR0cHM6Ly9mZWVkcy5maXJlc2lkZS5mbS9saW51eGZvcmV2ZXJ5b25lL3Jzcw&ep=14&episode=OGEwY2NlNTUtYjM3NS00NWNiLTkxNGMtM2I4OTkxZDA4N2Nk
https://podcasts.google.com/?feed=aHR0cHM6Ly9mZWVkcy5maXJlc2lkZS5mbS9saW51eGZvcmV2ZXJ5b25lL3Jzcw&ep=14&episode=OGEwY2NlNTUtYjM3NS00NWNiLTkxNGMtM2I4OTkxZDA4N2Nk
Google Podcasts
Linux For Everyone - Episode 34: The Fedora + Lenovo Interview
The Fedora and Lenovo partnership is about more than just selling Thinkpads with Linux pre-installed. In this special video interview, Fedora lead Matthew Miller and Lenovo's Senior Linux Software Engineer Mark Pearson join me to discuss a TON of details.…
Forwarded from DataEng
Появились доклады с прошедших двух митапов по Data Engineering, последний, к слову, проходил онлайн 🦠:
— Николай Марков – Какие дата инженеры бывают и чего от них все хотят?
— Евгений Ермаков – Что под капотом у Яндекс.Такси?
— Егор Матешук – Обзор Lambda- и Kappa-архитектур
— Денис Хуртин – Как устроена платформа управления данными в Яндекс.Маркет?
Приятного просмотра!
— Николай Марков – Какие дата инженеры бывают и чего от них все хотят?
— Евгений Ермаков – Что под капотом у Яндекс.Такси?
— Егор Матешук – Обзор Lambda- и Kappa-архитектур
— Денис Хуртин – Как устроена платформа управления данными в Яндекс.Маркет?
Приятного просмотра!
YouTube
DE or DIE #1. Николай Марков – Какие дата инженеры бывают и чего от них все хотят?
Материалы всех наших митапов доступны на GitHub: https://github.com/deordie/deordie-meetups
Наш чат в Telegram: https://news.1rj.ru/str/deordie_chat
Новые события сообщества DE or DIE: https://deordie.timepad.ru/events/
Автор доклада: Николай Марков, Principal Architect…
Наш чат в Telegram: https://news.1rj.ru/str/deordie_chat
Новые события сообщества DE or DIE: https://deordie.timepad.ru/events/
Автор доклада: Николай Марков, Principal Architect…