🔵 عنوان مقاله
Apache Gravitino (GitHub Repo)
🟢 خلاصه مقاله:
Apache Gravitino با انتشار نسخه 1.0 بهعنوان یک جایگزین متنباز برای Unity Catalog معرفی شده که بهجای جایگزینی، در کنار Unity Catalog و حاکمیت داده Snowflake کار میکند. این پروژه بهعنوان یک لایه بالادستی بر چندین سیستم عمل میکند و یک نمای یکپارچه از داراییهای داده و ML فراهم میسازد. Gravitino روی اکوسیستمهای متنوعی مثل Hive، Iceberg، Kafka، S3 و رجیستریهای مدل ML کار میکند و کانکتورهای آماده برای پلتفرمهای مختلف و MCP servers دارد. هدف آن، یکپارچهسازی کشف، کاتالوگ و مدیریت حاکمیت در محیطهای ناهمگون است، بدون ایجاد قفل فناوری و در عین حال قابل استفاده در کنار ابزارهای موجود. این پروژه از طریق GitHub در دسترس است.
#ApacheGravitino #DataCatalog #DataGovernance #OpenSource #UnityCatalog #Kafka #Iceberg #S3
🟣لینک مقاله:
https://github.com/apache/gravitino?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Apache Gravitino (GitHub Repo)
🟢 خلاصه مقاله:
Apache Gravitino با انتشار نسخه 1.0 بهعنوان یک جایگزین متنباز برای Unity Catalog معرفی شده که بهجای جایگزینی، در کنار Unity Catalog و حاکمیت داده Snowflake کار میکند. این پروژه بهعنوان یک لایه بالادستی بر چندین سیستم عمل میکند و یک نمای یکپارچه از داراییهای داده و ML فراهم میسازد. Gravitino روی اکوسیستمهای متنوعی مثل Hive، Iceberg، Kafka، S3 و رجیستریهای مدل ML کار میکند و کانکتورهای آماده برای پلتفرمهای مختلف و MCP servers دارد. هدف آن، یکپارچهسازی کشف، کاتالوگ و مدیریت حاکمیت در محیطهای ناهمگون است، بدون ایجاد قفل فناوری و در عین حال قابل استفاده در کنار ابزارهای موجود. این پروژه از طریق GitHub در دسترس است.
#ApacheGravitino #DataCatalog #DataGovernance #OpenSource #UnityCatalog #Kafka #Iceberg #S3
🟣لینک مقاله:
https://github.com/apache/gravitino?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
GitHub
GitHub - apache/gravitino: World's most powerful open data catalog for building a high-performance, geo-distributed and federated…
World's most powerful open data catalog for building a high-performance, geo-distributed and federated metadata lake. - apache/gravitino
Forwarded from Future Pulse Persian
♨️ راز خواب 12 ساعته پاول دورف؛ جایی که ایدههای تلگرام شکل میگیرن!
▪️پاول دورف، مدیرعامل تلگرام، گفته روزی بین ۱۱ تا ۱۲ ساعت میخوابه ، و جالبه که اینو نه تنبلی، بلکه منبع اصلی ایدههای درخشانش میدونه!
▪️دورف صبحها حتی سراغ گوشی هم نمیره، چون معتقده موبایلها جلوی تفکر مستقل رو میگیرن.
خودش میگه:
♨️ راز خواب 12 ساعته پاول دورف؛ جایی که ایدههای تلگرام شکل میگیرن!
▪️پاول دورف، مدیرعامل تلگرام، گفته روزی بین ۱۱ تا ۱۲ ساعت میخوابه ، و جالبه که اینو نه تنبلی، بلکه منبع اصلی ایدههای درخشانش میدونه!
▪️دورف صبحها حتی سراغ گوشی هم نمیره، چون معتقده موبایلها جلوی تفکر مستقل رو میگیرن.
خودش میگه:
«میخوام خودم تصمیم بگیرم چی تو زندگیم مهمه، نه اینکه شرکتها یا الگوریتمها برام تعیین کنن.»
🔵 عنوان مقاله
Implementing a Kalman Filter in Postgres to Smooth GPS Data
🟢 خلاصه مقاله:
** این مقاله نشان میدهد چگونه میتوان Kalman Filter را مستقیماً داخل Postgres پیادهسازی کرد تا دادههای GPS پرنوسان را هموار کرد، بدون نیاز به خروج دادهها به ابزارهای بیرونی. با اجرای مراحل پیشبینی و بهروزرسانی در SQL/PLpgSQL و استفاده از مرتبسازی زمانی و پارتیشنبندی بر اساس دستگاه، صافسازی در همان جایی انجام میشود که دادهها ذخیره شدهاند. نتیجه، مسیرهای روانتر، برآوردهای دقیقتر سرعت/جهت، و سادهتر شدن خط لوله برای کاربردهایی مثل ناوگان و IoT است. همانطور که Thorsten Rieß اشاره میکند، این کاری غیرمعمول در SQL است، اما بهدلیل بازتولیدپذیری، تراکنشی بودن و ادغام آسان با PostGIS و نماها، راهکاری عملی و قدرتمند محسوب میشود.
#KalmanFilter #Postgres #SQL #GPS #PostGIS #TimeSeries #DataSmoothing #IoT
🟣لینک مقاله:
https://postgresweekly.com/link/175098/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Implementing a Kalman Filter in Postgres to Smooth GPS Data
🟢 خلاصه مقاله:
** این مقاله نشان میدهد چگونه میتوان Kalman Filter را مستقیماً داخل Postgres پیادهسازی کرد تا دادههای GPS پرنوسان را هموار کرد، بدون نیاز به خروج دادهها به ابزارهای بیرونی. با اجرای مراحل پیشبینی و بهروزرسانی در SQL/PLpgSQL و استفاده از مرتبسازی زمانی و پارتیشنبندی بر اساس دستگاه، صافسازی در همان جایی انجام میشود که دادهها ذخیره شدهاند. نتیجه، مسیرهای روانتر، برآوردهای دقیقتر سرعت/جهت، و سادهتر شدن خط لوله برای کاربردهایی مثل ناوگان و IoT است. همانطور که Thorsten Rieß اشاره میکند، این کاری غیرمعمول در SQL است، اما بهدلیل بازتولیدپذیری، تراکنشی بودن و ادغام آسان با PostGIS و نماها، راهکاری عملی و قدرتمند محسوب میشود.
#KalmanFilter #Postgres #SQL #GPS #PostGIS #TimeSeries #DataSmoothing #IoT
🟣لینک مقاله:
https://postgresweekly.com/link/175098/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Neon
Implementing a Kalman Filter in Postgres to Smooth GPS Data - Neon
An open-source project that implements a Kalman Filter in Postgres to clean up noisy GPS data directly in the database.
❤1
🔵 عنوان مقاله
How Kafka Works (20 minute read)
🟢 خلاصه مقاله:
Apache Kafka یک پلتفرم متنباز پیامرسانی و رویدادمحور است که رکوردهای key-value را در logهای افزایشی و تغییرناپذیر ذخیره میکند. دادهها در topicها سازماندهی و بین partitionها توزیع میشوند تا مقیاسپذیری افقی و پردازش موازی فراهم شود. ترتیب پیامها در هر partition حفظ میشود، و مصرفکنندهها با تکیه بر offset میتوانند بازپخش دقیق داده و بازیابی وضعیت انجام دهند؛ علاوهبر نگهداشت (retention)، log compaction آخرین رکورد هر key را نگه میدارد. کلاستر Kafka معمولاً حداقل سه broker دارد؛ هر partition یک leader و چند follower دارد و با ضریب تکرار پیشفرض 3 همتابی میشود. نوشتنها به leader انجام میشود و followerها همگامسازی میکنند؛ پایداری با تنظیماتی مانند acks=all و مجموعه ISR کنترل میشود. مدل pull در مصرف به مدیریت backpressure کمک میکند و consumer groupها امکان مقیاسپذیری و تحمل خطا را فراهم میسازند. Kafka بهصورت پیشفرض تحویل at-least-once ارائه میدهد و با idempotent producer و تراکنشها به exactly-once میرسد. در معماری مدرن، پروتکل KRaft جایگزین ZooKeeper شده و هماهنگی، انتخابات leader و بازیابی را در خود Kafka متمرکز میکند و عملیات را ساده و سریعتر میسازد.
#ApacheKafka #KRaft #ZooKeeper #DistributedSystems #EventStreaming #Scalability #FaultTolerance #Messaging
🟣لینک مقاله:
https://newsletter.systemdesign.one/p/how-kafka-works?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
How Kafka Works (20 minute read)
🟢 خلاصه مقاله:
Apache Kafka یک پلتفرم متنباز پیامرسانی و رویدادمحور است که رکوردهای key-value را در logهای افزایشی و تغییرناپذیر ذخیره میکند. دادهها در topicها سازماندهی و بین partitionها توزیع میشوند تا مقیاسپذیری افقی و پردازش موازی فراهم شود. ترتیب پیامها در هر partition حفظ میشود، و مصرفکنندهها با تکیه بر offset میتوانند بازپخش دقیق داده و بازیابی وضعیت انجام دهند؛ علاوهبر نگهداشت (retention)، log compaction آخرین رکورد هر key را نگه میدارد. کلاستر Kafka معمولاً حداقل سه broker دارد؛ هر partition یک leader و چند follower دارد و با ضریب تکرار پیشفرض 3 همتابی میشود. نوشتنها به leader انجام میشود و followerها همگامسازی میکنند؛ پایداری با تنظیماتی مانند acks=all و مجموعه ISR کنترل میشود. مدل pull در مصرف به مدیریت backpressure کمک میکند و consumer groupها امکان مقیاسپذیری و تحمل خطا را فراهم میسازند. Kafka بهصورت پیشفرض تحویل at-least-once ارائه میدهد و با idempotent producer و تراکنشها به exactly-once میرسد. در معماری مدرن، پروتکل KRaft جایگزین ZooKeeper شده و هماهنگی، انتخابات leader و بازیابی را در خود Kafka متمرکز میکند و عملیات را ساده و سریعتر میسازد.
#ApacheKafka #KRaft #ZooKeeper #DistributedSystems #EventStreaming #Scalability #FaultTolerance #Messaging
🟣لینک مقاله:
https://newsletter.systemdesign.one/p/how-kafka-works?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
newsletter.systemdesign.one
How Kafka Works
#91: Learn Everything About Apache Kafka’s Architecture, Including Brokers, KRaft, Topic Partitions, Tiered Storage, Exactly Once, Kafka Connect, Kafka Schema Registry and Kafka Streams
🎉1
🔵 عنوان مقاله
Stateless Postgres Query Router (SPQR) 2.7
🟢 خلاصه مقاله:
** SPQR 2.7 یک Stateless Postgres Query Router است که رویکردی عملی برای افقیسازی از طریق sharding ارائه میدهد و ابتدا در Yandex Cloud شکل گرفته است. این مدل با قراردادن یک لایه مسیریاب بین برنامهها و مجموعهای از shardهای Postgres، مسیریابی پرسوجو را متمرکز و مقیاسپذیری افقی را ساده میکند؛ ماهیت stateless آن نیز استقرار پشت Load Balancer، افزونگی و ارتقای بدون دردسر را ممکن میسازد. انتخاب کلید sharding، بازتوزیع داده و مدیریت پرسوجوهای چند-shard از چالشهای عملیاتی آن است، اما جداسازی مسئولیتها بین لایه مسیریابی و لایه ذخیرهسازی، مسیر روشنی برای رشد مقیاس فراهم میکند. نسخه 2.7 نشاندهنده بلوغ این الگو و تناسب آن با محیطهای cloud-native است، بیآنکه نیاز به ترک اکوسیستم Postgres باشد.
#Postgres #SPQR #YandexCloud #Sharding #DatabaseScaling #DistributedSystems #StatelessArchitecture #PostgreSQL
🟣لینک مقاله:
https://postgresweekly.com/link/174476/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Stateless Postgres Query Router (SPQR) 2.7
🟢 خلاصه مقاله:
** SPQR 2.7 یک Stateless Postgres Query Router است که رویکردی عملی برای افقیسازی از طریق sharding ارائه میدهد و ابتدا در Yandex Cloud شکل گرفته است. این مدل با قراردادن یک لایه مسیریاب بین برنامهها و مجموعهای از shardهای Postgres، مسیریابی پرسوجو را متمرکز و مقیاسپذیری افقی را ساده میکند؛ ماهیت stateless آن نیز استقرار پشت Load Balancer، افزونگی و ارتقای بدون دردسر را ممکن میسازد. انتخاب کلید sharding، بازتوزیع داده و مدیریت پرسوجوهای چند-shard از چالشهای عملیاتی آن است، اما جداسازی مسئولیتها بین لایه مسیریابی و لایه ذخیرهسازی، مسیر روشنی برای رشد مقیاس فراهم میکند. نسخه 2.7 نشاندهنده بلوغ این الگو و تناسب آن با محیطهای cloud-native است، بیآنکه نیاز به ترک اکوسیستم Postgres باشد.
#Postgres #SPQR #YandexCloud #Sharding #DatabaseScaling #DistributedSystems #StatelessArchitecture #PostgreSQL
🟣لینک مقاله:
https://postgresweekly.com/link/174476/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
GitHub
GitHub - pg-sharding/spqr: Stateless Postgres Query Router.
Stateless Postgres Query Router. Contribute to pg-sharding/spqr development by creating an account on GitHub.
🔵 عنوان مقاله
Postgres Migrations Using Logical Replication (7 minute read)
🟢 خلاصه مقاله:
مهاجرت پایگاهدادههای بزرگ Postgres بدون توقف طولانی دشوار است؛ بهویژه در RDS که دسترسی مستقیم به WAL وجود ندارد. روشهای سنتی مانند pg_dump/pg_restore برای دادههای کم مناسباند اما در مقیاس ترابایتی باعث قطعی طولانی میشوند. پشتیبانگیری فیزیکی مبتنی بر WAL برای کلونگیری مفید است، اما در جابهجایی منطقی، تغییرات طرح، یا مهاجرت بین پلتفرمها کارایی ندارد و معمولاً به دسترسی WAL نیاز دارد.
راهحل عملی، logical replication است: پس از همگامسازی اولیه، تغییرات ردیفی بهصورت پیوسته به مقصد استریم میشود تا در زمان برش نهایی، فقط وقفهای کوتاه نیاز باشد. با این حال، logical replication طرح، ایندکسها و sequences را منتقل نمیکند؛ بنابراین باید طرح و ایندکسها را از قبل در مقصد بسازید و sequences را پیش از برش با setval همگام کنید. وجود کلید اصلی یا تنظیم مناسب REPLICA IDENTITY، پایش تاخیر تکرار و مدیریت تراکنشهای بلندمدت ضروری است.
طرح کلی مهاجرت شامل این مراحل است: آمادهسازی مقصد و اعمال طرح؛ بارگذاری اولیه داده (مثلاً با pg_dump --data-only و اجرای موازی)؛ ایجاد PUBLICATION در مبدأ و SUBSCRIPTION در مقصد؛ پایش pg_stat_subnoscription و اعتبارسنجی داده؛ سپس توقف موقت نوشتن، صبر تا صفر شدن تاخیر، همترازی sequences، سوئیچ برنامه به مقصد و نگهداشتن مبدأ در حالت فقطخواندنی برای بازگشت احتمالی. همچنین باید سازگاری نسخهها، پهنایباند شبکه، و محدودیتهای RDS را در نظر بگیرید. برای Postgres-to-Postgres، logical replication معمولاً کمهزینهترین مسیر به مهاجرت با توقف حداقلی است.
#Postgres #LogicalReplication #DatabaseMigration #ZeroDowntime #AWSRDS #WAL #pg_dump #DevOps
🟣لینک مقاله:
https://www.crunchydata.com/blog/postgres-migrations-using-logical-replication?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Postgres Migrations Using Logical Replication (7 minute read)
🟢 خلاصه مقاله:
مهاجرت پایگاهدادههای بزرگ Postgres بدون توقف طولانی دشوار است؛ بهویژه در RDS که دسترسی مستقیم به WAL وجود ندارد. روشهای سنتی مانند pg_dump/pg_restore برای دادههای کم مناسباند اما در مقیاس ترابایتی باعث قطعی طولانی میشوند. پشتیبانگیری فیزیکی مبتنی بر WAL برای کلونگیری مفید است، اما در جابهجایی منطقی، تغییرات طرح، یا مهاجرت بین پلتفرمها کارایی ندارد و معمولاً به دسترسی WAL نیاز دارد.
راهحل عملی، logical replication است: پس از همگامسازی اولیه، تغییرات ردیفی بهصورت پیوسته به مقصد استریم میشود تا در زمان برش نهایی، فقط وقفهای کوتاه نیاز باشد. با این حال، logical replication طرح، ایندکسها و sequences را منتقل نمیکند؛ بنابراین باید طرح و ایندکسها را از قبل در مقصد بسازید و sequences را پیش از برش با setval همگام کنید. وجود کلید اصلی یا تنظیم مناسب REPLICA IDENTITY، پایش تاخیر تکرار و مدیریت تراکنشهای بلندمدت ضروری است.
طرح کلی مهاجرت شامل این مراحل است: آمادهسازی مقصد و اعمال طرح؛ بارگذاری اولیه داده (مثلاً با pg_dump --data-only و اجرای موازی)؛ ایجاد PUBLICATION در مبدأ و SUBSCRIPTION در مقصد؛ پایش pg_stat_subnoscription و اعتبارسنجی داده؛ سپس توقف موقت نوشتن، صبر تا صفر شدن تاخیر، همترازی sequences، سوئیچ برنامه به مقصد و نگهداشتن مبدأ در حالت فقطخواندنی برای بازگشت احتمالی. همچنین باید سازگاری نسخهها، پهنایباند شبکه، و محدودیتهای RDS را در نظر بگیرید. برای Postgres-to-Postgres، logical replication معمولاً کمهزینهترین مسیر به مهاجرت با توقف حداقلی است.
#Postgres #LogicalReplication #DatabaseMigration #ZeroDowntime #AWSRDS #WAL #pg_dump #DevOps
🟣لینک مقاله:
https://www.crunchydata.com/blog/postgres-migrations-using-logical-replication?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Crunchy Data
Postgres Migrations Using Logical Replication | Crunchy Data Blog
Instructions and tips for using logical replication to migrate Postgres to a new platform or host.
🔵 عنوان مقاله
a behind-the-scenes look at EDB's program
🟢 خلاصه مقاله:
نگاهی پشتصحنه به برنامه EDB برای جذب و توانمندسازی مشارکتکنندگان جدید Postgres در شرکت ارائه میدهد. این برنامه با آموزش ساختاریافته، منتورینگ مستمر و استانداردسازی ابزار و گردشکار، ورود به جامعه متنباز را سادهتر میکند و زمان رسیدن به اولین مشارکت را کاهش میدهد. مسیر رشد با نقاط عطف مشخص (از اولین باگ و پچ تا پذیرش در بالادست) سنجیده میشود و بازخوردها مداوماً به بهبود فرآیند میانجامد. نتیجه، تقویت مهارت فردی و همسویی با هنجارهای جامعه Postgres و در نهایت پایداری و کیفیت بالاتر اکوسیستم است.
#Postgres #EDB #OpenSource #Onboarding #DeveloperExperience #OSSContributions #Mentorship #Databases
🟣لینک مقاله:
https://postgresweekly.com/link/175092/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
a behind-the-scenes look at EDB's program
🟢 خلاصه مقاله:
نگاهی پشتصحنه به برنامه EDB برای جذب و توانمندسازی مشارکتکنندگان جدید Postgres در شرکت ارائه میدهد. این برنامه با آموزش ساختاریافته، منتورینگ مستمر و استانداردسازی ابزار و گردشکار، ورود به جامعه متنباز را سادهتر میکند و زمان رسیدن به اولین مشارکت را کاهش میدهد. مسیر رشد با نقاط عطف مشخص (از اولین باگ و پچ تا پذیرش در بالادست) سنجیده میشود و بازخوردها مداوماً به بهبود فرآیند میانجامد. نتیجه، تقویت مهارت فردی و همسویی با هنجارهای جامعه Postgres و در نهایت پایداری و کیفیت بالاتر اکوسیستم است.
#Postgres #EDB #OpenSource #Onboarding #DeveloperExperience #OSSContributions #Mentorship #Databases
🟣لینک مقاله:
https://postgresweekly.com/link/175092/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
EDB
Barcelona beginnings: onboarding new PostgreSQL contributors
PostgreSQL is at the core of what we do at EDB, and several people here work on PostgreSQL full-time. However becoming a contributor and being successful in your contributions is not an easy task. That’s why PostgreSQL powerhouse Andrew Dunstan kicked off…
🔵 عنوان مقاله
a visual explainer of processes and threads
🟢 خلاصه مقاله:
** این مقاله با یک توضیح تصویری، تفاوتهای بنیادین بین فرآیند و رشته را توضیح میدهد: فرآیندها فضای حافظهای جدا دارند و ارتباطشان از طریق مکانیزمهای سیستمعامل انجام میشود، در حالیکه رشتهها داخل یک فرآیند حافظه مشترک دارند، ارتباطشان سریعتر است اما ریسک تداخل و خرابی گستردهتر میشود. سپس این دیدگاه به معماری پایگاههای داده تعمیم داده میشود: Postgres از مدل process-per-connection با فرآیندهای جداگانه برای هر اتصال و حافظه مشترک برای هماهنگی استفاده میکند؛ MySQL در یک mysqld واحد با مدل thread-per-connection (یا thread pool) و رشتههای متعدد اجرا میشود. نتیجه مقایسه: Postgres ایزولاسیون قویتری در سطح حافظه دارد اما سربار هر اتصال بیشتر است و خرابی یک backend میتواند به بازراهاندازی برای حفظ سازگاری منجر شود؛ MySQL از نظر حافظه برای اتصالات زیاد بهینهتر و تعویض متن در آن سریعتر است، ولی خطا یا ازدحام در یک رشته میتواند کل فرایند را متاثر کند و نیازمند تنظیم دقیق برای جلوگیری از رقابت قفلهاست. در عمل، هر دو با ابزارهای connection pooling مانند PgBouncer و ProxySQL افراطها را تعدیل میکنند و انتخاب نهایی به اولویتهای بارکاری بین ایزولاسیون/قابلیت مشاهده در برابر بازده و مقیاسپذیری اتصال بستگی دارد.
#OperatingSystems #Concurrency #Postgres #MySQL #DatabaseArchitecture #Threads #Processes #Performance
🟣لینک مقاله:
https://postgresweekly.com/link/174753/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
a visual explainer of processes and threads
🟢 خلاصه مقاله:
** این مقاله با یک توضیح تصویری، تفاوتهای بنیادین بین فرآیند و رشته را توضیح میدهد: فرآیندها فضای حافظهای جدا دارند و ارتباطشان از طریق مکانیزمهای سیستمعامل انجام میشود، در حالیکه رشتهها داخل یک فرآیند حافظه مشترک دارند، ارتباطشان سریعتر است اما ریسک تداخل و خرابی گستردهتر میشود. سپس این دیدگاه به معماری پایگاههای داده تعمیم داده میشود: Postgres از مدل process-per-connection با فرآیندهای جداگانه برای هر اتصال و حافظه مشترک برای هماهنگی استفاده میکند؛ MySQL در یک mysqld واحد با مدل thread-per-connection (یا thread pool) و رشتههای متعدد اجرا میشود. نتیجه مقایسه: Postgres ایزولاسیون قویتری در سطح حافظه دارد اما سربار هر اتصال بیشتر است و خرابی یک backend میتواند به بازراهاندازی برای حفظ سازگاری منجر شود؛ MySQL از نظر حافظه برای اتصالات زیاد بهینهتر و تعویض متن در آن سریعتر است، ولی خطا یا ازدحام در یک رشته میتواند کل فرایند را متاثر کند و نیازمند تنظیم دقیق برای جلوگیری از رقابت قفلهاست. در عمل، هر دو با ابزارهای connection pooling مانند PgBouncer و ProxySQL افراطها را تعدیل میکنند و انتخاب نهایی به اولویتهای بارکاری بین ایزولاسیون/قابلیت مشاهده در برابر بازده و مقیاسپذیری اتصال بستگی دارد.
#OperatingSystems #Concurrency #Postgres #MySQL #DatabaseArchitecture #Threads #Processes #Performance
🟣لینک مقاله:
https://postgresweekly.com/link/174753/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Planetscale
Processes and Threads — PlanetScale
Processes and threads are fundamental abstrations for operating systems. Learn how they work and how they impact database performance in this interactive article.
خبر های PostgreSQL ای
نسخه های جدید:
ابزار pgwatch: مانیتورینگ PostgreSQL برای جمعآوری و نمایش متریکهای عملکرد دیتابیس.
ابزار Autobase: مدیریت خودکار نسخهبندی (schema migrations) و تغییرات ساختار
افزونه pg_stat_kcache 2.3.1:مشاهده مصرف CPU و I/O کوئریها از طریق kernel.
نسخه های جدید:
ابزار pgwatch: مانیتورینگ PostgreSQL برای جمعآوری و نمایش متریکهای عملکرد دیتابیس.
ابزار Autobase: مدیریت خودکار نسخهبندی (schema migrations) و تغییرات ساختار
افزونه pg_stat_kcache 2.3.1:مشاهده مصرف CPU و I/O کوئریها از طریق kernel.
🔵 عنوان مقاله
PG Back Web 0.5: A Postgres Backup System with Web Interface
🟢 خلاصه مقاله:
PG Back Web 0.5 یک اپ مبتنی بر Go است که با یک رابط وب کاربرپسند، مدیریت پشتیبانگیریهای Postgres را ساده میکند. این ابزار امکان زمانبندی بکاپها (از جمله ذخیره به S3)، پایش وضعیت بکاپها و اتصال رویدادها از طریق Webhookها را فراهم میکند. بهصورت Docker image ارائه شده و اکنون از Postgres 18 نیز پشتیبانی میکند و برای تیمهایی مناسب است که میخواهند فرایند بکاپ را استاندارد، قابل مشاهده و خودکار کنند.
#Postgres #DatabaseBackups #GoLang #S3 #Docker #DevOps #WebInterface #DataProtection
🟣لینک مقاله:
https://postgresweekly.com/link/175102/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
PG Back Web 0.5: A Postgres Backup System with Web Interface
🟢 خلاصه مقاله:
PG Back Web 0.5 یک اپ مبتنی بر Go است که با یک رابط وب کاربرپسند، مدیریت پشتیبانگیریهای Postgres را ساده میکند. این ابزار امکان زمانبندی بکاپها (از جمله ذخیره به S3)، پایش وضعیت بکاپها و اتصال رویدادها از طریق Webhookها را فراهم میکند. بهصورت Docker image ارائه شده و اکنون از Postgres 18 نیز پشتیبانی میکند و برای تیمهایی مناسب است که میخواهند فرایند بکاپ را استاندارد، قابل مشاهده و خودکار کنند.
#Postgres #DatabaseBackups #GoLang #S3 #Docker #DevOps #WebInterface #DataProtection
🟣لینک مقاله:
https://postgresweekly.com/link/175102/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
GitHub
GitHub - eduardolat/pgbackweb: 🐘 Effortless PostgreSQL backups with a user-friendly web interface! 🌐💾
🐘 Effortless PostgreSQL backups with a user-friendly web interface! 🌐💾 - eduardolat/pgbackweb
🔵 عنوان مقاله
Switching Me Softly (7 minute read)
🟢 خلاصه مقاله:
فریشا با ساخت یک چارچوب ارکستریشن خودکار و قابلپیکربندی، بیش از ۲۰ پایگاهداده حیاتی PostgreSQL را از PG12 به PG17 با صفر downtime و بدون از دستدادن داده ارتقا داد. این راهکار با اسکریپتهای مبتنیبر YAML، مهاجرتهای تکرارپذیر و قابل بازگشت را ممکن کرد و چالشهای حساس نظیر مدیریت Debezium CDC، حفظ ترتیب رویدادهای outbox، کنترل replication slotها و اجرای cutoverهای روان با PgBouncer را پوشش داد. در نتیجه، محدودیتهای RDS Blue/Green و ارتقای درجا برطرف شد و یک الگوی پایدار برای ارتقاهای آینده در محیط تولید شکل گرفت.
#PostgreSQL #ZeroDowntime #DatabaseMigration #Debezium #CDC #PgBouncer #YAML #RDSBlueGreen
🟣لینک مقاله:
https://medium.com/fresha-data-engineering/switching-me-softly-cb404d02c28b?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Switching Me Softly (7 minute read)
🟢 خلاصه مقاله:
فریشا با ساخت یک چارچوب ارکستریشن خودکار و قابلپیکربندی، بیش از ۲۰ پایگاهداده حیاتی PostgreSQL را از PG12 به PG17 با صفر downtime و بدون از دستدادن داده ارتقا داد. این راهکار با اسکریپتهای مبتنیبر YAML، مهاجرتهای تکرارپذیر و قابل بازگشت را ممکن کرد و چالشهای حساس نظیر مدیریت Debezium CDC، حفظ ترتیب رویدادهای outbox، کنترل replication slotها و اجرای cutoverهای روان با PgBouncer را پوشش داد. در نتیجه، محدودیتهای RDS Blue/Green و ارتقای درجا برطرف شد و یک الگوی پایدار برای ارتقاهای آینده در محیط تولید شکل گرفت.
#PostgreSQL #ZeroDowntime #DatabaseMigration #Debezium #CDC #PgBouncer #YAML #RDSBlueGreen
🟣لینک مقاله:
https://medium.com/fresha-data-engineering/switching-me-softly-cb404d02c28b?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Medium
Switching me Softly
Zero-downtime PostgreSQL 12→17 upgrade at Fresha: RDS snapshots, logical replication, PgBouncer tricks & Debezium orchestration.
❤1
🔵 عنوان مقاله
Introducing Microsoft Agent Framework: The Open-Source Engine for Agentic AI Apps (13 minute read)
🟢 خلاصه مقاله:
مایکروسافت نسخه پیشنمایشِ متنبازِ Microsoft Agent Framework را منتشر کرده که با یکپارچهسازی قابلیتهای Semantic Kernel و AutoGen، توسعه اپلیکیشنهای عاملمحور را برای Python و .NET ساده میکند. این چارچوب امکان ساخت سریع عاملها را با کمتر از ۲۰ خط کد فراهم میکند و الگوهای ارکستراسیون مانند اجرای ترتیبی و همزمان، گفتوگوی گروهی و تحویل مسئولیت بین عاملها را با دوام در سطح تولید ارائه میدهد. همچنین با Azure AI و Visual Studio Code یکپارچه است و برای نیازهای سازمانی، اتصالهای MCP و اجزای پلاگگونه جهت گسترش و اتصال به سیستمهای موجود را فراهم میکند. هدف اصلی، یکنواختسازی تجربهی توسعه و تسهیل گذار از نمونهسازی سریع به استقرارهای پایدار و مقیاسپذیر است.
#Microsoft #AgentFramework #AgenticAI #SemanticKernel #AutoGen #Python #dotnet #AzureAI
🟣لینک مقاله:
https://devblogs.microsoft.com/foundry/introducing-microsoft-agent-framework-the-open-source-engine-for-agentic-ai-apps/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Introducing Microsoft Agent Framework: The Open-Source Engine for Agentic AI Apps (13 minute read)
🟢 خلاصه مقاله:
مایکروسافت نسخه پیشنمایشِ متنبازِ Microsoft Agent Framework را منتشر کرده که با یکپارچهسازی قابلیتهای Semantic Kernel و AutoGen، توسعه اپلیکیشنهای عاملمحور را برای Python و .NET ساده میکند. این چارچوب امکان ساخت سریع عاملها را با کمتر از ۲۰ خط کد فراهم میکند و الگوهای ارکستراسیون مانند اجرای ترتیبی و همزمان، گفتوگوی گروهی و تحویل مسئولیت بین عاملها را با دوام در سطح تولید ارائه میدهد. همچنین با Azure AI و Visual Studio Code یکپارچه است و برای نیازهای سازمانی، اتصالهای MCP و اجزای پلاگگونه جهت گسترش و اتصال به سیستمهای موجود را فراهم میکند. هدف اصلی، یکنواختسازی تجربهی توسعه و تسهیل گذار از نمونهسازی سریع به استقرارهای پایدار و مقیاسپذیر است.
#Microsoft #AgentFramework #AgenticAI #SemanticKernel #AutoGen #Python #dotnet #AzureAI
🟣لینک مقاله:
https://devblogs.microsoft.com/foundry/introducing-microsoft-agent-framework-the-open-source-engine-for-agentic-ai-apps/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Microsoft News
Introducing Microsoft Agent Framework: The Open-Source Engine for Agentic AI Apps
Why agents need a new foundation Over the last year, developers have been experimenting with AI agents in every imaginable form. Agents are not just chatbots or copilots — they are autonomous software components that can reason about goals, call tools and…
🔵 عنوان مقاله
How I Learned to Use wal_inspect
🟢 خلاصه مقاله:
این نوشته روایت یادگیری کار با pg_walinspect برای خواندن و فهمیدن رفتار write-ahead log در PostgreSQL است. نویسنده نشان میدهد چطور میتوان با کوئری گرفتن از WAL در بازههای مشخص LSN، الگوی فعالیت سیستم را دید: از نقش checkpointها و full-page writeها تا اثر autovacuum، split شدن ایندکسها، بارگذاریهای حجیم و منشأ افزایش I/O. مزیت pg_walinspect این است که داخل دیتابیس و با SQL میشود دادهها را خلاصه و فیلتر کرد و با زمان و متریکهای مانیتورینگ تطبیق داد، بدون خروج به ابزارهای بیرونی.
رویکرد پیشنهادی این است: بازه زمانی/LSN را محدود کنید، ابتدا خلاصهها را ببینید و سپس در صورت نیاز به جزئیات بروید؛ هنگام عیبیابی، روی resource managerهای مرتبط تمرکز کنید و الگوهای WAL را با لاگها و نمایههای آماری مثل pg_stat همراستا کنید. محدودیت اصلی این است که محتوای سطرها را نمیبینید و فقط به فراداده دسترسی دارید، اما همین برای ساختن و آزمودن فرضیهها کافی است. در نتیجه، pg_walinspect ابزار کمهزینه و امنی برای بهبود observability، کاهش زمان رفع اشکال و فهم عمیقتر رفتار PostgreSQL محسوب میشود.
#PostgreSQL #WAL #pg_walinspect #DatabaseInternals #Observability #Performance #Replication
🟣لینک مقاله:
https://postgresweekly.com/link/175096/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
How I Learned to Use wal_inspect
🟢 خلاصه مقاله:
این نوشته روایت یادگیری کار با pg_walinspect برای خواندن و فهمیدن رفتار write-ahead log در PostgreSQL است. نویسنده نشان میدهد چطور میتوان با کوئری گرفتن از WAL در بازههای مشخص LSN، الگوی فعالیت سیستم را دید: از نقش checkpointها و full-page writeها تا اثر autovacuum، split شدن ایندکسها، بارگذاریهای حجیم و منشأ افزایش I/O. مزیت pg_walinspect این است که داخل دیتابیس و با SQL میشود دادهها را خلاصه و فیلتر کرد و با زمان و متریکهای مانیتورینگ تطبیق داد، بدون خروج به ابزارهای بیرونی.
رویکرد پیشنهادی این است: بازه زمانی/LSN را محدود کنید، ابتدا خلاصهها را ببینید و سپس در صورت نیاز به جزئیات بروید؛ هنگام عیبیابی، روی resource managerهای مرتبط تمرکز کنید و الگوهای WAL را با لاگها و نمایههای آماری مثل pg_stat همراستا کنید. محدودیت اصلی این است که محتوای سطرها را نمیبینید و فقط به فراداده دسترسی دارید، اما همین برای ساختن و آزمودن فرضیهها کافی است. در نتیجه، pg_walinspect ابزار کمهزینه و امنی برای بهبود observability، کاهش زمان رفع اشکال و فهم عمیقتر رفتار PostgreSQL محسوب میشود.
#PostgreSQL #WAL #pg_walinspect #DatabaseInternals #Observability #Performance #Replication
🟣لینک مقاله:
https://postgresweekly.com/link/175096/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
The World of Data
How I learned to use wal_inspect
It has been a while since last time I blogged about any real-life mysteries I resolved. Here is one which I am really happy about, because it took a while and it was not obvious. Before that, I did…
🔵 عنوان مقاله
How to Get AI to Deliver Superior ROI, Faster (6 minute read)
🟢 خلاصه مقاله:
** این مقاله نشان میدهد کندی در ROIِ AI معمولاً از خودِ سازمان میآید: دادههای جزیرهای، QA ناکارآمد (مثل تولید garbage tokens و ارزیابیهای ناقص)، انتخاب مدلهای بیشازحد بزرگ و فرهنگی که «بزرگتر یعنی بهتر» را فضیلت میداند. راهحل، Lean AI است: از کوچکترین راهکار مؤثر شروع کنید، مدل متناسب با کار انتخاب کنید و با تکنیکهایی مانند fine‑tuning سبک، LoRA، distillation، quantization، RAG و caching هزینه/کیفیت را بهینه کنید و شاخصهایی مثل هزینه بهازای حل هر تیکت را بسنجید. از آغاز با CFO و ذینفعان روی KPIها، بودجه، ریسک و SLAها همراستا شوید و واحداقتصاد پروژه را قبل از کدنویسی مشخص کنید. QA را جدی بگیرید: ارزیابی چندلایه آفلاین/آنلاین، داده طلایی با rubric شفاف، تست رگرسیون خودکار، و enforce کردن schema برای خروجیهای ساختاریافته. گلوگاههای داده را با data contract، استانداردسازی schema و privacy‑by‑design پیشاپیش رفع کنید. از خود AI برای debugging استفاده کنید: خوشهبندی خطاها، تحلیل لاگ، تولید تست و پایش drift؛ حلقه بازخورد کاربر را به چرخه ارزیابی/آموزش وصل کنید. در اجرا، چرخههای کوتاه با آزمایشهای کوچک، A/B تست، red teaming، runbook و داشبورد هفتگی مشترک میان محصول/فنی/داده/مالی را پیاده کنید. جمعبندی: چابکی، تمرکز بر عملکرد و کیفیت داده، و همراستایی زودهنگام ذینفعان، ROI سریعتر و برتر میدهد—نه صرفاً رفتن سراغ بزرگترین مدل.
#AI #ROI #LeanAI #MLOps #DataQuality #LLM #AIEvaluation #ProductStrategy
🟣لینک مقاله:
https://www.datasciencecentral.com/how-to-get-ai-to-deliver-superior-roi-faster/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
How to Get AI to Deliver Superior ROI, Faster (6 minute read)
🟢 خلاصه مقاله:
** این مقاله نشان میدهد کندی در ROIِ AI معمولاً از خودِ سازمان میآید: دادههای جزیرهای، QA ناکارآمد (مثل تولید garbage tokens و ارزیابیهای ناقص)، انتخاب مدلهای بیشازحد بزرگ و فرهنگی که «بزرگتر یعنی بهتر» را فضیلت میداند. راهحل، Lean AI است: از کوچکترین راهکار مؤثر شروع کنید، مدل متناسب با کار انتخاب کنید و با تکنیکهایی مانند fine‑tuning سبک، LoRA، distillation، quantization، RAG و caching هزینه/کیفیت را بهینه کنید و شاخصهایی مثل هزینه بهازای حل هر تیکت را بسنجید. از آغاز با CFO و ذینفعان روی KPIها، بودجه، ریسک و SLAها همراستا شوید و واحداقتصاد پروژه را قبل از کدنویسی مشخص کنید. QA را جدی بگیرید: ارزیابی چندلایه آفلاین/آنلاین، داده طلایی با rubric شفاف، تست رگرسیون خودکار، و enforce کردن schema برای خروجیهای ساختاریافته. گلوگاههای داده را با data contract، استانداردسازی schema و privacy‑by‑design پیشاپیش رفع کنید. از خود AI برای debugging استفاده کنید: خوشهبندی خطاها، تحلیل لاگ، تولید تست و پایش drift؛ حلقه بازخورد کاربر را به چرخه ارزیابی/آموزش وصل کنید. در اجرا، چرخههای کوتاه با آزمایشهای کوچک، A/B تست، red teaming، runbook و داشبورد هفتگی مشترک میان محصول/فنی/داده/مالی را پیاده کنید. جمعبندی: چابکی، تمرکز بر عملکرد و کیفیت داده، و همراستایی زودهنگام ذینفعان، ROI سریعتر و برتر میدهد—نه صرفاً رفتن سراغ بزرگترین مدل.
#AI #ROI #LeanAI #MLOps #DataQuality #LLM #AIEvaluation #ProductStrategy
🟣لینک مقاله:
https://www.datasciencecentral.com/how-to-get-ai-to-deliver-superior-roi-faster/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Data Science Central
How to Get AI to Deliver Superior ROI, Faster
LLM, SLM, TCO, RAG, Agents, BondingAI, xLLM, security, compliance, AI, LLM 2.0
Forwarded from Future Pulse Persian
پاول دوروف: آزادی اینترنت در حال نابودیه; ۴۱ سالگی رو جشن نمیگیرم
پاول دوروف در تولد ۴۱ سالگیاش نوشت:
«دیگه حس جشن ندارم؛ چون نسل ما داره اینترنت آزادی رو از دست میده که پدرانمون ساختن.
کشورهایی که روزی آزاد بودن، دارن به سمت کنترل کامل پیش میرن — از شناسه دیجیتال در بریتانیا تا اسکن پیامهای خصوصی در اتحادیه اروپا.
در آلمان منتقدان دولت تحت پیگردن، در بریتانیا مردم برای توییتهاشون زندانی میشن و در فرانسه از مدافعان آزادی بازجویی میشه.
ما فریب خوردیم تا باور کنیم باید سنت، حریم خصوصی و آزادی بیان رو قربانی کنیم.
من جشن نمیگیرم... چون زمان ما برای نجات آزادی تموم میشه.»
پاول دوروف در تولد ۴۱ سالگیاش نوشت:
«دیگه حس جشن ندارم؛ چون نسل ما داره اینترنت آزادی رو از دست میده که پدرانمون ساختن.
کشورهایی که روزی آزاد بودن، دارن به سمت کنترل کامل پیش میرن — از شناسه دیجیتال در بریتانیا تا اسکن پیامهای خصوصی در اتحادیه اروپا.
در آلمان منتقدان دولت تحت پیگردن، در بریتانیا مردم برای توییتهاشون زندانی میشن و در فرانسه از مدافعان آزادی بازجویی میشه.
ما فریب خوردیم تا باور کنیم باید سنت، حریم خصوصی و آزادی بیان رو قربانی کنیم.
من جشن نمیگیرم... چون زمان ما برای نجات آزادی تموم میشه.»
🔵 عنوان مقاله
Are Foundation Models Ready for Your Production Tabular Data? (10 minute read)
🟢 خلاصه مقاله:
**مدلهای بنیادین مخصوص دادههای جدولی مثل TabPFN، CARTE، TabuLa-8b و TabDPT اکنون میتوانند بدون آموزش یا با دادههای اندک (zero-shot/few-shot) پیشبینیهای رقابتی ارائه دهند و در مجموعهدادههای کوچک تا متوسط و ناهمگون، اغلب از روشهای کلاسیک مانند XGBoost بهتر عمل میکنند. این توانمندیها حاصل معماریهای پیشرفتهای است که تعامل ویژگیها و زمینه داده را با سازوکارهایی مثل transformer-based attention، تع嵌ههای گرافی و context-aware learning مدل میکنند. از نظر تجربه توسعه نیز، APIهای شبیه Scikit-learn ادغام را ساده میسازد. با این حال، محدودیتهای مهمی باقی است: نیاز محاسباتی و حافظه بالا، تأخیر در استنتاج، و چالشهای مقیاسپذیری در دادههای خیلی بزرگ یا با کاردینالیته بالا. بنابراین برای تولید، باید روی دادههای خودتان بنچمارک بگیرید، هزینه/تأخیر را بسنجید، و ملاحظات MLOps مثل مانیتورینگ، تفسیرپذیری و مدیریت تغییر توزیع را در نظر بگیرید. جمعبندی: این مدلها برای مسائل کوچک تا متوسط و سناریوهای کمبرچسب امیدوارکننده و قابل ادغاماند، اما پذیرش آنها باید سنجیده و متکی به ارزیابی و طراحی استقرار مقرونبهصرفه باشد.
#TabularData #FoundationModels #XGBoost #ScikitLearn #Transformers #MLOps #FewShotLearning #AutoML
🟣لینک مقاله:
https://towardsdatascience.com/foundation-models-in-tabular-data/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Are Foundation Models Ready for Your Production Tabular Data? (10 minute read)
🟢 خلاصه مقاله:
**مدلهای بنیادین مخصوص دادههای جدولی مثل TabPFN، CARTE، TabuLa-8b و TabDPT اکنون میتوانند بدون آموزش یا با دادههای اندک (zero-shot/few-shot) پیشبینیهای رقابتی ارائه دهند و در مجموعهدادههای کوچک تا متوسط و ناهمگون، اغلب از روشهای کلاسیک مانند XGBoost بهتر عمل میکنند. این توانمندیها حاصل معماریهای پیشرفتهای است که تعامل ویژگیها و زمینه داده را با سازوکارهایی مثل transformer-based attention، تع嵌ههای گرافی و context-aware learning مدل میکنند. از نظر تجربه توسعه نیز، APIهای شبیه Scikit-learn ادغام را ساده میسازد. با این حال، محدودیتهای مهمی باقی است: نیاز محاسباتی و حافظه بالا، تأخیر در استنتاج، و چالشهای مقیاسپذیری در دادههای خیلی بزرگ یا با کاردینالیته بالا. بنابراین برای تولید، باید روی دادههای خودتان بنچمارک بگیرید، هزینه/تأخیر را بسنجید، و ملاحظات MLOps مثل مانیتورینگ، تفسیرپذیری و مدیریت تغییر توزیع را در نظر بگیرید. جمعبندی: این مدلها برای مسائل کوچک تا متوسط و سناریوهای کمبرچسب امیدوارکننده و قابل ادغاماند، اما پذیرش آنها باید سنجیده و متکی به ارزیابی و طراحی استقرار مقرونبهصرفه باشد.
#TabularData #FoundationModels #XGBoost #ScikitLearn #Transformers #MLOps #FewShotLearning #AutoML
🟣لینک مقاله:
https://towardsdatascience.com/foundation-models-in-tabular-data/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Towards Data Science
Are Foundation Models Ready for Your Production Tabular Data? | Towards Data Science
A complete review of architectures to make zero-shot predictions in the most common types of datasets.
🔵 عنوان مقاله
Introducing Apache Airflow® 3.1 (8 minute read)
🟢 خلاصه مقاله:
**نسخه 3.1 از Apache Airflow با تمرکز بر جریانهای داده مدرن، امکاناتی مانند اپراتورهای HITL و اجرای همگام DAG را برای پوشش بهتر سناریوهای GenAI/MLOps ارائه میکند. این نسخه یک رابط افزونه مبتنی بر React برای توسعه رابط کاربری سفارشی اضافه کرده و تجربه کاربری را با قابلیتهایی مثل افزودن DAG به علاقهمندیها و انتخاب زبان بهبود میدهد. همچنین زمان پارس شدن DAGها را نمایش میدهد، از Python 3.13 پشتیبانی میکند و یک trigger rule جدید برای انعطافپذیری بیشتر در تعریف وابستگیها ارائه شده است.
#ApacheAirflow #Airflow3_1 #DataEngineering #MLOps #GenAI #Python313 #DAG #WorkflowOrchestration
🟣لینک مقاله:
https://www.astronomer.io/blog/introducing-apache-airflow-3-1/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Introducing Apache Airflow® 3.1 (8 minute read)
🟢 خلاصه مقاله:
**نسخه 3.1 از Apache Airflow با تمرکز بر جریانهای داده مدرن، امکاناتی مانند اپراتورهای HITL و اجرای همگام DAG را برای پوشش بهتر سناریوهای GenAI/MLOps ارائه میکند. این نسخه یک رابط افزونه مبتنی بر React برای توسعه رابط کاربری سفارشی اضافه کرده و تجربه کاربری را با قابلیتهایی مثل افزودن DAG به علاقهمندیها و انتخاب زبان بهبود میدهد. همچنین زمان پارس شدن DAGها را نمایش میدهد، از Python 3.13 پشتیبانی میکند و یک trigger rule جدید برای انعطافپذیری بیشتر در تعریف وابستگیها ارائه شده است.
#ApacheAirflow #Airflow3_1 #DataEngineering #MLOps #GenAI #Python313 #DAG #WorkflowOrchestration
🟣لینک مقاله:
https://www.astronomer.io/blog/introducing-apache-airflow-3-1/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
www.astronomer.io
Introducing Apache Airflow® 3.1
The momentum continues from the release of Airflow 3
🔵 عنوان مقاله
pgwatch 4.0: A Flexible Postgres Monitoring Solution
🟢 خلاصه مقاله:
pgwatch 4.0 یک راهکار منعطف برای پایش Postgres است که با داشبوردهای Grafana یک رابط کاربرپسند ارائه میدهد. کاربران میتوانند متریکهایی مانند سلامت، کارایی، استفاده از ایندکس، I/O و روندها را مشاهده و تحلیل کنند تا الگوها و گلوگاهها را سریعتر شناسایی کرده و برای بهینهسازی و برنامهریزی ظرفیت تصمیمهای دقیقتری بگیرند. هدف، سادهسازی نظارت روزمره در عین نمایش عمق دادههای مورد نیاز تیمهای فنی است.
#Postgres #pgwatch #Grafana #DatabaseMonitoring #PerformanceMonitoring #Observability #DevOps
🟣لینک مقاله:
https://postgresweekly.com/link/175402/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pgwatch 4.0: A Flexible Postgres Monitoring Solution
🟢 خلاصه مقاله:
pgwatch 4.0 یک راهکار منعطف برای پایش Postgres است که با داشبوردهای Grafana یک رابط کاربرپسند ارائه میدهد. کاربران میتوانند متریکهایی مانند سلامت، کارایی، استفاده از ایندکس، I/O و روندها را مشاهده و تحلیل کنند تا الگوها و گلوگاهها را سریعتر شناسایی کرده و برای بهینهسازی و برنامهریزی ظرفیت تصمیمهای دقیقتری بگیرند. هدف، سادهسازی نظارت روزمره در عین نمایش عمق دادههای مورد نیاز تیمهای فنی است.
#Postgres #pgwatch #Grafana #DatabaseMonitoring #PerformanceMonitoring #Observability #DevOps
🟣لینک مقاله:
https://postgresweekly.com/link/175402/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pgwat.ch
Hello world! - 🔬 pgwatch
pgwatch is a flexible PostgreSQL-specific monitoring solution
Forwarded from Future Pulse Persian
This media is not supported in your browser
VIEW IN TELEGRAM
وقتی یک خط کد به پروزه اضافه میکنی😂
🤩1
🔵 عنوان مقاله
Uber's Strategy to Upgrading 2M+ Spark Jobs (10 minute read)
🟢 خلاصه مقاله:
ارتقای گسترده Uber از Spark 2.4 به Spark 3.3 در مقیاس بزرگ انجام شد و طی شش ماه بیش از ۴۰هزار برنامه Spark و ۲۱۰۰ برنامه دیگر مهاجرت یافت. برای پرهیز از تغییرات دستی زمانبر و پرخطا، Uber فرآیند را خودکار کرد و از ابزار متنباز Polyglot Piranha استفاده نمود؛ ابزاری که کد را تجزیه کرده و به Abstract Syntax Tree (AST) تبدیل میکند تا با اعمال «قوانین تبدیل»، بازنویسیهای برنامهریزیشده و یکدست در سطح انبوه انجام شود. این رویکرد، تغییرات گسترده را با ثبات و سرعت بیشتر ممکن کرد، ریسک خطا را کاهش داد و مسیر بهرهگیری یکپارچه از قابلیتهای Spark 3.3 را در زیرساخت داده Uber هموار ساخت.
#Uber #ApacheSpark #PolyglotPiranha #AST #CodeRefactoring #BigData #Migration #Automation
🟣لینک مقاله:
https://www.uber.com/blog/ubers-strategy-to-upgrading-2m-spark-jobs/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Uber's Strategy to Upgrading 2M+ Spark Jobs (10 minute read)
🟢 خلاصه مقاله:
ارتقای گسترده Uber از Spark 2.4 به Spark 3.3 در مقیاس بزرگ انجام شد و طی شش ماه بیش از ۴۰هزار برنامه Spark و ۲۱۰۰ برنامه دیگر مهاجرت یافت. برای پرهیز از تغییرات دستی زمانبر و پرخطا، Uber فرآیند را خودکار کرد و از ابزار متنباز Polyglot Piranha استفاده نمود؛ ابزاری که کد را تجزیه کرده و به Abstract Syntax Tree (AST) تبدیل میکند تا با اعمال «قوانین تبدیل»، بازنویسیهای برنامهریزیشده و یکدست در سطح انبوه انجام شود. این رویکرد، تغییرات گسترده را با ثبات و سرعت بیشتر ممکن کرد، ریسک خطا را کاهش داد و مسیر بهرهگیری یکپارچه از قابلیتهای Spark 3.3 را در زیرساخت داده Uber هموار ساخت.
#Uber #ApacheSpark #PolyglotPiranha #AST #CodeRefactoring #BigData #Migration #Automation
🟣لینک مقاله:
https://www.uber.com/blog/ubers-strategy-to-upgrading-2m-spark-jobs/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
🔵 عنوان مقاله
pgschema: Declarative Schema Migrations for Postgres
🟢 خلاصه مقاله:
pgschema ابزاری برای مدیریت declarative تغییرات اسکیمای Postgres است؛ مشابه کاری که Terraform برای زیرساخت انجام میدهد. شما حالت مطلوب اسکیمای دیتابیس را در فایلها تعریف میکنید، ابزار اختلاف با وضعیت فعلی را محاسبه میکند، یک plan شفاف نشان میدهد و تغییرات را بهصورت امن و قابل تکرار اعمال میکند. قابلیتهایی مانند تشخیص drift، گارد برای تغییرات مخرب، جریانهای ارتقا بین محیطها، dry-run و ادغام با CI/CD را فراهم میکند و روی آبجکتهای اصلی Postgres مانند schema، جدول، ایندکس، constraint، extension و نقشها/مجوزها تمرکز دارد. کد منبع در GitHub در دسترس است و برای تیمهایی که به رویکرد Infrastructure as Code متکیاند، یک گردشکار شفاف و ایمن ارائه میدهد.
#Postgres #SchemaMigration #Declarative #InfrastructureAsCode #DevOps #DatabaseAutomation #Terraform #GitHub
🟣لینک مقاله:
https://postgresweekly.com/link/174763/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pgschema: Declarative Schema Migrations for Postgres
🟢 خلاصه مقاله:
pgschema ابزاری برای مدیریت declarative تغییرات اسکیمای Postgres است؛ مشابه کاری که Terraform برای زیرساخت انجام میدهد. شما حالت مطلوب اسکیمای دیتابیس را در فایلها تعریف میکنید، ابزار اختلاف با وضعیت فعلی را محاسبه میکند، یک plan شفاف نشان میدهد و تغییرات را بهصورت امن و قابل تکرار اعمال میکند. قابلیتهایی مانند تشخیص drift، گارد برای تغییرات مخرب، جریانهای ارتقا بین محیطها، dry-run و ادغام با CI/CD را فراهم میکند و روی آبجکتهای اصلی Postgres مانند schema، جدول، ایندکس، constraint، extension و نقشها/مجوزها تمرکز دارد. کد منبع در GitHub در دسترس است و برای تیمهایی که به رویکرد Infrastructure as Code متکیاند، یک گردشکار شفاف و ایمن ارائه میدهد.
#Postgres #SchemaMigration #Declarative #InfrastructureAsCode #DevOps #DatabaseAutomation #Terraform #GitHub
🟣لینک مقاله:
https://postgresweekly.com/link/174763/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pgschema
Introduction - pgschema
Declarative schema migration for Postgres