🔵 عنوان مقاله
results of its latest State of Developer Ecosystem Report
🟢 خلاصه مقاله:
گزارش جدید State of Developer Ecosystem از JetBrains نشان میدهد که برای نخستین بار، Postgres از MySQL در اکوسیستم JetBrains محبوبتر شده است. این تغییر حاکی از جابهجایی ترجیحات توسعهدهندگان به سمت قابلیتها و انعطافپذیری Postgres است؛ هرچند MySQL همچنان در بسیاری از محیطهای وب و پروژههای قدیمی نقش پررنگی دارد. ابزارها و ادغامهای اکوسیستم JetBrains و گسترش سرویسهای ابری مدیریتشده نیز میتواند در این روند مؤثر بوده باشد و نشان میدهد انتخاب پایگاهداده بیش از پیش بر اساس تناسب با نیاز هر پروژه انجام میشود.
#JetBrains #Postgres #MySQL #DeveloperEcosystem #Database #StateOfDeveloperEcosystem #SoftwareTrends
🟣لینک مقاله:
https://postgresweekly.com/link/175719/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
results of its latest State of Developer Ecosystem Report
🟢 خلاصه مقاله:
گزارش جدید State of Developer Ecosystem از JetBrains نشان میدهد که برای نخستین بار، Postgres از MySQL در اکوسیستم JetBrains محبوبتر شده است. این تغییر حاکی از جابهجایی ترجیحات توسعهدهندگان به سمت قابلیتها و انعطافپذیری Postgres است؛ هرچند MySQL همچنان در بسیاری از محیطهای وب و پروژههای قدیمی نقش پررنگی دارد. ابزارها و ادغامهای اکوسیستم JetBrains و گسترش سرویسهای ابری مدیریتشده نیز میتواند در این روند مؤثر بوده باشد و نشان میدهد انتخاب پایگاهداده بیش از پیش بر اساس تناسب با نیاز هر پروژه انجام میشود.
#JetBrains #Postgres #MySQL #DeveloperEcosystem #Database #StateOfDeveloperEcosystem #SoftwareTrends
🟣لینک مقاله:
https://postgresweekly.com/link/175719/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Jetbrains
The State of Developer Ecosystem in 2025
Explore key software developer statistics for 2025 in the State of Developer Ecosystem Report. Trends, insights, and tools shaping the developer world.
🔵 عنوان مقاله
A Postgres Trip Report from PGConf NYC 2025
🟢 خلاصه مقاله:
کلر، میزبان پادکست Talking Postgres، دو هفته پس از برگزاری موفق PGConf NYC 2025 گزارشی مفصل و صریح منتشر کرده است؛ او علاوه بر بیان برداشتها و روندهای برجسته و گفتگوهایش با اعضای جامعه، با مجموعهای از عکسها حالوهوای رویداد را برای کسانی که حضور نداشتند زنده میکند. این گزارش بدون ورود به ریزجزئیات جلسات، روی نکات کاربردی، روندهای قابلتوجه و حالوهوای روبهرشد جامعه Postgres تمرکز دارد و برای تازهواردها و متخصصان بهطور یکسان مفید است.
#Postgres #PGConfNYC #PGConf2025 #Databases #OpenSource #Conference #TalkingPostgres
🟣لینک مقاله:
https://postgresweekly.com/link/175715/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
A Postgres Trip Report from PGConf NYC 2025
🟢 خلاصه مقاله:
کلر، میزبان پادکست Talking Postgres، دو هفته پس از برگزاری موفق PGConf NYC 2025 گزارشی مفصل و صریح منتشر کرده است؛ او علاوه بر بیان برداشتها و روندهای برجسته و گفتگوهایش با اعضای جامعه، با مجموعهای از عکسها حالوهوای رویداد را برای کسانی که حضور نداشتند زنده میکند. این گزارش بدون ورود به ریزجزئیات جلسات، روی نکات کاربردی، روندهای قابلتوجه و حالوهوای روبهرشد جامعه Postgres تمرکز دارد و برای تازهواردها و متخصصان بهطور یکسان مفید است.
#Postgres #PGConfNYC #PGConf2025 #Databases #OpenSource #Conference #TalkingPostgres
🟣لینک مقاله:
https://postgresweekly.com/link/175715/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
TECHCOMMUNITY.MICROSOFT.COM
Postgres Trip Report from PGConf NYC 2025 (with lots of photos) | Microsoft Community Hub
Overview of my Postgres speaker, sponsor, & attendee experience at PGConf NYC 2025, with quotes from attendees, talk highlights, and lots of photographs.
❤2🍾1
Forwarded from Future Pulse Persian
دارم پادکست پاول دوروف مال تلگرام رو میبینم
نکته جالبش اینجا اگر برادر نابغش نبود هیچ وقت تلگرامی وجود نداشت
نکته دیگه اینه اگر دقت کرده باشید پاول برعکس مارک زاکربرگ ، ایلان ماسک و . . .
زندگی خیلی لاکچری داره ولی ایلان و زاکربرگ همیشه ساده پوشن و خیلی زنی بی آلایشی از خودشون نشون میدن
حتی مارک و ایلان نهایتا ۶ تا ۸ ساعت میخوابن و پاول ۱۲ ساعت
دلیلش از نظر من خیلی جالبه
ایلان و زاکربرگ تمام سهام شرکتشون برای خودشون نیست! سرمایه گذار های بزرگی پشتشونه و هروقت بیان خودشون رو اینطور نشون بدن قطعابا فشار زیادی مواجه میشن
ولی پاول مالک خودش هست و برادرش و کلا ۴۰ برنامه نویس
هیچ وقت هم جواب به کسی نمیده
نکات خیلی زیادی داره این شخص پیشنهاد میکنم حتما درموردش مطالعه کنید
https://www.youtube.com/watch?v=qjPH9njnaVU
نکته جالبش اینجا اگر برادر نابغش نبود هیچ وقت تلگرامی وجود نداشت
نکته دیگه اینه اگر دقت کرده باشید پاول برعکس مارک زاکربرگ ، ایلان ماسک و . . .
زندگی خیلی لاکچری داره ولی ایلان و زاکربرگ همیشه ساده پوشن و خیلی زنی بی آلایشی از خودشون نشون میدن
حتی مارک و ایلان نهایتا ۶ تا ۸ ساعت میخوابن و پاول ۱۲ ساعت
دلیلش از نظر من خیلی جالبه
ایلان و زاکربرگ تمام سهام شرکتشون برای خودشون نیست! سرمایه گذار های بزرگی پشتشونه و هروقت بیان خودشون رو اینطور نشون بدن قطعابا فشار زیادی مواجه میشن
ولی پاول مالک خودش هست و برادرش و کلا ۴۰ برنامه نویس
هیچ وقت هم جواب به کسی نمیده
نکات خیلی زیادی داره این شخص پیشنهاد میکنم حتما درموردش مطالعه کنید
https://www.youtube.com/watch?v=qjPH9njnaVU
❤2
🔵 عنوان مقاله
Postgres 18 and Beyond: From AIO to Direct IO?
🟢 خلاصه مقاله:
Postgres 18 پشتیبانی از asynchronous IO را اضافه میکند تا خواندن/نوشتنها بدون بلوکهشدن انجام شوند و کارایی و پایداری تأخیر تحت فشار بار بهتر شود. اکنون این پرسش مطرح است که آیا با Direct IO و دور زدن کامل OS caching میتوان عملکرد را باز هم بهبود داد؟ مزیت آن حذف دوبارهکش کردن و کنترل دقیقتر کش است، اما در عوض پیچیدگی بالاتر، نیاز به همترازی، و از دستدادن قابلیتهایی مثل readahead و writeback هسته را بههمراه دارد. رویکرد محتمل، راهکار ترکیبی است: تکیه بر OS caching بهصورت پیشفرض و استفاده گزینشی از Direct IO برای اسکنهای بزرگ، فایلهای موقت و بارهای تحلیلی. مسیر بعد از نسخه ۱۸ نیز شامل یکپارچهسازی عمیقتر با io_uring، پیشواکشی هوشمند و گزینههای Direct IO قابل پیکربندی خواهد بود.
#Postgres #PostgreSQL #AIO #DirectIO #DatabasePerformance #OSCache #io_uring #NVMe
🟣لینک مقاله:
https://postgresweekly.com/link/175094/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Postgres 18 and Beyond: From AIO to Direct IO?
🟢 خلاصه مقاله:
Postgres 18 پشتیبانی از asynchronous IO را اضافه میکند تا خواندن/نوشتنها بدون بلوکهشدن انجام شوند و کارایی و پایداری تأخیر تحت فشار بار بهتر شود. اکنون این پرسش مطرح است که آیا با Direct IO و دور زدن کامل OS caching میتوان عملکرد را باز هم بهبود داد؟ مزیت آن حذف دوبارهکش کردن و کنترل دقیقتر کش است، اما در عوض پیچیدگی بالاتر، نیاز به همترازی، و از دستدادن قابلیتهایی مثل readahead و writeback هسته را بههمراه دارد. رویکرد محتمل، راهکار ترکیبی است: تکیه بر OS caching بهصورت پیشفرض و استفاده گزینشی از Direct IO برای اسکنهای بزرگ، فایلهای موقت و بارهای تحلیلی. مسیر بعد از نسخه ۱۸ نیز شامل یکپارچهسازی عمیقتر با io_uring، پیشواکشی هوشمند و گزینههای Direct IO قابل پیکربندی خواهد بود.
#Postgres #PostgreSQL #AIO #DirectIO #DatabasePerformance #OSCache #io_uring #NVMe
🟣لینک مقاله:
https://postgresweekly.com/link/175094/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
CYBERTEC PostgreSQL | Services & Support
PostgreSQL 18 and beyond: From AIO to Direct IO?
This blog post does a comparison between AIO and Direct I/O. This includes benchmarking in latest release of PostgreSQL. Read to know.
❤1
🔵 عنوان مقاله
Visualize Data Lineage Using Amazon SageMaker Catalog for Amazon EMR, AWS Glue, and Amazon Redshift (5 minute read)
🟢 خلاصه مقاله:
قابلیت جدید Amazon SageMaker Unified Studio نمایش خودکار و سرتاسری data lineage را در سراسر AWS Glue، Amazon Redshift و Amazon EMR فراهم میکند و تصویری یکپارچه از مسیر ورود، تبدیل و مصرف دادهها در تحلیل و ML ارائه میدهد. هسته این راهکار، SageMaker Catalog سازگار با OpenLineage است که رویدادهای lineage را ثبت و نسخهبندی میکند تا تاریخچهای قابلاتکا از تبدیلات و تکامل داراییهای داده ساخته شود. نتیجه این کار، ردیابی عمیق، ممیزی دقیق و امکان مقایسه تاریخی است؛ از تحلیل اثر تغییرات و اشکالزدایی تا بازتولید نتایج و رعایت حاکمیت داده—all در یک نما و بدون نیاز به اتصالهای سفارشی بین سرویسها.
#DataLineage #AmazonSageMaker #AWSGlue #AmazonRedshift #AmazonEMR #OpenLineage #DataGovernance #MLOps
🟣لینک مقاله:
https://aws.amazon.com/blogs/big-data/visualize-data-lineage-using-amazon-sagemaker-catalog-for-amazon-emr-aws-glue-and-amazon-redshift/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Visualize Data Lineage Using Amazon SageMaker Catalog for Amazon EMR, AWS Glue, and Amazon Redshift (5 minute read)
🟢 خلاصه مقاله:
قابلیت جدید Amazon SageMaker Unified Studio نمایش خودکار و سرتاسری data lineage را در سراسر AWS Glue، Amazon Redshift و Amazon EMR فراهم میکند و تصویری یکپارچه از مسیر ورود، تبدیل و مصرف دادهها در تحلیل و ML ارائه میدهد. هسته این راهکار، SageMaker Catalog سازگار با OpenLineage است که رویدادهای lineage را ثبت و نسخهبندی میکند تا تاریخچهای قابلاتکا از تبدیلات و تکامل داراییهای داده ساخته شود. نتیجه این کار، ردیابی عمیق، ممیزی دقیق و امکان مقایسه تاریخی است؛ از تحلیل اثر تغییرات و اشکالزدایی تا بازتولید نتایج و رعایت حاکمیت داده—all در یک نما و بدون نیاز به اتصالهای سفارشی بین سرویسها.
#DataLineage #AmazonSageMaker #AWSGlue #AmazonRedshift #AmazonEMR #OpenLineage #DataGovernance #MLOps
🟣لینک مقاله:
https://aws.amazon.com/blogs/big-data/visualize-data-lineage-using-amazon-sagemaker-catalog-for-amazon-emr-aws-glue-and-amazon-redshift/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Amazon
Visualize data lineage using Amazon SageMaker Catalog for Amazon EMR, AWS Glue, and Amazon Redshift | Amazon Web Services
Amazon SageMaker offers a comprehensive hub that integrates data, analytics, and AI capabilities, providing a unified experience for users to access and work with their data. Through Amazon SageMaker Unified Studio, a single and unified environment, you can…
❤2
🔵 عنوان مقاله
Inside Husky's query engine: Real-time access to 100 trillion events (10 minute read)
🟢 خلاصه مقاله:
Husky از Datadog با جداسازی سه بخش Planner، Router و Executor، اجرای پرسوجوها را در مقیاس بسیار بزرگ و بهصورت بیدرنگ ممکن میکند. Planner پرسوجو را به گراف منطقی از stageها تبدیل میکند، آن را به segmentهای قابل اجرا تقسیم کرده و برنامهٔ اجرا تولید میکند. Router براساس قواعد و شرایط زمان اجرا، هر segment را به backend مناسب مسیردهی میکند تا همزمانی بالا، توازن بار و انعطاف در انتخاب مسیر تضمین شود. Executor کارها را به موتورهای تخصصی مانند SQL engine و custom operators میفرستد و نتایج موازی را ترکیب میکند. این تفکیک ماژولار باعث مقیاسپذیری، امکان اتصال backendهای جدید و بهینهسازی پویا برای هر پرسوجو میشود و دسترسی بیدرنگ به حجم عظیمی از رویدادها را فراهم میکند.
#Datadog #Husky #QueryEngine #RealTimeAnalytics #DistributedSystems #Scalability #DataInfrastructure
🟣لینک مقاله:
https://www.datadoghq.com/blog/engineering/husky-query-architecture/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Inside Husky's query engine: Real-time access to 100 trillion events (10 minute read)
🟢 خلاصه مقاله:
Husky از Datadog با جداسازی سه بخش Planner، Router و Executor، اجرای پرسوجوها را در مقیاس بسیار بزرگ و بهصورت بیدرنگ ممکن میکند. Planner پرسوجو را به گراف منطقی از stageها تبدیل میکند، آن را به segmentهای قابل اجرا تقسیم کرده و برنامهٔ اجرا تولید میکند. Router براساس قواعد و شرایط زمان اجرا، هر segment را به backend مناسب مسیردهی میکند تا همزمانی بالا، توازن بار و انعطاف در انتخاب مسیر تضمین شود. Executor کارها را به موتورهای تخصصی مانند SQL engine و custom operators میفرستد و نتایج موازی را ترکیب میکند. این تفکیک ماژولار باعث مقیاسپذیری، امکان اتصال backendهای جدید و بهینهسازی پویا برای هر پرسوجو میشود و دسترسی بیدرنگ به حجم عظیمی از رویدادها را فراهم میکند.
#Datadog #Husky #QueryEngine #RealTimeAnalytics #DistributedSystems #Scalability #DataInfrastructure
🟣لینک مقاله:
https://www.datadoghq.com/blog/engineering/husky-query-architecture/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Datadog
Inside Husky’s query engine: Real-time access to 100 trillion events | Datadog
See how Husky enables interactive querying across 100 trillion events daily by combining caching, smart indexing, and query pruning.
❤1
🔵 عنوان مقاله
From Dark Data to Bright Insights: The Dawn of Smart Storage (6 minute read)
🟢 خلاصه مقاله:
**خلاصه فارسی: گوگل Cloud دو قابلیت جدید برای Cloud Storage معرفی کرده است: auto annotate و object contexts. این قابلیتها با تکیه بر AI برای دادههای نامنظم بهصورت خودکار متادیتا و سرنخهای معنایی ایجاد میکنند تا دادههای «تاریک» قابل جستوجو، حاکمیتپذیر و قابل تحلیل شوند. auto annotate (نسخه آزمایشی) در سطح هر شیء برچسبها، تشخیصها و پرچمهای PII را در مقیاس تولید میکند و فرآیند طبقهبندی و سازماندهی را تسریع میکند. object contexts نیز برچسبگذاری بومی و انعطافپذیر و تبار متادیتا را فراهم میآورد و بهصورت یکپارچه با Cloud Storage، IAM و BigQuery کار میکند تا هم حاکمیت دسترسی حفظ شود و هم پرسوجو و تحلیل متادیتا ممکن شود. هر دو قابلیت فعلاً در دسترس آزمایشی محدود هستند.
#CloudStorage #GoogleCloud #AI #Metadata #DataGovernance #BigQuery #IAM #PII
🟣لینک مقاله:
https://cloud.google.com/blog/products/storage-data-transfer/make-your-unstructured-data-smart-with-cloud-storage/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
From Dark Data to Bright Insights: The Dawn of Smart Storage (6 minute read)
🟢 خلاصه مقاله:
**خلاصه فارسی: گوگل Cloud دو قابلیت جدید برای Cloud Storage معرفی کرده است: auto annotate و object contexts. این قابلیتها با تکیه بر AI برای دادههای نامنظم بهصورت خودکار متادیتا و سرنخهای معنایی ایجاد میکنند تا دادههای «تاریک» قابل جستوجو، حاکمیتپذیر و قابل تحلیل شوند. auto annotate (نسخه آزمایشی) در سطح هر شیء برچسبها، تشخیصها و پرچمهای PII را در مقیاس تولید میکند و فرآیند طبقهبندی و سازماندهی را تسریع میکند. object contexts نیز برچسبگذاری بومی و انعطافپذیر و تبار متادیتا را فراهم میآورد و بهصورت یکپارچه با Cloud Storage، IAM و BigQuery کار میکند تا هم حاکمیت دسترسی حفظ شود و هم پرسوجو و تحلیل متادیتا ممکن شود. هر دو قابلیت فعلاً در دسترس آزمایشی محدود هستند.
#CloudStorage #GoogleCloud #AI #Metadata #DataGovernance #BigQuery #IAM #PII
🟣لینک مقاله:
https://cloud.google.com/blog/products/storage-data-transfer/make-your-unstructured-data-smart-with-cloud-storage/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Google Cloud Blog
Make your unstructured data smart with Cloud Storage | Google Cloud Blog
See how Google's Auto annotate and object contexts let you curate AI datasets, streamline discovery, and manage unstructured data.
🔵 عنوان مقاله
Prague PostgreSQL Developer Day 2026
🟢 خلاصه مقاله:
Prague PostgreSQL Developer Day 2026 در تاریخ January 27–28 در Prague، Czechia برگزار میشود و فرصتی برای گردهمایی جامعه PostgreSQL است. Call for Proposals تا November 14 باز است؛ اگر قصد سخنرانی دارید، میتوانید پیشنهاد خود را (از مطالعات موردی تا مباحث فنی و تجربیات عملی) ارسال کنید.
#PostgreSQL #PPDD2026 #CFP #DeveloperConference #Prague #Czechia #OpenSource
🟣لینک مقاله:
https://postgresweekly.com/link/175721/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Prague PostgreSQL Developer Day 2026
🟢 خلاصه مقاله:
Prague PostgreSQL Developer Day 2026 در تاریخ January 27–28 در Prague، Czechia برگزار میشود و فرصتی برای گردهمایی جامعه PostgreSQL است. Call for Proposals تا November 14 باز است؛ اگر قصد سخنرانی دارید، میتوانید پیشنهاد خود را (از مطالعات موردی تا مباحث فنی و تجربیات عملی) ارسال کنید.
#PostgreSQL #PPDD2026 #CFP #DeveloperConference #Prague #Czechia #OpenSource
🟣لینک مقاله:
https://postgresweekly.com/link/175721/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Prague PostgreSQL Dev Day 2026
Annual conference about PostgreSQL for users and developers on January 27-28 in Prague, Czech Republic.
🔵 عنوان مقاله
Benchmarking Postgres 17 vs 18
🟢 خلاصه مقاله:
نویسنده یک بنچمارک گسترده و دقیق بین Postgres 17 و Postgres 18 با ۹۶ ترکیب مختلف انجام داده است. نتیجه کلی امیدوارکننده است: Postgres 18 در اغلب سناریوها بهبود عملکرد محسوسی نشان میدهد. همچنین دیسکهای محلی بهترین نتایج را ارائه میکنند و انتخاب آنها برای کارهای دیتابیسی مزیت دارد. در عین حال، تنظیمات دستی همچنان اثرگذار است و نباید فقط به مقادیر پیشفرض بسنده کرد. جمعبندی: ارتقا به Postgres 18 ارزشمند است، اما بهتر است در محیط خودتان تست کنید، از ذخیرهسازی محلی استفاده کنید و با تیونینگ هدفمند حداکثر بهره را بگیرید.
#Postgres #PostgreSQL #Benchmarking #DatabasePerformance #Postgres18 #PerformanceTesting #Tuning #Storage
🟣لینک مقاله:
https://postgresweekly.com/link/175714/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Benchmarking Postgres 17 vs 18
🟢 خلاصه مقاله:
نویسنده یک بنچمارک گسترده و دقیق بین Postgres 17 و Postgres 18 با ۹۶ ترکیب مختلف انجام داده است. نتیجه کلی امیدوارکننده است: Postgres 18 در اغلب سناریوها بهبود عملکرد محسوسی نشان میدهد. همچنین دیسکهای محلی بهترین نتایج را ارائه میکنند و انتخاب آنها برای کارهای دیتابیسی مزیت دارد. در عین حال، تنظیمات دستی همچنان اثرگذار است و نباید فقط به مقادیر پیشفرض بسنده کرد. جمعبندی: ارتقا به Postgres 18 ارزشمند است، اما بهتر است در محیط خودتان تست کنید، از ذخیرهسازی محلی استفاده کنید و با تیونینگ هدفمند حداکثر بهره را بگیرید.
#Postgres #PostgreSQL #Benchmarking #DatabasePerformance #Postgres18 #PerformanceTesting #Tuning #Storage
🟣لینک مقاله:
https://postgresweekly.com/link/175714/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Planetscale
Benchmarking Postgres 17 vs 18 — PlanetScale
Postgres 18 brings a significant improvement to read performance via async I/O and I/O worker threads. Here we compare its performance to Postgres 17.
🔵 عنوان مقاله
Introducing Elephantshark: A Tool to Monitor Postgres Network Traffic
🟢 خلاصه مقاله:
Elephantshark ابزاری برای مشاهده ترافیک شبکه Postgres است که بدون تغییر در کلاینت یا سرور، بین دو طرف قرار میگیرد. این ابزار با تکیه بر Ruby همچون یک پراکسی سبک عمل میکند: پیامهای دوطرفه را عبور میدهد و همزمان پیامهای پروتکل Postgres را پارس و لاگ میکند. نتیجه، دید شفاف و کماصطکاک از تبادلات شبکهای است که در توسعه، دیباگ، بررسی عملکرد و ممیزی کاربرد دارد و میتواند مکمل لاگهای سرور و ابزارهای packet capture باشد. کد و مستندات آن از طریق مخزن GitHub در دسترس است.
#Postgres #DatabaseMonitoring #NetworkTraffic #Ruby #Proxy #Observability #GitHub #PostgresProtocol
🟣لینک مقاله:
https://postgresweekly.com/link/175103/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Introducing Elephantshark: A Tool to Monitor Postgres Network Traffic
🟢 خلاصه مقاله:
Elephantshark ابزاری برای مشاهده ترافیک شبکه Postgres است که بدون تغییر در کلاینت یا سرور، بین دو طرف قرار میگیرد. این ابزار با تکیه بر Ruby همچون یک پراکسی سبک عمل میکند: پیامهای دوطرفه را عبور میدهد و همزمان پیامهای پروتکل Postgres را پارس و لاگ میکند. نتیجه، دید شفاف و کماصطکاک از تبادلات شبکهای است که در توسعه، دیباگ، بررسی عملکرد و ممیزی کاربرد دارد و میتواند مکمل لاگهای سرور و ابزارهای packet capture باشد. کد و مستندات آن از طریق مخزن GitHub در دسترس است.
#Postgres #DatabaseMonitoring #NetworkTraffic #Ruby #Proxy #Observability #GitHub #PostgresProtocol
🟣لینک مقاله:
https://postgresweekly.com/link/175103/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Neon
Introducing Elephantshark, a tool to monitor Postgres network traffic - Neon
Elephantshark helps you monitor, understand and troubleshoot Postgres servers, clients, drivers and ORMs talking to Postgres.
🔵 عنوان مقاله
On Developing OAuth Support for Postgres
🟢 خلاصه مقاله:
پشتیبانی از OAuth در نسخه Postgres 18 بهعنوان یک قابلیت مهم اضافه شده است. نویسنده که از نخستین حامیان این ایده بوده، مسیر تبدیل آن از نمونههای اولیه و بحثهای جامعه به یک ویژگی پایدار را روایت میکند و نشان میدهد چرا ادغام مستقیم پایگاهداده با هویتهای سازمانی و فضای ابری ضروری است. در پیادهسازی، Postgres توکنهای استاندارد OAuth/OIDC را با بررسی issuer و audience، امضای مبتنی بر JWKS و نگاشت claimها به نقشهای دیتابیس اعتبارسنجی میکند و تنظیمات از طریق پیکربندی آشنا (مانند pg_hba.conf) انجام میشود. بخش عملی مقاله نشان میدهد چطور میتوان Postgres را به ارائهدهندههایی مثل Okta، Auth0، Azure AD، Google و Keycloak وصل کرد تا کلاینتها با bearer token متصل شوند و دسترسی بر اساس نقشهای نگاشتشده کنترل شود. مزیتها شامل هویت متمرکز، توکنهای کوتاهعمر و قابل ابطال، کنترل دقیقتر دسترسی و ادغام سادهتر با جریانهای ابری و بدون رمز عبور است. در ادامه، مسیر آینده شامل نگاشت پیشرفتهتر claim به نقش، بهبود لاگ و عیبیابی، بهینهسازی عملکرد، سازگاری گستردهتر با ارائهدهندهها و پشتیبانی بهتر در درایورها و ابزارهای پیرامونی عنوان میشود.
#Postgres #OAuth #Postgres18 #DatabaseSecurity #OIDC #IdentityManagement #OpenSource #Authentication
🟣لینک مقاله:
https://postgresweekly.com/link/175395/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
On Developing OAuth Support for Postgres
🟢 خلاصه مقاله:
پشتیبانی از OAuth در نسخه Postgres 18 بهعنوان یک قابلیت مهم اضافه شده است. نویسنده که از نخستین حامیان این ایده بوده، مسیر تبدیل آن از نمونههای اولیه و بحثهای جامعه به یک ویژگی پایدار را روایت میکند و نشان میدهد چرا ادغام مستقیم پایگاهداده با هویتهای سازمانی و فضای ابری ضروری است. در پیادهسازی، Postgres توکنهای استاندارد OAuth/OIDC را با بررسی issuer و audience، امضای مبتنی بر JWKS و نگاشت claimها به نقشهای دیتابیس اعتبارسنجی میکند و تنظیمات از طریق پیکربندی آشنا (مانند pg_hba.conf) انجام میشود. بخش عملی مقاله نشان میدهد چطور میتوان Postgres را به ارائهدهندههایی مثل Okta، Auth0، Azure AD، Google و Keycloak وصل کرد تا کلاینتها با bearer token متصل شوند و دسترسی بر اساس نقشهای نگاشتشده کنترل شود. مزیتها شامل هویت متمرکز، توکنهای کوتاهعمر و قابل ابطال، کنترل دقیقتر دسترسی و ادغام سادهتر با جریانهای ابری و بدون رمز عبور است. در ادامه، مسیر آینده شامل نگاشت پیشرفتهتر claim به نقش، بهبود لاگ و عیبیابی، بهینهسازی عملکرد، سازگاری گستردهتر با ارائهدهندهها و پشتیبانی بهتر در درایورها و ابزارهای پیرامونی عنوان میشود.
#Postgres #OAuth #Postgres18 #DatabaseSecurity #OIDC #IdentityManagement #OpenSource #Authentication
🟣لینک مقاله:
https://postgresweekly.com/link/175395/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
EDB
On Developing OAuth
Some thoughts on the history and development process behind the new OAuth support in PostgreSQL 18, and some hopes and dreams for the future.
🔵 عنوان مقاله
SQLMesh, dbt, and Fivetran... What's Next? (5 minute read)
🟢 خلاصه مقاله:
فشردهسازی اخیر در اکوسیستم Modern Data Stack با تصاحب dbt توسط Fivetran و یکپارچهسازیهای اخیر با Tobiko Data و Census نشان میدهد که لایههای ingestion، transformation، modeling و حتی activation به سمت تجمیع زیر چتر چند فروشنده محدود میروند. این روند میتواند کار را برای تیمها سادهتر کند و به متادیتا، lineage، حاکمیت و صورتحساب یکپارچه بینجامد، اما ریسکهایی هم دارد: کوچک شدن سطح open-source و دورتر شدن قابلیتهای dbt Core از dbt Fusion که میتواند به قفلشدن در فروشنده و تجربههای نامتوازن منجر شود. در این میان، ابزارهایی مثل SQLMesh با تأکید بر قابلیت اطمینان، تغییرات مبتنیبر plan و سازگاری با پروژههای dbt گزینهای برای حفظ انعطافپذیری و اجرای موازی یا مسیرهای مهاجرتی هستند. در آینده باید انتظار یکپارچگی بیشتر پلتفرمی و استانداردهای در حال تغییر را داشت. تیمها بهتر است وابستگیهای خود به dbt Core در برابر قابلیتهای مدیریتشده را بسنجند، اصول قابلحمل بودن (قراردادهای داده، استانداردهای lineage، چکهای CI/CD) را تعریف کنند، لایههای ذخیرهسازی/محاسبات را از ارکستراسیون جدا نگه دارند و با گزینههایی مانند SQLMesh آزمایشهای هدفمند انجام دهند تا برای تغییرات پیشرو آماده باشند.
#ModernDataStack #dbt #Fivetran #DataEngineering #OpenSource #SQLMesh #AnalyticsEngineering
🟣لینک مقاله:
https://smallbigdata.substack.com/p/sqlmesh-dbt-and-fivetran-whats-next?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
SQLMesh, dbt, and Fivetran... What's Next? (5 minute read)
🟢 خلاصه مقاله:
فشردهسازی اخیر در اکوسیستم Modern Data Stack با تصاحب dbt توسط Fivetran و یکپارچهسازیهای اخیر با Tobiko Data و Census نشان میدهد که لایههای ingestion، transformation، modeling و حتی activation به سمت تجمیع زیر چتر چند فروشنده محدود میروند. این روند میتواند کار را برای تیمها سادهتر کند و به متادیتا، lineage، حاکمیت و صورتحساب یکپارچه بینجامد، اما ریسکهایی هم دارد: کوچک شدن سطح open-source و دورتر شدن قابلیتهای dbt Core از dbt Fusion که میتواند به قفلشدن در فروشنده و تجربههای نامتوازن منجر شود. در این میان، ابزارهایی مثل SQLMesh با تأکید بر قابلیت اطمینان، تغییرات مبتنیبر plan و سازگاری با پروژههای dbt گزینهای برای حفظ انعطافپذیری و اجرای موازی یا مسیرهای مهاجرتی هستند. در آینده باید انتظار یکپارچگی بیشتر پلتفرمی و استانداردهای در حال تغییر را داشت. تیمها بهتر است وابستگیهای خود به dbt Core در برابر قابلیتهای مدیریتشده را بسنجند، اصول قابلحمل بودن (قراردادهای داده، استانداردهای lineage، چکهای CI/CD) را تعریف کنند، لایههای ذخیرهسازی/محاسبات را از ارکستراسیون جدا نگه دارند و با گزینههایی مانند SQLMesh آزمایشهای هدفمند انجام دهند تا برای تغییرات پیشرو آماده باشند.
#ModernDataStack #dbt #Fivetran #DataEngineering #OpenSource #SQLMesh #AnalyticsEngineering
🟣لینک مقاله:
https://smallbigdata.substack.com/p/sqlmesh-dbt-and-fivetran-whats-next?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Substack
SQLMesh, dbt and Fivetran... what's next?
A Turning Point for the Data Engineering Landscape
🧠 آموزش زبان سالیدیتی و ترید ارز دجیتال از صفر تا حرفهای به صورت رایگان
🔹 جدیدترین اخبار بلاکچین و کریپتو و فناوری
🔹 تحلیل پروژهها روز و فرصتهای Web3
⚙️ نکات فنی، ترفندهای توسعه و فرصتهای شغلی
به جامعه توسعهدهندگان آیندهنگر بپیوند!
👇👇👇
📲 [@omidtrade360]
🔹 جدیدترین اخبار بلاکچین و کریپتو و فناوری
🔹 تحلیل پروژهها روز و فرصتهای Web3
⚙️ نکات فنی، ترفندهای توسعه و فرصتهای شغلی
به جامعه توسعهدهندگان آیندهنگر بپیوند!
👇👇👇
📲 [@omidtrade360]
🔵 عنوان مقاله
A cute example of solving a logic puzzle
🟢 خلاصه مقاله:
این مطلب در Golang Weekly یک نمونه دوستداشتنی از حل یک پازل منطقی را نشان میدهد: تبدیل سرنخهای متنی به قیود دقیق، مدلسازی حالتها، و حذف تدریجی گزینههای نامعتبر تا رسیدن به پاسخ یکتا. رویکرد آن بر سادگی و شفافیت تکیه دارد—با استفاده از ساختارهای داده ساده و اندکی backtracking یا constraint propagation که پیادهسازیاش در Go روان و قابل دنبالکردن است. فراتر از یک معما، پیام اصلی این است که پازلهای منطقی محیطی عالی برای تمرین تفکر الگوریتمی در Go فراهم میکنند؛ از مدلسازی و آزمونپذیری تا ملاحظات کارایی. در پایان، خواننده تشویق میشود با نسخههای مختلف معما و شیوههای بیان قیود آزمایش کند و از فرایند تبدیل سرنخهای غیررسمی به منطق اجرایی لذت ببرد.
#Golang #Go #LogicPuzzle #AlgorithmicThinking #ConstraintSolving #Backtracking #GolangWeekly
🟣لینک مقاله:
https://postgresweekly.com/link/175724/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
A cute example of solving a logic puzzle
🟢 خلاصه مقاله:
این مطلب در Golang Weekly یک نمونه دوستداشتنی از حل یک پازل منطقی را نشان میدهد: تبدیل سرنخهای متنی به قیود دقیق، مدلسازی حالتها، و حذف تدریجی گزینههای نامعتبر تا رسیدن به پاسخ یکتا. رویکرد آن بر سادگی و شفافیت تکیه دارد—با استفاده از ساختارهای داده ساده و اندکی backtracking یا constraint propagation که پیادهسازیاش در Go روان و قابل دنبالکردن است. فراتر از یک معما، پیام اصلی این است که پازلهای منطقی محیطی عالی برای تمرین تفکر الگوریتمی در Go فراهم میکنند؛ از مدلسازی و آزمونپذیری تا ملاحظات کارایی. در پایان، خواننده تشویق میشود با نسخههای مختلف معما و شیوههای بیان قیود آزمایش کند و از فرایند تبدیل سرنخهای غیررسمی به منطق اجرایی لذت ببرد.
#Golang #Go #LogicPuzzle #AlgorithmicThinking #ConstraintSolving #Backtracking #GolangWeekly
🟣لینک مقاله:
https://postgresweekly.com/link/175724/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Reddit
cthart's comment on "Logic"
Explore this conversation and more from the puzzle community
🔵 عنوان مقاله
E-Maj 4.7: Fine-Grained Write Logging and Time Travel Extension
🟢 خلاصه مقاله:
امکان ثبت ریزدانه تغییرات نوشتاری و «time travel» روی بخشهایی از پایگاهداده، هسته اصلی E-Maj 4.7 است. این افزونه تغییرات درج، بهروزرسانی و حذف را روی جدولهای انتخابی ردگیری میکند تا بتوان وضعیت گذشته همان بخشها را در یک زمان مشخص مشاهده یا بهصورت هدفمند بازگردانی کرد—بدون نیاز به برگرداندن کل پایگاهداده. نتیجه، ممیزی و ردیابی دقیق، رفع خطا و مقایسه نسخهها، و بازیابی نقطهای سریعتر و کماختلال است. E-Maj 4.7 قابل پیکربندی است (انتخاب جدولها، گروهبندی و نگهداشت سوابق) و در کنار پشتیبانگیری و تکرار داده، بازیابی را چابکتر میکند. بهعنوان یک انتشار پخته از v4، برای استفاده عملی و محیطهای تولیدی مناسب است.
#Database
#TimeTravel
#ChangeLogging
#DataAuditing
#PointInTimeRecovery
#DataVersioning
#EMaj
#RDBMS
🟣لینک مقاله:
https://postgresweekly.com/link/173763/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
E-Maj 4.7: Fine-Grained Write Logging and Time Travel Extension
🟢 خلاصه مقاله:
امکان ثبت ریزدانه تغییرات نوشتاری و «time travel» روی بخشهایی از پایگاهداده، هسته اصلی E-Maj 4.7 است. این افزونه تغییرات درج، بهروزرسانی و حذف را روی جدولهای انتخابی ردگیری میکند تا بتوان وضعیت گذشته همان بخشها را در یک زمان مشخص مشاهده یا بهصورت هدفمند بازگردانی کرد—بدون نیاز به برگرداندن کل پایگاهداده. نتیجه، ممیزی و ردیابی دقیق، رفع خطا و مقایسه نسخهها، و بازیابی نقطهای سریعتر و کماختلال است. E-Maj 4.7 قابل پیکربندی است (انتخاب جدولها، گروهبندی و نگهداشت سوابق) و در کنار پشتیبانگیری و تکرار داده، بازیابی را چابکتر میکند. بهعنوان یک انتشار پخته از v4، برای استفاده عملی و محیطهای تولیدی مناسب است.
#Database
#TimeTravel
#ChangeLogging
#DataAuditing
#PointInTimeRecovery
#DataVersioning
#EMaj
#RDBMS
🟣لینک مقاله:
https://postgresweekly.com/link/173763/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
🔵 عنوان مقاله
Understanding and Setting Postgres JDBC Fetch Size
🟢 خلاصه مقاله:
این مقاله اهمیت تنظیم درست Fetch Size در JDBC برای Postgres را توضیح میدهد: مقدار پیشفرض 0 عملاً کل نتایج را یکباره در حافظه میریزد و برای حجمهای بزرگ خطرناک است. برای استریم واقعی باید auto-commit را خاموش کنید (setAutoCommit(false)) و روی Statement/PreparedStatement مقدار setFetchSize(n) بگذارید یا از defaultRowFetchSize در اتصال استفاده کنید؛ در حالت auto-commit فعال، درایور از cursor سمت سرور استفاده نمیکند و Fetch Size نادیده گرفته میشود. انتخاب مقدار به اندازه ردیفها، تأخیر شبکه و حافظه بستگی دارد؛ معمولاً 100 تا 1000 شروع خوبی است و برای ردیفهای بزرگ (JSON/BYTEA) بهتر است مقدار کوچکتر باشد. در Spring JdbcTemplate و jOOQ میتوانید fetchSize را مستقیم تنظیم کنید؛ در JPA/Hibernate برای استریم با PostgreSQL علاوه بر hibernate.jdbc.fetch_size معمولاً نیاز به ResultSet رو به جلو و auto-commit خاموش دارید. حواستان باشد استریم باعث باز ماندن تراکنش میشود و میتواند VACUUM را به تأخیر بیندازد؛ پس جریانها را کوتاه نگه دارید و برای سناریوهای تعاملی از صفحهبندی استفاده کنید. این موضوع اخیراً در Golang Weekly برجسته شده است و برای تیمهایی که Java و Go را ترکیب میکنند کاربردی است.
#PostgreSQL #JDBC #FetchSize #DatabasePerformance #Java #GolangWeekly #Streaming #PerformanceTuning
🟣لینک مقاله:
https://postgresweekly.com/link/175727/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Understanding and Setting Postgres JDBC Fetch Size
🟢 خلاصه مقاله:
این مقاله اهمیت تنظیم درست Fetch Size در JDBC برای Postgres را توضیح میدهد: مقدار پیشفرض 0 عملاً کل نتایج را یکباره در حافظه میریزد و برای حجمهای بزرگ خطرناک است. برای استریم واقعی باید auto-commit را خاموش کنید (setAutoCommit(false)) و روی Statement/PreparedStatement مقدار setFetchSize(n) بگذارید یا از defaultRowFetchSize در اتصال استفاده کنید؛ در حالت auto-commit فعال، درایور از cursor سمت سرور استفاده نمیکند و Fetch Size نادیده گرفته میشود. انتخاب مقدار به اندازه ردیفها، تأخیر شبکه و حافظه بستگی دارد؛ معمولاً 100 تا 1000 شروع خوبی است و برای ردیفهای بزرگ (JSON/BYTEA) بهتر است مقدار کوچکتر باشد. در Spring JdbcTemplate و jOOQ میتوانید fetchSize را مستقیم تنظیم کنید؛ در JPA/Hibernate برای استریم با PostgreSQL علاوه بر hibernate.jdbc.fetch_size معمولاً نیاز به ResultSet رو به جلو و auto-commit خاموش دارید. حواستان باشد استریم باعث باز ماندن تراکنش میشود و میتواند VACUUM را به تأخیر بیندازد؛ پس جریانها را کوتاه نگه دارید و برای سناریوهای تعاملی از صفحهبندی استفاده کنید. این موضوع اخیراً در Golang Weekly برجسته شده است و برای تیمهایی که Java و Go را ترکیب میکنند کاربردی است.
#PostgreSQL #JDBC #FetchSize #DatabasePerformance #Java #GolangWeekly #Streaming #PerformanceTuning
🟣لینک مقاله:
https://postgresweekly.com/link/175727/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
🛩️ Shane Borden's Technology Blog
Understanding and Setting PostgreSQL JDBC Fetch Size
By default, the PostgreSQL JDBC driver fetches all rows at once and attempts to load them into memory vs. other drivers such as Oracle that by default only fetches 10 rows at a time. Both defaults …
🔵 عنوان مقاله
F3: The Open-Source Data File Format for the Future (45 minute read)
🟢 خلاصه مقاله:
F3 یک فرمت ستونی متنباز و نسل جدید است که با تمرکز بر میانعملیاتی، توسعهپذیری و کارایی طراحی شده و هنوز در حال تکامل است. نوآوری اصلی آن جاسازی منطق رمزگشایی WebAssembly داخل هر فایل است تا خوانندههای قدیمی و جدید بتوانند بدون بهروزرسانی همزمان کتابخانهها، رمزگذاریهای تازه را تفسیر کنند. F3 با جدا کردن چیدمان واحدهای I/O از گروههای ردیف، امکان بهینهسازی برای الگوهای دسترسی گوناگون را فراهم میکند؛ همچنین با پشتیبانی از محدودههای لغتنامهای انعطافپذیر و استفاده از flatbuffers برای دسترسی سریع به فراداده، هم فشردهسازی و هم سرعت رمزگشایی را بهبود میدهد. ارزیابیها نشان میدهد F3 از نظر کارایی همتراز Parquet و ORC است و در عین حال تکامل بیدردسر فرمت را ممکن میسازد؛ کد پیادهسازی آن نیز بهصورت عمومی در دسترس است.
#DataFormats #ColumnarStorage #WebAssembly #OpenSource #Parquet #ORC #FlatBuffers #DataEngineering
🟣لینک مقاله:
https://db.cs.cmu.edu/papers/2025/zeng-sigmod2025.pdf?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
F3: The Open-Source Data File Format for the Future (45 minute read)
🟢 خلاصه مقاله:
F3 یک فرمت ستونی متنباز و نسل جدید است که با تمرکز بر میانعملیاتی، توسعهپذیری و کارایی طراحی شده و هنوز در حال تکامل است. نوآوری اصلی آن جاسازی منطق رمزگشایی WebAssembly داخل هر فایل است تا خوانندههای قدیمی و جدید بتوانند بدون بهروزرسانی همزمان کتابخانهها، رمزگذاریهای تازه را تفسیر کنند. F3 با جدا کردن چیدمان واحدهای I/O از گروههای ردیف، امکان بهینهسازی برای الگوهای دسترسی گوناگون را فراهم میکند؛ همچنین با پشتیبانی از محدودههای لغتنامهای انعطافپذیر و استفاده از flatbuffers برای دسترسی سریع به فراداده، هم فشردهسازی و هم سرعت رمزگشایی را بهبود میدهد. ارزیابیها نشان میدهد F3 از نظر کارایی همتراز Parquet و ORC است و در عین حال تکامل بیدردسر فرمت را ممکن میسازد؛ کد پیادهسازی آن نیز بهصورت عمومی در دسترس است.
#DataFormats #ColumnarStorage #WebAssembly #OpenSource #Parquet #ORC #FlatBuffers #DataEngineering
🟣لینک مقاله:
https://db.cs.cmu.edu/papers/2025/zeng-sigmod2025.pdf?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
🔵 عنوان مقاله
The Modern Data Stack's Final Act: Consolidation Masquerading as Unification (14 minute read)
🟢 خلاصه مقاله:
ادعای «سکوهای یکپارچه» در Modern Data Stack بیشتر پوششی برای «یکپارچهسازیِ بازاری» بهنفع فروشندگان است تا یکپارچگی واقعی. عرضهکنندگان با ادغام لایهها و خرید ابزارهای مجاور، بستههای بزرگتری میفروشند که ظاهراً سادهترند، اما عملاً وابستگی به فروشنده و هزینههای جابهجایی را بالا میبرند. بیشتر این یکپارچهسازی سطحی است؛ همکاریپذیریِ معماریِ واقعی به متادیتای مشترک، حکمرانی و معناشناسیِ همسان و قابلانتقال نیاز دارد، چیزی که هنوز کمیاب است. تنها تعداد کمی از پلتفرمها مانند Palantir Foundry و DataOS نمونهای از یکپارچگیِ معماریِ سرتاسری را نشان میدهند. خریداران باید عمق «یکپارچگی» را محک بزنند: قابلیت حمل متادیتا، انتشار سیاستها، ثبات مدلهای معنایی و تکیه بر استانداردها و APIهای باز؛ در غیر این صورت، سادگیِ کوتاهمدت با قفلشدن بلندمدت تاخت میخورد.
#ModernDataStack #DataPlatform #Interoperability #VendorLockIn #DataGovernance #Consolidation #EnterpriseData #DataArchitecture
🟣لینک مقاله:
https://moderndata101.substack.com/p/the-modern-data-stacks-final-act?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
The Modern Data Stack's Final Act: Consolidation Masquerading as Unification (14 minute read)
🟢 خلاصه مقاله:
ادعای «سکوهای یکپارچه» در Modern Data Stack بیشتر پوششی برای «یکپارچهسازیِ بازاری» بهنفع فروشندگان است تا یکپارچگی واقعی. عرضهکنندگان با ادغام لایهها و خرید ابزارهای مجاور، بستههای بزرگتری میفروشند که ظاهراً سادهترند، اما عملاً وابستگی به فروشنده و هزینههای جابهجایی را بالا میبرند. بیشتر این یکپارچهسازی سطحی است؛ همکاریپذیریِ معماریِ واقعی به متادیتای مشترک، حکمرانی و معناشناسیِ همسان و قابلانتقال نیاز دارد، چیزی که هنوز کمیاب است. تنها تعداد کمی از پلتفرمها مانند Palantir Foundry و DataOS نمونهای از یکپارچگیِ معماریِ سرتاسری را نشان میدهند. خریداران باید عمق «یکپارچگی» را محک بزنند: قابلیت حمل متادیتا، انتشار سیاستها، ثبات مدلهای معنایی و تکیه بر استانداردها و APIهای باز؛ در غیر این صورت، سادگیِ کوتاهمدت با قفلشدن بلندمدت تاخت میخورد.
#ModernDataStack #DataPlatform #Interoperability #VendorLockIn #DataGovernance #Consolidation #EnterpriseData #DataArchitecture
🟣لینک مقاله:
https://moderndata101.substack.com/p/the-modern-data-stacks-final-act?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Substack
The Modern Data Stack’s Final Act: Consolidation Masquerading as Unification
Why "tool" vendors are increasingly acquiring in adjacent spaces, the illusion of "unification", and how to identify true architectural unification.
🔵 عنوان مقاله
Spark Config Madness (3 minute read)
🟢 خلاصه مقاله:
اجرای Spark روی جدولهای Iceberg که توسط AWS Glue مدیریت میشوند، با استفاده از پکیجهای رسمی AWS Iceberg Glue، تمام عملیاتهای متداول مانند CTAS، MERGE، UPDATE، DELETE و INSERT را پشتیبانی میکند و قابلیتهایی مثل snapshot isolation و تکامل اسکیمای Iceberg را روی دادههای مبتنی بر S3 به ارمغان میآورد. با چند تنظیم ساده برای Spark—از جمله فعالسازی افزونههای Iceberg، تعریف Glue بهعنوان کاتالوگ، و استفاده از Default AWS Credential Chain—میتوان هم امنیت و هم انطباق با محیط تولید را حفظ کرد و از سختکد کردن رازها پرهیز نمود. با این رویکرد، ساخت جدولهای جدید با CTAS، انجام upsertها با MERGE و پاکسازی هدفمند دادهها ممکن میشود و Iceberg مدیریت متادیتا و همزمانی را بر عهده میگیرد. با این حال، پیچیدگی تنظیمات، سازگاری نسخهها و ظرایف کار با S3 یادآور میشود که استفاده از سرویسهای مدیریتشدهی Spark یا پایگاهدادهها میتواند هزینه و سربار مهندسی را بهطور معناداری کاهش دهد.
#ApacheSpark #AWS #AWSGlue #ApacheIceberg #S3 #DataEngineering #Lakehouse #ETL
🟣لینک مقاله:
https://performancede.substack.com/p/spark-config-madness?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Spark Config Madness (3 minute read)
🟢 خلاصه مقاله:
اجرای Spark روی جدولهای Iceberg که توسط AWS Glue مدیریت میشوند، با استفاده از پکیجهای رسمی AWS Iceberg Glue، تمام عملیاتهای متداول مانند CTAS، MERGE، UPDATE، DELETE و INSERT را پشتیبانی میکند و قابلیتهایی مثل snapshot isolation و تکامل اسکیمای Iceberg را روی دادههای مبتنی بر S3 به ارمغان میآورد. با چند تنظیم ساده برای Spark—از جمله فعالسازی افزونههای Iceberg، تعریف Glue بهعنوان کاتالوگ، و استفاده از Default AWS Credential Chain—میتوان هم امنیت و هم انطباق با محیط تولید را حفظ کرد و از سختکد کردن رازها پرهیز نمود. با این رویکرد، ساخت جدولهای جدید با CTAS، انجام upsertها با MERGE و پاکسازی هدفمند دادهها ممکن میشود و Iceberg مدیریت متادیتا و همزمانی را بر عهده میگیرد. با این حال، پیچیدگی تنظیمات، سازگاری نسخهها و ظرایف کار با S3 یادآور میشود که استفاده از سرویسهای مدیریتشدهی Spark یا پایگاهدادهها میتواند هزینه و سربار مهندسی را بهطور معناداری کاهش دهد.
#ApacheSpark #AWS #AWSGlue #ApacheIceberg #S3 #DataEngineering #Lakehouse #ETL
🟣لینک مقاله:
https://performancede.substack.com/p/spark-config-madness?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Substack
Spark Config Madness
Will it Ever Stop?
🔵 عنوان مقاله
date and timestamp versions of random(min, max)
🟢 خلاصه مقاله:
این مقاله به دو بهروزرسانی کاربردی اشاره میکند: افزودهشدن نسخههای مبتنیبر نوعهای date و timestamp برای تابع random(min, max) و نمایش برآوردهای برنامهریز برای گره Memoize در خروجی EXPLAIN. با پشتیبانی جدید random(min, max)، میتوان مقادیر تصادفی از نوع تاریخ یا زمان را مستقیماً در یک بازه مشخص تولید کرد؛ کاری مفید برای تولید دادهی آزمایشی، شبیهسازی بار کاری و ناشناسسازی دادههای زمانی بدون نیاز به تبدیلهای اضافی. همچنین، EXPLAIN اکنون برآوردهای مربوط به Memoize را نشان میدهد تا روشنتر شود چرا برنامهریز از این گره استفاده کرده و تأثیر تخمینی کش و هزینهها چیست؛ موضوعی که به عیبیابی و بهینهسازی پرسوجوها کمک میکند.
#Databases #SQL #EXPLAIN #Memoize #Random #Date #Timestamp #Performance
🟣لینک مقاله:
https://postgresweekly.com/link/175090/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
date and timestamp versions of random(min, max)
🟢 خلاصه مقاله:
این مقاله به دو بهروزرسانی کاربردی اشاره میکند: افزودهشدن نسخههای مبتنیبر نوعهای date و timestamp برای تابع random(min, max) و نمایش برآوردهای برنامهریز برای گره Memoize در خروجی EXPLAIN. با پشتیبانی جدید random(min, max)، میتوان مقادیر تصادفی از نوع تاریخ یا زمان را مستقیماً در یک بازه مشخص تولید کرد؛ کاری مفید برای تولید دادهی آزمایشی، شبیهسازی بار کاری و ناشناسسازی دادههای زمانی بدون نیاز به تبدیلهای اضافی. همچنین، EXPLAIN اکنون برآوردهای مربوط به Memoize را نشان میدهد تا روشنتر شود چرا برنامهریز از این گره استفاده کرده و تأثیر تخمینی کش و هزینهها چیست؛ موضوعی که به عیبیابی و بهینهسازی پرسوجوها کمک میکند.
#Databases #SQL #EXPLAIN #Memoize #Random #Date #Timestamp #Performance
🟣لینک مقاله:
https://postgresweekly.com/link/175090/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
👍1
🔵 عنوان مقاله
Building and Debugging Postgres
🟢 خلاصه مقاله:
این مطلب نشان میدهد چگونه یک محیط container برای کامپایل Postgres از سورس بسازید و آن را با GDB و VS Code دیباگ کنید. مراحل شامل نصب وابستگیها، پیکربندی با --enable-debug و --enable-cassert و CFLAGS مانند -O0 -g3، ساخت با make، راهاندازی با initdb و pg_ctl، و اتصال به پردازههای backend برای ردگیری اجرای کوئریها است. برای GDB، روی follow-fork-mode child، breakpoints در نقاط کلیدی، و کار با core dumpها تأکید میشود؛ و برای VS Code، استفاده از Dev Containers/Remote - Containers، تنظیم launch.json و sourceFileMap برای نگاشت مسیرها، و pipeTransport یا docker exec پیشنهاد میشود. در انتها، نکاتی مانند استفاده از ccache برای تسریع build، اجرای make check، افزایش logging، و نگهداشتن assertها برای یادگیری بهتر مطرح میشود.
#Postgres #PostgreSQL #GDB #VSCode #Containers #Debugging #DevContainers #CProgramming
🟣لینک مقاله:
https://postgresweekly.com/link/175386/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Building and Debugging Postgres
🟢 خلاصه مقاله:
این مطلب نشان میدهد چگونه یک محیط container برای کامپایل Postgres از سورس بسازید و آن را با GDB و VS Code دیباگ کنید. مراحل شامل نصب وابستگیها، پیکربندی با --enable-debug و --enable-cassert و CFLAGS مانند -O0 -g3، ساخت با make، راهاندازی با initdb و pg_ctl، و اتصال به پردازههای backend برای ردگیری اجرای کوئریها است. برای GDB، روی follow-fork-mode child، breakpoints در نقاط کلیدی، و کار با core dumpها تأکید میشود؛ و برای VS Code، استفاده از Dev Containers/Remote - Containers، تنظیم launch.json و sourceFileMap برای نگاشت مسیرها، و pipeTransport یا docker exec پیشنهاد میشود. در انتها، نکاتی مانند استفاده از ccache برای تسریع build، اجرای make check، افزایش logging، و نگهداشتن assertها برای یادگیری بهتر مطرح میشود.
#Postgres #PostgreSQL #GDB #VSCode #Containers #Debugging #DevContainers #CProgramming
🟣لینک مقاله:
https://postgresweekly.com/link/175386/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
sbaziotis.com
Building and Debugging Postgres
I collected useful information on how to build and debug Postgres in one place.