🔵 عنوان مقاله
The Modern Data Stack's Final Act: Consolidation Masquerading as Unification (14 minute read)
🟢 خلاصه مقاله:
ادعای «سکوهای یکپارچه» در Modern Data Stack بیشتر پوششی برای «یکپارچهسازیِ بازاری» بهنفع فروشندگان است تا یکپارچگی واقعی. عرضهکنندگان با ادغام لایهها و خرید ابزارهای مجاور، بستههای بزرگتری میفروشند که ظاهراً سادهترند، اما عملاً وابستگی به فروشنده و هزینههای جابهجایی را بالا میبرند. بیشتر این یکپارچهسازی سطحی است؛ همکاریپذیریِ معماریِ واقعی به متادیتای مشترک، حکمرانی و معناشناسیِ همسان و قابلانتقال نیاز دارد، چیزی که هنوز کمیاب است. تنها تعداد کمی از پلتفرمها مانند Palantir Foundry و DataOS نمونهای از یکپارچگیِ معماریِ سرتاسری را نشان میدهند. خریداران باید عمق «یکپارچگی» را محک بزنند: قابلیت حمل متادیتا، انتشار سیاستها، ثبات مدلهای معنایی و تکیه بر استانداردها و APIهای باز؛ در غیر این صورت، سادگیِ کوتاهمدت با قفلشدن بلندمدت تاخت میخورد.
#ModernDataStack #DataPlatform #Interoperability #VendorLockIn #DataGovernance #Consolidation #EnterpriseData #DataArchitecture
🟣لینک مقاله:
https://moderndata101.substack.com/p/the-modern-data-stacks-final-act?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
The Modern Data Stack's Final Act: Consolidation Masquerading as Unification (14 minute read)
🟢 خلاصه مقاله:
ادعای «سکوهای یکپارچه» در Modern Data Stack بیشتر پوششی برای «یکپارچهسازیِ بازاری» بهنفع فروشندگان است تا یکپارچگی واقعی. عرضهکنندگان با ادغام لایهها و خرید ابزارهای مجاور، بستههای بزرگتری میفروشند که ظاهراً سادهترند، اما عملاً وابستگی به فروشنده و هزینههای جابهجایی را بالا میبرند. بیشتر این یکپارچهسازی سطحی است؛ همکاریپذیریِ معماریِ واقعی به متادیتای مشترک، حکمرانی و معناشناسیِ همسان و قابلانتقال نیاز دارد، چیزی که هنوز کمیاب است. تنها تعداد کمی از پلتفرمها مانند Palantir Foundry و DataOS نمونهای از یکپارچگیِ معماریِ سرتاسری را نشان میدهند. خریداران باید عمق «یکپارچگی» را محک بزنند: قابلیت حمل متادیتا، انتشار سیاستها، ثبات مدلهای معنایی و تکیه بر استانداردها و APIهای باز؛ در غیر این صورت، سادگیِ کوتاهمدت با قفلشدن بلندمدت تاخت میخورد.
#ModernDataStack #DataPlatform #Interoperability #VendorLockIn #DataGovernance #Consolidation #EnterpriseData #DataArchitecture
🟣لینک مقاله:
https://moderndata101.substack.com/p/the-modern-data-stacks-final-act?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Substack
The Modern Data Stack’s Final Act: Consolidation Masquerading as Unification
Why "tool" vendors are increasingly acquiring in adjacent spaces, the illusion of "unification", and how to identify true architectural unification.
🔵 عنوان مقاله
Spark Config Madness (3 minute read)
🟢 خلاصه مقاله:
اجرای Spark روی جدولهای Iceberg که توسط AWS Glue مدیریت میشوند، با استفاده از پکیجهای رسمی AWS Iceberg Glue، تمام عملیاتهای متداول مانند CTAS، MERGE، UPDATE، DELETE و INSERT را پشتیبانی میکند و قابلیتهایی مثل snapshot isolation و تکامل اسکیمای Iceberg را روی دادههای مبتنی بر S3 به ارمغان میآورد. با چند تنظیم ساده برای Spark—از جمله فعالسازی افزونههای Iceberg، تعریف Glue بهعنوان کاتالوگ، و استفاده از Default AWS Credential Chain—میتوان هم امنیت و هم انطباق با محیط تولید را حفظ کرد و از سختکد کردن رازها پرهیز نمود. با این رویکرد، ساخت جدولهای جدید با CTAS، انجام upsertها با MERGE و پاکسازی هدفمند دادهها ممکن میشود و Iceberg مدیریت متادیتا و همزمانی را بر عهده میگیرد. با این حال، پیچیدگی تنظیمات، سازگاری نسخهها و ظرایف کار با S3 یادآور میشود که استفاده از سرویسهای مدیریتشدهی Spark یا پایگاهدادهها میتواند هزینه و سربار مهندسی را بهطور معناداری کاهش دهد.
#ApacheSpark #AWS #AWSGlue #ApacheIceberg #S3 #DataEngineering #Lakehouse #ETL
🟣لینک مقاله:
https://performancede.substack.com/p/spark-config-madness?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Spark Config Madness (3 minute read)
🟢 خلاصه مقاله:
اجرای Spark روی جدولهای Iceberg که توسط AWS Glue مدیریت میشوند، با استفاده از پکیجهای رسمی AWS Iceberg Glue، تمام عملیاتهای متداول مانند CTAS، MERGE، UPDATE، DELETE و INSERT را پشتیبانی میکند و قابلیتهایی مثل snapshot isolation و تکامل اسکیمای Iceberg را روی دادههای مبتنی بر S3 به ارمغان میآورد. با چند تنظیم ساده برای Spark—از جمله فعالسازی افزونههای Iceberg، تعریف Glue بهعنوان کاتالوگ، و استفاده از Default AWS Credential Chain—میتوان هم امنیت و هم انطباق با محیط تولید را حفظ کرد و از سختکد کردن رازها پرهیز نمود. با این رویکرد، ساخت جدولهای جدید با CTAS، انجام upsertها با MERGE و پاکسازی هدفمند دادهها ممکن میشود و Iceberg مدیریت متادیتا و همزمانی را بر عهده میگیرد. با این حال، پیچیدگی تنظیمات، سازگاری نسخهها و ظرایف کار با S3 یادآور میشود که استفاده از سرویسهای مدیریتشدهی Spark یا پایگاهدادهها میتواند هزینه و سربار مهندسی را بهطور معناداری کاهش دهد.
#ApacheSpark #AWS #AWSGlue #ApacheIceberg #S3 #DataEngineering #Lakehouse #ETL
🟣لینک مقاله:
https://performancede.substack.com/p/spark-config-madness?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Substack
Spark Config Madness
Will it Ever Stop?
🔵 عنوان مقاله
date and timestamp versions of random(min, max)
🟢 خلاصه مقاله:
این مقاله به دو بهروزرسانی کاربردی اشاره میکند: افزودهشدن نسخههای مبتنیبر نوعهای date و timestamp برای تابع random(min, max) و نمایش برآوردهای برنامهریز برای گره Memoize در خروجی EXPLAIN. با پشتیبانی جدید random(min, max)، میتوان مقادیر تصادفی از نوع تاریخ یا زمان را مستقیماً در یک بازه مشخص تولید کرد؛ کاری مفید برای تولید دادهی آزمایشی، شبیهسازی بار کاری و ناشناسسازی دادههای زمانی بدون نیاز به تبدیلهای اضافی. همچنین، EXPLAIN اکنون برآوردهای مربوط به Memoize را نشان میدهد تا روشنتر شود چرا برنامهریز از این گره استفاده کرده و تأثیر تخمینی کش و هزینهها چیست؛ موضوعی که به عیبیابی و بهینهسازی پرسوجوها کمک میکند.
#Databases #SQL #EXPLAIN #Memoize #Random #Date #Timestamp #Performance
🟣لینک مقاله:
https://postgresweekly.com/link/175090/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
date and timestamp versions of random(min, max)
🟢 خلاصه مقاله:
این مقاله به دو بهروزرسانی کاربردی اشاره میکند: افزودهشدن نسخههای مبتنیبر نوعهای date و timestamp برای تابع random(min, max) و نمایش برآوردهای برنامهریز برای گره Memoize در خروجی EXPLAIN. با پشتیبانی جدید random(min, max)، میتوان مقادیر تصادفی از نوع تاریخ یا زمان را مستقیماً در یک بازه مشخص تولید کرد؛ کاری مفید برای تولید دادهی آزمایشی، شبیهسازی بار کاری و ناشناسسازی دادههای زمانی بدون نیاز به تبدیلهای اضافی. همچنین، EXPLAIN اکنون برآوردهای مربوط به Memoize را نشان میدهد تا روشنتر شود چرا برنامهریز از این گره استفاده کرده و تأثیر تخمینی کش و هزینهها چیست؛ موضوعی که به عیبیابی و بهینهسازی پرسوجوها کمک میکند.
#Databases #SQL #EXPLAIN #Memoize #Random #Date #Timestamp #Performance
🟣لینک مقاله:
https://postgresweekly.com/link/175090/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
👍1
🔵 عنوان مقاله
Building and Debugging Postgres
🟢 خلاصه مقاله:
این مطلب نشان میدهد چگونه یک محیط container برای کامپایل Postgres از سورس بسازید و آن را با GDB و VS Code دیباگ کنید. مراحل شامل نصب وابستگیها، پیکربندی با --enable-debug و --enable-cassert و CFLAGS مانند -O0 -g3، ساخت با make، راهاندازی با initdb و pg_ctl، و اتصال به پردازههای backend برای ردگیری اجرای کوئریها است. برای GDB، روی follow-fork-mode child، breakpoints در نقاط کلیدی، و کار با core dumpها تأکید میشود؛ و برای VS Code، استفاده از Dev Containers/Remote - Containers، تنظیم launch.json و sourceFileMap برای نگاشت مسیرها، و pipeTransport یا docker exec پیشنهاد میشود. در انتها، نکاتی مانند استفاده از ccache برای تسریع build، اجرای make check، افزایش logging، و نگهداشتن assertها برای یادگیری بهتر مطرح میشود.
#Postgres #PostgreSQL #GDB #VSCode #Containers #Debugging #DevContainers #CProgramming
🟣لینک مقاله:
https://postgresweekly.com/link/175386/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Building and Debugging Postgres
🟢 خلاصه مقاله:
این مطلب نشان میدهد چگونه یک محیط container برای کامپایل Postgres از سورس بسازید و آن را با GDB و VS Code دیباگ کنید. مراحل شامل نصب وابستگیها، پیکربندی با --enable-debug و --enable-cassert و CFLAGS مانند -O0 -g3، ساخت با make، راهاندازی با initdb و pg_ctl، و اتصال به پردازههای backend برای ردگیری اجرای کوئریها است. برای GDB، روی follow-fork-mode child، breakpoints در نقاط کلیدی، و کار با core dumpها تأکید میشود؛ و برای VS Code، استفاده از Dev Containers/Remote - Containers، تنظیم launch.json و sourceFileMap برای نگاشت مسیرها، و pipeTransport یا docker exec پیشنهاد میشود. در انتها، نکاتی مانند استفاده از ccache برای تسریع build، اجرای make check، افزایش logging، و نگهداشتن assertها برای یادگیری بهتر مطرح میشود.
#Postgres #PostgreSQL #GDB #VSCode #Containers #Debugging #DevContainers #CProgramming
🟣لینک مقاله:
https://postgresweekly.com/link/175386/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
sbaziotis.com
Building and Debugging Postgres
I collected useful information on how to build and debug Postgres in one place.
🔵 عنوان مقاله
The Era of Open Data Infrastructure (6 minute read)
🟢 خلاصه مقاله:
این مقاله از آغاز «عصر زیرساخت داده باز» میگوید؛ جایی که ادغام Fivetran و dbt Labs یک سکوِ یکپارچه و باز برای استانداردسازی جذب، تبدیل و فعالسازی داده میسازد. هسته این رویکرد Apache Iceberg است؛ قالب جدولِ استاندارد و مستقل از موتور که با تضمینهای ACID، تکامل طرحواره و قابلیت time travel، امکان جابهجایی بیدردسر بین موتورهای پردازشی را فراهم میکند. این ترکیب با ارائه SLAs، تبارشناسی کامل از منبع تا مصرف، و رصدپذیری و حاکمیت یکپارچه، گلوگاههای استفاده از داده در سازمانها را هدف میگیرد و اعتماد به مدلها، انطباقپذیری و چابکی عملیاتی را بهطور چشمگیری بهبود میدهد. در نتیجه، تیمها بدون قفلشدن در یک فروشنده، میتوانند منطق تجاری را یکدست پیاده کنند، کیفیت و خطسیر داده را شفاف ببینند و فعالسازی داده را برای تحلیل، هوش مصنوعی و فرایندهای عملیاتی با هزینه و پیچیدگی کمتر گسترش دهند.
#OpenData #DataInfrastructure #ApacheIceberg #Fivetran #dbtLabs #DataGovernance #Interoperability #DataActivation
🟣لینک مقاله:
https://www.getdbt.com/blog/dbt-labs-and-fivetran-product-vision?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
The Era of Open Data Infrastructure (6 minute read)
🟢 خلاصه مقاله:
این مقاله از آغاز «عصر زیرساخت داده باز» میگوید؛ جایی که ادغام Fivetran و dbt Labs یک سکوِ یکپارچه و باز برای استانداردسازی جذب، تبدیل و فعالسازی داده میسازد. هسته این رویکرد Apache Iceberg است؛ قالب جدولِ استاندارد و مستقل از موتور که با تضمینهای ACID، تکامل طرحواره و قابلیت time travel، امکان جابهجایی بیدردسر بین موتورهای پردازشی را فراهم میکند. این ترکیب با ارائه SLAs، تبارشناسی کامل از منبع تا مصرف، و رصدپذیری و حاکمیت یکپارچه، گلوگاههای استفاده از داده در سازمانها را هدف میگیرد و اعتماد به مدلها، انطباقپذیری و چابکی عملیاتی را بهطور چشمگیری بهبود میدهد. در نتیجه، تیمها بدون قفلشدن در یک فروشنده، میتوانند منطق تجاری را یکدست پیاده کنند، کیفیت و خطسیر داده را شفاف ببینند و فعالسازی داده را برای تحلیل، هوش مصنوعی و فرایندهای عملیاتی با هزینه و پیچیدگی کمتر گسترش دهند.
#OpenData #DataInfrastructure #ApacheIceberg #Fivetran #dbtLabs #DataGovernance #Interoperability #DataActivation
🟣لینک مقاله:
https://www.getdbt.com/blog/dbt-labs-and-fivetran-product-vision?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
dbt Labs
The era of open data infrastructure | dbt Labs
Why the dbt + Fivetran merger is the inflection point for AI, Iceberg, and the enterprise
هر دیتابیس، فقط یه مجموعه داده نیست
امروز یه مقاله از GeeksforGeeks خوندم دربارهی پایههای DBMS.
مطلبش ساده بود، ولی باعث شد یه چیز جالب یادم بیاد:
چقدر از چیزهایی که تو دنیای نرمافزار میسازیم، در واقع تلاش برای نظم دادن به دادههامونه.
و DBMS دقیقاً همین کار رو میکنه — ساختن یه سیستم که بتونه داده رو نگه داره، بفهمه، و سریع در دسترس قرار بده.
ولی چیزی که جذابتره اینه که DBMS فقط یه ابزار نیست، یه طرز فکره.
وقتی یاد میگیری دادهها رو چطور ساختار بدی، داری یاد میگیری چطور فکر سیستمی داشته باشی.
از همونجا میشه فهمید چرا معماری RDBMS پایهی خیلی از سیستمهای مدرن شده.
چون پشتش یه ایده سادهست:
رابطهها مهمتر از دادهها هستن.
<Sirus Valioghli/>
امروز یه مقاله از GeeksforGeeks خوندم دربارهی پایههای DBMS.
مطلبش ساده بود، ولی باعث شد یه چیز جالب یادم بیاد:
چقدر از چیزهایی که تو دنیای نرمافزار میسازیم، در واقع تلاش برای نظم دادن به دادههامونه.
و DBMS دقیقاً همین کار رو میکنه — ساختن یه سیستم که بتونه داده رو نگه داره، بفهمه، و سریع در دسترس قرار بده.
ولی چیزی که جذابتره اینه که DBMS فقط یه ابزار نیست، یه طرز فکره.
وقتی یاد میگیری دادهها رو چطور ساختار بدی، داری یاد میگیری چطور فکر سیستمی داشته باشی.
از همونجا میشه فهمید چرا معماری RDBMS پایهی خیلی از سیستمهای مدرن شده.
چون پشتش یه ایده سادهست:
رابطهها مهمتر از دادهها هستن.
<Sirus Valioghli/>
Forwarded from VIP
🚀 به دنیای توسعه و تکنولوژی خوش اومدی!
اگر به موضوعات زیر علاقهمندی:
🔹 Golang
🔹 Linux & DevOps
🔹 Software Engineering
🔹 AI & Machine Learning
🔹 فرصتهای شغلی ریموت (خارجی و داخلی)
ما برات یه مجموعه کانالهای تخصصی ساختیم تا همیشه بهروز، حرفهای و الهامبخش بمونی!
📚 یادگیری، فرصت، شبکهسازی و پیشرفت، همش اینجاست...
📌 از این لینک همه چنلهامونو یهجا ببین و جوین شو:
👉 https://news.1rj.ru/str/addlist/AJ7rh2IzIh02NTI0
اگر به موضوعات زیر علاقهمندی:
🔹 Golang
🔹 Linux & DevOps
🔹 Software Engineering
🔹 AI & Machine Learning
🔹 فرصتهای شغلی ریموت (خارجی و داخلی)
ما برات یه مجموعه کانالهای تخصصی ساختیم تا همیشه بهروز، حرفهای و الهامبخش بمونی!
📚 یادگیری، فرصت، شبکهسازی و پیشرفت، همش اینجاست...
📌 از این لینک همه چنلهامونو یهجا ببین و جوین شو:
👉 https://news.1rj.ru/str/addlist/AJ7rh2IzIh02NTI0
🔵 عنوان مقاله
an interview with CEO and founder Hans-Jürgen Schönig
🟢 خلاصه مقاله:
برایند این گفتگو با Hans-Jürgen Schönig، مدیرعامل و بنیانگذار، روایت شکلگیری شرکت و مسیر رشد آن است: از انگیزه آغازین و مسالهای که قصد حلش را داشتند، تا چگونگی ساخت نسخه اولیه و مدل عملیاتی. او درباره چالشهای شروع کار—یافتن مشتریان اولیه، اعتبارسنجی محصول، اولویتگذاری منابع محدود و تصمیمهای دشوار درباره سرعت رشد—و نقشی که بازخورد مشتری در جهتدهی به محصول داشت، صحبت میکند. سپس به مقیاسپذیری تیم، فرهنگ مسئولیتپذیری و کیفیت، بهبود فرآیندها، و تکامل مسیر ورود به بازار و همکاریها میپردازد. در ادامه، بر درسهای کلیدی، نقاط عطف، شیوه رهبری و توازن میان نوآوری و پایداری تاکید میکند و در بخش پایانی، دیدگاه آینده و توصیههایی عملی برای بنیانگذاران—شروع کوچک، یادگیری سریع و رشد پایدار—را مطرح میسازد.
#Startup #FounderStory #Leadership #CompanyGrowth #Entrepreneurship #BusinessStrategy #Interview
🟣لینک مقاله:
https://postgresweekly.com/link/175393/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
an interview with CEO and founder Hans-Jürgen Schönig
🟢 خلاصه مقاله:
برایند این گفتگو با Hans-Jürgen Schönig، مدیرعامل و بنیانگذار، روایت شکلگیری شرکت و مسیر رشد آن است: از انگیزه آغازین و مسالهای که قصد حلش را داشتند، تا چگونگی ساخت نسخه اولیه و مدل عملیاتی. او درباره چالشهای شروع کار—یافتن مشتریان اولیه، اعتبارسنجی محصول، اولویتگذاری منابع محدود و تصمیمهای دشوار درباره سرعت رشد—و نقشی که بازخورد مشتری در جهتدهی به محصول داشت، صحبت میکند. سپس به مقیاسپذیری تیم، فرهنگ مسئولیتپذیری و کیفیت، بهبود فرآیندها، و تکامل مسیر ورود به بازار و همکاریها میپردازد. در ادامه، بر درسهای کلیدی، نقاط عطف، شیوه رهبری و توازن میان نوآوری و پایداری تاکید میکند و در بخش پایانی، دیدگاه آینده و توصیههایی عملی برای بنیانگذاران—شروع کوچک، یادگیری سریع و رشد پایدار—را مطرح میسازد.
#Startup #FounderStory #Leadership #CompanyGrowth #Entrepreneurship #BusinessStrategy #Interview
🟣لینک مقاله:
https://postgresweekly.com/link/175393/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
CYBERTEC PostgreSQL | Services & Support
How it all began - 25 years of CYBERTEC
This blog describes how CYBERTEC began, and what was achieved in this all 25 years. Dive in and know it for the CEO himself.
🔵 عنوان مقاله
AWS Glue Iceberg Rest Catalog (5 minute read)
🟢 خلاصه مقاله:
AWS Glue 5.0 با تکیه بر Apache Iceberg و Iceberg REST catalog قابل شبیهسازی در محیط محلی است تا بتوان منطق ETL، طراحی جدول و رفتار کوئری را بدون هزینه EMR آزمایش کرد. با راهاندازی یک سرویس محلی Iceberg REST catalog و تنظیم Spark برای استفاده از آن، ساخت و تغییر طرح، پارتیشنبندی، snapshots و time travel بهصورت محلی قابل ارزیابی میشود. مراحل کلیدی شامل نصب Spark با وابستگیهای Iceberg، اجرای سرویس REST catalog، تنظیم URI و مسیر warehouse محلی و سپس اجرای سناریوهای ETL و پرسوجوهاست. این روش چرخه توسعه را سریع میکند و امکان تستهای تکرارپذیر را فراهم میسازد، هرچند تفاوتهایی مثل نبود IAM و تفاوت کارایی با فضای ابری وجود دارد؛ بنابراین پیش از استقرار نهایی، اعتبارسنجی در staging روی AWS Glue یا EMR توصیه میشود.
#AWSGlue #ApacheIceberg #Spark #ETL #RESTCatalog #EMR #DataEngineering #Lakehouse
🟣لینک مقاله:
https://performancede.substack.com/p/aws-glue-iceberg-rest-catalog?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
AWS Glue Iceberg Rest Catalog (5 minute read)
🟢 خلاصه مقاله:
AWS Glue 5.0 با تکیه بر Apache Iceberg و Iceberg REST catalog قابل شبیهسازی در محیط محلی است تا بتوان منطق ETL، طراحی جدول و رفتار کوئری را بدون هزینه EMR آزمایش کرد. با راهاندازی یک سرویس محلی Iceberg REST catalog و تنظیم Spark برای استفاده از آن، ساخت و تغییر طرح، پارتیشنبندی، snapshots و time travel بهصورت محلی قابل ارزیابی میشود. مراحل کلیدی شامل نصب Spark با وابستگیهای Iceberg، اجرای سرویس REST catalog، تنظیم URI و مسیر warehouse محلی و سپس اجرای سناریوهای ETL و پرسوجوهاست. این روش چرخه توسعه را سریع میکند و امکان تستهای تکرارپذیر را فراهم میسازد، هرچند تفاوتهایی مثل نبود IAM و تفاوت کارایی با فضای ابری وجود دارد؛ بنابراین پیش از استقرار نهایی، اعتبارسنجی در staging روی AWS Glue یا EMR توصیه میشود.
#AWSGlue #ApacheIceberg #Spark #ETL #RESTCatalog #EMR #DataEngineering #Lakehouse
🟣لینک مقاله:
https://performancede.substack.com/p/aws-glue-iceberg-rest-catalog?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Substack
AWS Glue Iceberg Rest Catalog
An Exhaustive Test
❤1
🔵 عنوان مقاله
Practical Guide to Semantic Layers: From Definition to Demo (10 minute read)
🟢 خلاصه مقاله:
این راهنمای ۱۰ دقیقهای نشان میدهد «لایهٔ معنایی» چگونه با تعریف متمرکزِ متریکها و ابعاد در YAML، محاسبات KPI را در همه ابزارها یکسان میکند. در یک دمو عملی، با استفاده از Boring Semantic Layer و موتور DuckDB/Ibis، همان متریکها از طریق Python و Streamlit بدون دوبارهنویسی منطق، نتایج یکسان تولید میکنند. نگهداری تعریفها در YAML (همراه با نسخهبندی و تست) به حکمرانی بهتر، قابلیت بازتولید و جابهجایی ساده بین موتورهای اجرایی کمک میکند. در سطح اکوسیستم، ابزارهایی مانند dbt SL، Malloy و استاندارد OSI از Snowflake همکنشپذیری را پیش میبرند و به سمت یک قرارداد مشترک برای متریکها حرکت میکنند.
#SemanticLayer #DataEngineering #AnalyticsEngineering #DuckDB #Ibis #dbt #Malloy #Snowflake
🟣لینک مقاله:
https://rasmusengelbrecht.substack.com/p/practical-guide-to-semantic-layers?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Practical Guide to Semantic Layers: From Definition to Demo (10 minute read)
🟢 خلاصه مقاله:
این راهنمای ۱۰ دقیقهای نشان میدهد «لایهٔ معنایی» چگونه با تعریف متمرکزِ متریکها و ابعاد در YAML، محاسبات KPI را در همه ابزارها یکسان میکند. در یک دمو عملی، با استفاده از Boring Semantic Layer و موتور DuckDB/Ibis، همان متریکها از طریق Python و Streamlit بدون دوبارهنویسی منطق، نتایج یکسان تولید میکنند. نگهداری تعریفها در YAML (همراه با نسخهبندی و تست) به حکمرانی بهتر، قابلیت بازتولید و جابهجایی ساده بین موتورهای اجرایی کمک میکند. در سطح اکوسیستم، ابزارهایی مانند dbt SL، Malloy و استاندارد OSI از Snowflake همکنشپذیری را پیش میبرند و به سمت یک قرارداد مشترک برای متریکها حرکت میکنند.
#SemanticLayer #DataEngineering #AnalyticsEngineering #DuckDB #Ibis #dbt #Malloy #Snowflake
🟣لینک مقاله:
https://rasmusengelbrecht.substack.com/p/practical-guide-to-semantic-layers?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Substack
Practical Guide to Semantic Layers: From Definition to Demo (Part 1)
An introduction to semantic layers with a hands-on demo using the boring-semantic-layer library and a Streamlit app.
🔵 عنوان مقاله
We Built an Open Source S3 Tables Alternative (8 minute read)
🟢 خلاصه مقاله:
RisingWave و Lakekeeper یک جایگزین متنباز برای S3 Tables ارائه کردهاند که با یک دستور، یک پشته کامل و «مدیریتشده» از Apache Iceberg را راهاندازی میکند. این راهکار با ترکیب یک REST catalog، ورود داده مبتنی بر SQL و یک موتور compaction سبک مبتنی بر DataFusion، عملیات را ساده میکند و بدون vendor lock-in، با DuckDB، Trino و Spark سازگار است و نیازی به نگهداری Spark برای مدیریت جدولها ندارد. پشتیبانی از time travel، طراحی آگاه از پارتیشن و compaction خودکار، تجربهای شبیه پایگاهداده از Iceberg میسازد، در حالیکه ماهیت باز و ماژولارِ فرمت جدول حفظ میشود.
#ApacheIceberg #S3Tables #OpenSource #Lakehouse #RisingWave #Lakekeeper #DuckDB #Trino #Spark
🟣لینک مقاله:
https://medium.com/@yingjunwu/we-built-an-open-source-s3-tables-alternative-2b3c95ef4b3a?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
We Built an Open Source S3 Tables Alternative (8 minute read)
🟢 خلاصه مقاله:
RisingWave و Lakekeeper یک جایگزین متنباز برای S3 Tables ارائه کردهاند که با یک دستور، یک پشته کامل و «مدیریتشده» از Apache Iceberg را راهاندازی میکند. این راهکار با ترکیب یک REST catalog، ورود داده مبتنی بر SQL و یک موتور compaction سبک مبتنی بر DataFusion، عملیات را ساده میکند و بدون vendor lock-in، با DuckDB، Trino و Spark سازگار است و نیازی به نگهداری Spark برای مدیریت جدولها ندارد. پشتیبانی از time travel، طراحی آگاه از پارتیشن و compaction خودکار، تجربهای شبیه پایگاهداده از Iceberg میسازد، در حالیکه ماهیت باز و ماژولارِ فرمت جدول حفظ میشود.
#ApacheIceberg #S3Tables #OpenSource #Lakehouse #RisingWave #Lakekeeper #DuckDB #Trino #Spark
🟣لینک مقاله:
https://medium.com/@yingjunwu/we-built-an-open-source-s3-tables-alternative-2b3c95ef4b3a?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Medium
We Built an Open Source S3 Tables Alternative
Run Apache Iceberg as easily as Postgres.
🔵 عنوان مقاله
The Model Selection Showdown: 6 Considerations for Choosing the Best Model (5 minute read)
🟢 خلاصه مقاله:
انتخاب مدل مناسب در یادگیری ماشین با دنبالکردن شش گام عملی نتیجه میدهد: هدف را دقیق تعریف کنید و معیار موفقیت را با نیازهای ذینفعان همراستا کنید؛ یک baseline ساده بسازید تا آستانه عملکرد و خطاهای داده روشن شوند؛ معیارهای سنجش را متناسب با مسئله و عدمتوازن دادهها انتخاب کنید؛ با cross-validation درست (از جمله زمانمحور برای سریهای زمانی) برآورد تعمیمپذیری را مطمئن کنید و از نشت اطلاعات جلوگیری کنید؛ بین پیچیدگی و قابلیت تفسیر تعادل برقرار کنید و هزینه استقرار/نگهداری را بسنجید؛ و در نهایت، با دادههای واقعی از طریق تست برونزمانی، A/B یا استقرار سایه اعتبارسنجی کنید و پایش مستمرِ رانش و کالیبراسیون داشته باشید. بهترین مدل لزوماً جدیدترین الگوریتم نیست، بلکه مدلی است که با مسئله، داده و نیاز کسبوکار بیشترین انطباق را دارد.
#ModelSelection #MachineLearning #DataScience #Metrics #CrossValidation #Interpretability #MLOps
🟣لینک مقاله:
https://machinelearningmastery.com/the-model-selection-showdown-6-considerations-for-choosing-the-best-model/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
The Model Selection Showdown: 6 Considerations for Choosing the Best Model (5 minute read)
🟢 خلاصه مقاله:
انتخاب مدل مناسب در یادگیری ماشین با دنبالکردن شش گام عملی نتیجه میدهد: هدف را دقیق تعریف کنید و معیار موفقیت را با نیازهای ذینفعان همراستا کنید؛ یک baseline ساده بسازید تا آستانه عملکرد و خطاهای داده روشن شوند؛ معیارهای سنجش را متناسب با مسئله و عدمتوازن دادهها انتخاب کنید؛ با cross-validation درست (از جمله زمانمحور برای سریهای زمانی) برآورد تعمیمپذیری را مطمئن کنید و از نشت اطلاعات جلوگیری کنید؛ بین پیچیدگی و قابلیت تفسیر تعادل برقرار کنید و هزینه استقرار/نگهداری را بسنجید؛ و در نهایت، با دادههای واقعی از طریق تست برونزمانی، A/B یا استقرار سایه اعتبارسنجی کنید و پایش مستمرِ رانش و کالیبراسیون داشته باشید. بهترین مدل لزوماً جدیدترین الگوریتم نیست، بلکه مدلی است که با مسئله، داده و نیاز کسبوکار بیشترین انطباق را دارد.
#ModelSelection #MachineLearning #DataScience #Metrics #CrossValidation #Interpretability #MLOps
🟣لینک مقاله:
https://machinelearningmastery.com/the-model-selection-showdown-6-considerations-for-choosing-the-best-model/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
👍1
🔵 عنوان مقاله
Key Operational Enhancements and Integration Options in Postgres 16
🟢 خلاصه مقاله:
این مطلب با تمرکز بر مخاطبان Golang Weekly توضیح میدهد که Postgres 16 چه بهبودهایی برای عملیات روزمره و یکپارچهسازی با سرویسها آورده است. نویسنده روی حوزههای عملی مثل کارایی پایدارتر تحت بار، رفتار بهتر autovacuum، و رصدپذیری دقیقتر برای IO و پردازههای پسزمینه تأکید میکند تا تنظیمات و عیبیابی سریعتر و مطمئنتر انجام شود. همچنین به ارتقاهای مرتبط با replication منطقی و سنککردن ایمنتر، مدیریت slotها و سناریوهای failover اشاره میکند تا پیادهسازیهای HA و چندمنطقهای سادهتر شوند. در بخش یکپارچهسازی، گزینههای Go مانند pgx و database/sql، مدیریت connection pooling با pgxpool یا PgBouncer، اتصال به سامانههای رویدادمحور از طریق logical decoding و ابزارهایی مثل Debezium، و الگوهای LISTEN/NOTIFY و FDW مرور میشود. جمعبندی مقاله: Postgres 16 دردسرهای عملیاتی را کمتر و ادغام با معماریهای متنوع را سادهتر میکند و یک چکلیست کوتاه برای ارزیابی و ارتقای امن ارائه میدهد.
#Postgres16 #PostgreSQL #Golang #Go #Database #Replication #Observability #Performance
🟣لینک مقاله:
https://postgresweekly.com/link/175401/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Key Operational Enhancements and Integration Options in Postgres 16
🟢 خلاصه مقاله:
این مطلب با تمرکز بر مخاطبان Golang Weekly توضیح میدهد که Postgres 16 چه بهبودهایی برای عملیات روزمره و یکپارچهسازی با سرویسها آورده است. نویسنده روی حوزههای عملی مثل کارایی پایدارتر تحت بار، رفتار بهتر autovacuum، و رصدپذیری دقیقتر برای IO و پردازههای پسزمینه تأکید میکند تا تنظیمات و عیبیابی سریعتر و مطمئنتر انجام شود. همچنین به ارتقاهای مرتبط با replication منطقی و سنککردن ایمنتر، مدیریت slotها و سناریوهای failover اشاره میکند تا پیادهسازیهای HA و چندمنطقهای سادهتر شوند. در بخش یکپارچهسازی، گزینههای Go مانند pgx و database/sql، مدیریت connection pooling با pgxpool یا PgBouncer، اتصال به سامانههای رویدادمحور از طریق logical decoding و ابزارهایی مثل Debezium، و الگوهای LISTEN/NOTIFY و FDW مرور میشود. جمعبندی مقاله: Postgres 16 دردسرهای عملیاتی را کمتر و ادغام با معماریهای متنوع را سادهتر میکند و یک چکلیست کوتاه برای ارزیابی و ارتقای امن ارائه میدهد.
#Postgres16 #PostgreSQL #Golang #Go #Database #Replication #Observability #Performance
🟣لینک مقاله:
https://postgresweekly.com/link/175401/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Severalnines
Key Operational enhancements and integration options in PostgreSQL 16
Discover why PostgreSQL 16 remains a crucial step for teams with its improved query planner and operational advancements for databases.
🔵 عنوان مقاله
memoize planner estimates in EXPLAIN.
🟢 خلاصه مقاله:
**
این مطلب که در شماره اخیر Golang Weekly معرفی شده، درباره memoize کردن برآوردهای planner در EXPLAIN است تا تحلیل پرسوجوها سریعتر و قابلاتکاتر شود. ایده اصلی این است که تخمینهای میانی (مثل cardinality و هزینهها) بر اساس نسخه نرمالشدهی بخشهای پرسوجو و ورودیهای اثرگذار (آمار جداول، وضعیت schema، و تنظیمات planner) ذخیره شوند و در اجرایهای بعدی EXPLAIN دوباره استفاده شوند. نتیجه: کاهش هزینه محاسبات تکراری، ثبات بیشتر خروجیها، و مقایسه آسانتر تغییرات.
در پیادهسازی با Go میتوان با cacheهای سبک، هشکردن پرسوجوی نرمالشده و وضعیت کاتالوگ، و قلابهای ابطال (invalidation) قابلتنظیم به این هدف رسید؛ این رویکرد برای ابزارهای توسعه، CI و بنچمارکها سودمند است. البته چالشها هم مهماند: کهنگی دادههای cache با تغییر آمار یا تنظیمات، ضرورت سیاستهای ابطال شفاف، ترجیحاً cache کردن فقط برآوردها (نه کل plan)، ارائه نشانگرهای hit/miss در خروجی EXPLAIN، و تعیین دامنه و سقف اندازه cache (مثلاً در سطح session).
به طور خلاصه، memoize کردن برآوردهای planner در EXPLAIN چرخههای تحلیل را تسریع و نتایج را پایدارتر میکند، به شرط آنکه مرزهای cache و سیاستهای ابطال بهخوبی مدیریت شوند.
#Golang #Go #EXPLAIN #Database #QueryPlanner #Memoization #Performance #Optimization
🟣لینک مقاله:
https://postgresweekly.com/link/175091/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
memoize planner estimates in EXPLAIN.
🟢 خلاصه مقاله:
**
این مطلب که در شماره اخیر Golang Weekly معرفی شده، درباره memoize کردن برآوردهای planner در EXPLAIN است تا تحلیل پرسوجوها سریعتر و قابلاتکاتر شود. ایده اصلی این است که تخمینهای میانی (مثل cardinality و هزینهها) بر اساس نسخه نرمالشدهی بخشهای پرسوجو و ورودیهای اثرگذار (آمار جداول، وضعیت schema، و تنظیمات planner) ذخیره شوند و در اجرایهای بعدی EXPLAIN دوباره استفاده شوند. نتیجه: کاهش هزینه محاسبات تکراری، ثبات بیشتر خروجیها، و مقایسه آسانتر تغییرات.
در پیادهسازی با Go میتوان با cacheهای سبک، هشکردن پرسوجوی نرمالشده و وضعیت کاتالوگ، و قلابهای ابطال (invalidation) قابلتنظیم به این هدف رسید؛ این رویکرد برای ابزارهای توسعه، CI و بنچمارکها سودمند است. البته چالشها هم مهماند: کهنگی دادههای cache با تغییر آمار یا تنظیمات، ضرورت سیاستهای ابطال شفاف، ترجیحاً cache کردن فقط برآوردها (نه کل plan)، ارائه نشانگرهای hit/miss در خروجی EXPLAIN، و تعیین دامنه و سقف اندازه cache (مثلاً در سطح session).
به طور خلاصه، memoize کردن برآوردهای planner در EXPLAIN چرخههای تحلیل را تسریع و نتایج را پایدارتر میکند، به شرط آنکه مرزهای cache و سیاستهای ابطال بهخوبی مدیریت شوند.
#Golang #Go #EXPLAIN #Database #QueryPlanner #Memoization #Performance #Optimization
🟣لینک مقاله:
https://postgresweekly.com/link/175091/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Forwarded from Future Pulse Persian
♨️ چین شمشیر رو برای بلاگرها از رو بست ؛ اینفلوئنسر ها باید مدرک تحصصی بگیرن!
▪️طبق قانون جدیدی که دولت چین تصویب کرده، از این به بعد هرکسی بخواد تو حوزههایی مثل پزشکی، اقتصاد، حقوق یا آموزش ، محتوا تولید کنه باید مدرک دانشگاهی معتبر یا گواهی حرفهای رسمی داشته باشه ؛ وگرنه ۱۴ هزار دلار جریمه میشه!
▪️پلتفرمهایی مثل Douyin، Weibo و Bilibili هم موظفن مدارک بلاگرها رو بررسی کنن و اگه کسی بدون صلاحیت سراغ این موضوعات بره، حسابش بسته میشه یا جریمه میخوره.
+ دولت چین میگه هدفش جلوگیری از «اطلاعات گمراهکننده» است، اما خیلیا معتقدن این یه حرکت برای کنترل شدیدتر فضای مجازی و ساکت کردن صدای منتقدهاست.
▪️طبق قانون جدیدی که دولت چین تصویب کرده، از این به بعد هرکسی بخواد تو حوزههایی مثل پزشکی، اقتصاد، حقوق یا آموزش ، محتوا تولید کنه باید مدرک دانشگاهی معتبر یا گواهی حرفهای رسمی داشته باشه ؛ وگرنه ۱۴ هزار دلار جریمه میشه!
▪️پلتفرمهایی مثل Douyin، Weibo و Bilibili هم موظفن مدارک بلاگرها رو بررسی کنن و اگه کسی بدون صلاحیت سراغ این موضوعات بره، حسابش بسته میشه یا جریمه میخوره.
+ دولت چین میگه هدفش جلوگیری از «اطلاعات گمراهکننده» است، اما خیلیا معتقدن این یه حرکت برای کنترل شدیدتر فضای مجازی و ساکت کردن صدای منتقدهاست.
👍2
Forwarded from Future Pulse Persian
This media is not supported in your browser
VIEW IN TELEGRAM
روز بزرگداشت کوروش بزرگ، شاه شاهان
بر همهی ایرانیان گرامی و دوستداران تاریخ ایرانزمین خجسته باد 🌞
به مناسبت این روز پرافتخار،❤️ ۶۰٪ تخفیف ویژه روی تمام تعرفهها فقط تا ۱۰ آبان!
برای تبلیغات و همکاری:
📩 @mrbardia72
🛡 فرصت رو از دست نده، این تخفیف فقط سه روز فعاله!
💚🤍❤️
https://news.1rj.ru/str/addlist/AJ7rh2IzIh02NTI0
بر همهی ایرانیان گرامی و دوستداران تاریخ ایرانزمین خجسته باد 🌞
به مناسبت این روز پرافتخار،❤️ ۶۰٪ تخفیف ویژه روی تمام تعرفهها فقط تا ۱۰ آبان!
برای تبلیغات و همکاری:
📩 @mrbardia72
🛡 فرصت رو از دست نده، این تخفیف فقط سه روز فعاله!
💚🤍❤️
https://news.1rj.ru/str/addlist/AJ7rh2IzIh02NTI0
❤2🤡1
🔵 عنوان مقاله
Exploring Postgres 18's New UUIDv7 Support
🟢 خلاصه مقاله:
** پشتیبانی از UUIDv7 در Postgres 18 شناسههایی یکتا، زمانمرتب و تقریباً یکنوا ایجاد میکند که بر خلاف UUIDv4، بر اساس زمان بهصورت واژگانی مرتب میشوند. این ویژگی باعث بهبود محلیّت در ایندکسهای B-tree، کاهش شکافت صفحات و بهبود کارایی درجهای پیاپی میشود و کوئریهایی مثل ORDER BY id DESC با LIMIT و محدودههای زمانی را سادهتر و سریعتر میکند. در عین حال، بهدلیل ترکیب زمان و تصادفیبودن، خطر نقاط داغ کاهش مییابد، هرچند در بارگذاریهای بسیار همزمان باید پایش شود و پایداری ساعت سیستم اهمیت دارد. مهاجرت از UUIDv4 آسان است؛ میتوان مقادیر قدیمی را حفظ کرد و تولید پیشفرض را برای رکوردهای جدید به UUIDv7 تغییر داد. برای اغلب لاگهای رویداد و بارهای شبهزمانمحور، UUIDv7 توازن خوبی میان یکتایی، کارایی و سادگی کوئری فراهم میکند.
#Postgres #PostgreSQL #UUIDv7 #UUID #Database #Performance #Indexing #TimeSeries
🟣لینک مقاله:
https://postgresweekly.com/link/175725/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Exploring Postgres 18's New UUIDv7 Support
🟢 خلاصه مقاله:
** پشتیبانی از UUIDv7 در Postgres 18 شناسههایی یکتا، زمانمرتب و تقریباً یکنوا ایجاد میکند که بر خلاف UUIDv4، بر اساس زمان بهصورت واژگانی مرتب میشوند. این ویژگی باعث بهبود محلیّت در ایندکسهای B-tree، کاهش شکافت صفحات و بهبود کارایی درجهای پیاپی میشود و کوئریهایی مثل ORDER BY id DESC با LIMIT و محدودههای زمانی را سادهتر و سریعتر میکند. در عین حال، بهدلیل ترکیب زمان و تصادفیبودن، خطر نقاط داغ کاهش مییابد، هرچند در بارگذاریهای بسیار همزمان باید پایش شود و پایداری ساعت سیستم اهمیت دارد. مهاجرت از UUIDv4 آسان است؛ میتوان مقادیر قدیمی را حفظ کرد و تولید پیشفرض را برای رکوردهای جدید به UUIDv7 تغییر داد. برای اغلب لاگهای رویداد و بارهای شبهزمانمحور، UUIDv7 توازن خوبی میان یکتایی، کارایی و سادگی کوئری فراهم میکند.
#Postgres #PostgreSQL #UUIDv7 #UUID #Database #Performance #Indexing #TimeSeries
🟣لینک مقاله:
https://postgresweekly.com/link/175725/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Aiven
Exploring PostgreSQL 18's new UUIDv7 support
Exploring what's interesting about UUIDv7 support using a demo crab store.
🔵 عنوان مقاله
PostGIS Performance: pg_stat_statements and Postgres Tuning
🟢 خلاصه مقاله:
**این مقاله نشان میدهد چطور با استفاده از PostGIS روی Postgres میتوان کارایی پرسوجوهای مکانی را بهبود داد. محور اصلی کار، اندازهگیری دقیق با pg_stat_statements برای شناسایی پرهزینهترین پرسوجوها و سپس تحلیل آنها با EXPLAIN/ANALYZE است. توصیههای کلیدی شامل انتخاب درست geometry یا geography، ساخت ایندکسهای GiST/SP-GiST، نوشتن شرطهای قابل استفاده توسط ایندکس (مثل ST_Intersects و محدودههای جعبهای)، و اجرای VACUUM/ANALYZE پس از بارگذاریهای حجیم است. در بخش تنظیمات Postgres هم به shared_buffers، effective_cache_size، work_mem، موازیسازی، تنظیمات autovacuum و در صورت نیاز پارتیشنبندی اشاره میشود. برای سرویسهای Go (به نقل از Golang Weekly)، استفاده از pooling مناسب، جلوگیری از الگوهای N+1، Batch کردن عملیات، بهرهگیری از COPY و تعیین statement_timeout توصیه شده است. رویکرد کلی: اندازهگیری، اعمال تغییرات هدفمند، و اعتبارسنجی مداوم برای رسیدن به کارایی پایدار و سریعتر.
#PostGIS #PostgreSQL #pg_stat_statements #DatabaseTuning #Geospatial #Golang #Performance #SQL
🟣لینک مقاله:
https://postgresweekly.com/link/176025/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
PostGIS Performance: pg_stat_statements and Postgres Tuning
🟢 خلاصه مقاله:
**این مقاله نشان میدهد چطور با استفاده از PostGIS روی Postgres میتوان کارایی پرسوجوهای مکانی را بهبود داد. محور اصلی کار، اندازهگیری دقیق با pg_stat_statements برای شناسایی پرهزینهترین پرسوجوها و سپس تحلیل آنها با EXPLAIN/ANALYZE است. توصیههای کلیدی شامل انتخاب درست geometry یا geography، ساخت ایندکسهای GiST/SP-GiST، نوشتن شرطهای قابل استفاده توسط ایندکس (مثل ST_Intersects و محدودههای جعبهای)، و اجرای VACUUM/ANALYZE پس از بارگذاریهای حجیم است. در بخش تنظیمات Postgres هم به shared_buffers، effective_cache_size، work_mem، موازیسازی، تنظیمات autovacuum و در صورت نیاز پارتیشنبندی اشاره میشود. برای سرویسهای Go (به نقل از Golang Weekly)، استفاده از pooling مناسب، جلوگیری از الگوهای N+1، Batch کردن عملیات، بهرهگیری از COPY و تعیین statement_timeout توصیه شده است. رویکرد کلی: اندازهگیری، اعمال تغییرات هدفمند، و اعتبارسنجی مداوم برای رسیدن به کارایی پایدار و سریعتر.
#PostGIS #PostgreSQL #pg_stat_statements #DatabaseTuning #Geospatial #Golang #Performance #SQL
🟣لینک مقاله:
https://postgresweekly.com/link/176025/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Crunchy Data
PostGIS Performance: pg_stat_statements and Postgres tuning | Crunchy Data Blog
PostGIS performance basics. Second post in a series covering pg_stat_statements, shared buffers, work_mem, and parallel queries.
🔵 عنوان مقاله
Postgres 18: OLD and NEW Rows in the RETURNING Clause
🟢 خلاصه مقاله:
Postgres 18 با تمرکز بر سه حوزه پیش میرود: ارگونومی توسعه، قابلیت مشاهده، و بارگذاری داده. پشتیبانی از ارجاع به ردیفهای OLD و NEW در RETURNING باعث میشود نسخههای قبل و بعد از تغییر را در همان دستور SQL بگیرید؛ این کار لاگبرداری، ثبت تغییرات و منطق حل تعارض را سادهتر و کمهزینهتر میکند. بهبودهای COPY—به روایت Brandur Leach—کار با ورودی/خروجیهای حجیم را خوشدستتر میکند و با پیامهای واضحتر و پیشفرضهای امنتر، خطاهای رایج را کم میکند. در سطح پایش، Deepak Mahto و Cédric Villemain به ارتقاهای Cumulative Statistics میپردازند که با شمارندههای منسجمتر و سربار کمتر، عیبیابی و تنظیم عملکرد را آسانتر میسازد. حاصل این تغییرات، ترکیبی از تجربه توسعهدهنده بهتر و بینش عملیاتی عمیقتر در Postgres 18 است.
#Postgres18 #PostgreSQL #RETURNING #COPY #SQL #Database #CumulativeStatistics #OpenSource
🟣لینک مقاله:
https://postgresweekly.com/link/175099/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Postgres 18: OLD and NEW Rows in the RETURNING Clause
🟢 خلاصه مقاله:
Postgres 18 با تمرکز بر سه حوزه پیش میرود: ارگونومی توسعه، قابلیت مشاهده، و بارگذاری داده. پشتیبانی از ارجاع به ردیفهای OLD و NEW در RETURNING باعث میشود نسخههای قبل و بعد از تغییر را در همان دستور SQL بگیرید؛ این کار لاگبرداری، ثبت تغییرات و منطق حل تعارض را سادهتر و کمهزینهتر میکند. بهبودهای COPY—به روایت Brandur Leach—کار با ورودی/خروجیهای حجیم را خوشدستتر میکند و با پیامهای واضحتر و پیشفرضهای امنتر، خطاهای رایج را کم میکند. در سطح پایش، Deepak Mahto و Cédric Villemain به ارتقاهای Cumulative Statistics میپردازند که با شمارندههای منسجمتر و سربار کمتر، عیبیابی و تنظیم عملکرد را آسانتر میسازد. حاصل این تغییرات، ترکیبی از تجربه توسعهدهنده بهتر و بینش عملیاتی عمیقتر در Postgres 18 است.
#Postgres18 #PostgreSQL #RETURNING #COPY #SQL #Database #CumulativeStatistics #OpenSource
🟣لینک مقاله:
https://postgresweekly.com/link/175099/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Crunchy Data
Postgres 18: OLD and NEW Rows in the RETURNING Clause | Crunchy Data Blog
Postgres 18 now lets you see both old and new data when you add the RETURNING clause to an UPDATE statement
🔵 عنوان مقاله
Pipelining Comes to psql in Postgres 18
🟢 خلاصه مقاله:
** در Postgres 18، ابزار psql فرمانهای داخلی برای فعالسازی و کنترل pipelining در اسکریپتهای SQL اضافه کرده است. با این قابلیت، چندین کوئری پشتسرهم ارسال میشوند و منتظر پاسخ تکبهتک نمیمانند؛ در نتیجه رفتوبرگشتهای شبکه کمتر و زمان اجرا کوتاهتر میشود. بهگفته Daniel، این کار میتواند بهرهوری و throughput کوئریها را بهطور چشمگیری افزایش دهد، بهویژه در اسکریپتهای پر از دستورات کوچک.
این ویژگی برای کارهای حجیم و خودکار مانند بارگذاری داده، پردازشهای ETL، تحلیلها و مهاجرتهای اسکیما بسیار مفید است. میتوان pipelining را فقط در بخشهای مناسب یک اسکریپت فعال کرد و برای اطمینان از سازگاری و بازگردانی، مرزبندی تراکنشها و مدیریت خطا را دقیق انجام داد. در صورت عدم استفاده، رفتار psql مانند قبل باقی میماند و با سایر تکنیکهای بهینهسازی سرور تکمیل میشود، نه اینکه جایگزین آنها باشد.
#Postgres
#psql
#Pipelining
#SQL
#DatabasePerformance
#PostgreSQL18
#Throughput
#ETL
🟣لینک مقاله:
https://postgresweekly.com/link/175088/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Pipelining Comes to psql in Postgres 18
🟢 خلاصه مقاله:
** در Postgres 18، ابزار psql فرمانهای داخلی برای فعالسازی و کنترل pipelining در اسکریپتهای SQL اضافه کرده است. با این قابلیت، چندین کوئری پشتسرهم ارسال میشوند و منتظر پاسخ تکبهتک نمیمانند؛ در نتیجه رفتوبرگشتهای شبکه کمتر و زمان اجرا کوتاهتر میشود. بهگفته Daniel، این کار میتواند بهرهوری و throughput کوئریها را بهطور چشمگیری افزایش دهد، بهویژه در اسکریپتهای پر از دستورات کوچک.
این ویژگی برای کارهای حجیم و خودکار مانند بارگذاری داده، پردازشهای ETL، تحلیلها و مهاجرتهای اسکیما بسیار مفید است. میتوان pipelining را فقط در بخشهای مناسب یک اسکریپت فعال کرد و برای اطمینان از سازگاری و بازگردانی، مرزبندی تراکنشها و مدیریت خطا را دقیق انجام داد. در صورت عدم استفاده، رفتار psql مانند قبل باقی میماند و با سایر تکنیکهای بهینهسازی سرور تکمیل میشود، نه اینکه جایگزین آنها باشد.
#Postgres
#psql
#Pipelining
#SQL
#DatabasePerformance
#PostgreSQL18
#Throughput
#ETL
🟣لینک مقاله:
https://postgresweekly.com/link/175088/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
postgresql.verite.pro
Pipelining in psql (PostgreSQL 18)
the psql client version 18 comes with pipelining, which can speed up client-server communication. In this post, let's see how it works and how much can be g...