🔵 عنوان مقاله
Exploring Postgres to Parquet Archival for JSON Data with S3 Range Reads
🟢 خلاصه مقاله:
این مقاله یک الگوی بایگانی داده ارائه میکند: انتقال رکوردهای سرد JSON از Postgres به فایلهای Parquet روی S3 برای کاهش هزینه و فشار عملیاتی، در حالیکه امکان بازیابی سریع حفظ میشود. دادهها با کلیدهایی مثل tenant_id و تاریخ پارتیشنبندی میشوند، با ابزارهایی مانند pyarrow یا Spark به Parquet (با فشردهسازی Snappy/ZSTD و اندازه row group مناسب) تبدیل میگردند و در S3 با مسیرهای قابل پیشبینی ذخیره میشوند. برای بازیابی تند، با تکیه بر S3 Range Reads و متادیتای footer در Parquet فقط row groupها و column chunkهای لازم خوانده میشود؛ اگر lookup کلیدی بسیار سریع نیاز باشد، کنار هر فایل Parquet یک index کوچک نگهداری میشود که id را به بایترنچهای لازم نگاشت میکند. مسیر بازگردانی میتواند رکوردهای انتخابی را به Postgres برگرداند یا مستقیماً از S3 سرویس دهد؛ و موضوعاتی مانند رمزنگاری، نسخهبندی، lifecycle، و سنجش هزینه/کارایی نیز پوشش داده شده است.
#Postgres #Parquet #S3 #JSON #RangeReads #DataArchival #DataEngineering #AWS
🟣لینک مقاله:
https://postgresweekly.com/link/175387/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Exploring Postgres to Parquet Archival for JSON Data with S3 Range Reads
🟢 خلاصه مقاله:
این مقاله یک الگوی بایگانی داده ارائه میکند: انتقال رکوردهای سرد JSON از Postgres به فایلهای Parquet روی S3 برای کاهش هزینه و فشار عملیاتی، در حالیکه امکان بازیابی سریع حفظ میشود. دادهها با کلیدهایی مثل tenant_id و تاریخ پارتیشنبندی میشوند، با ابزارهایی مانند pyarrow یا Spark به Parquet (با فشردهسازی Snappy/ZSTD و اندازه row group مناسب) تبدیل میگردند و در S3 با مسیرهای قابل پیشبینی ذخیره میشوند. برای بازیابی تند، با تکیه بر S3 Range Reads و متادیتای footer در Parquet فقط row groupها و column chunkهای لازم خوانده میشود؛ اگر lookup کلیدی بسیار سریع نیاز باشد، کنار هر فایل Parquet یک index کوچک نگهداری میشود که id را به بایترنچهای لازم نگاشت میکند. مسیر بازگردانی میتواند رکوردهای انتخابی را به Postgres برگرداند یا مستقیماً از S3 سرویس دهد؛ و موضوعاتی مانند رمزنگاری، نسخهبندی، lifecycle، و سنجش هزینه/کارایی نیز پوشش داده شده است.
#Postgres #Parquet #S3 #JSON #RangeReads #DataArchival #DataEngineering #AWS
🟣لینک مقاله:
https://postgresweekly.com/link/175387/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Shayon Mukherjee
Exploring PostgreSQL to Parquet archival for JSON data with S3 range reads
Moving large JSON payloads from PostgreSQL TOAST tables to Parquet on S3 with deterministic sharding, row-group pruning, and range-based reads for millisecond point lookups.
❤1
🔵 عنوان مقاله
Kafka is Fast, I'll Use Postgres
🟢 خلاصه مقاله:
الهامگرفته از پستی درباره استفاده از Postgres بهجای Redis، نویسنده بررسی میکند آیا Postgres میتواند در بسیاری از سناریوهایی که معمولاً به Kafka فکر میکنیم «بهقدر کافی خوب» باشد یا نه. نتیجه این است که Kafka برای مقیاس بسیار بالا، نگهداری طولانیمدت رویدادها، پخش به چندین مصرفکننده، و بازپخش تاریخچه انتخاب برتر است، اما هزینه عملیاتی و پیچیدگی بیشتری دارد. در مقابل، Postgres با الگوهایی مثل transactional outbox، صف مبتنی بر جدول با SKIP LOCKED، LISTEN/NOTIFY برای اعلام سبک، و حتی logical decoding برای جریان تغییرات، میتواند نیازهای متداول را با سادگی عملیاتی و تضمینهای تراکنشی قوی پوشش دهد. البته محدودیتهایی مانند مدیریت دستی نگهداری و offset، محدودیتهای LISTEN/NOTIFY، و برنامهریزی برای بازپخش وجود دارد. جمعبندی: اگر نرخ رویداد متوسط، تعداد مصرفکننده کم، و سادگی عملیاتی اولویت دارد، Postgres انتخاب عملی است؛ و وقتی به پخش گسترده، بازپخش طولانی و توان عبوری بسیار بالا نیاز دارید، Kafka مناسبتر است.
#Postgres #Kafka #Redis #معماری_سیستم #پیام_محور #Outbox #EventDriven
🟣لینک مقاله:
https://postgresweekly.com/link/176354/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Kafka is Fast, I'll Use Postgres
🟢 خلاصه مقاله:
الهامگرفته از پستی درباره استفاده از Postgres بهجای Redis، نویسنده بررسی میکند آیا Postgres میتواند در بسیاری از سناریوهایی که معمولاً به Kafka فکر میکنیم «بهقدر کافی خوب» باشد یا نه. نتیجه این است که Kafka برای مقیاس بسیار بالا، نگهداری طولانیمدت رویدادها، پخش به چندین مصرفکننده، و بازپخش تاریخچه انتخاب برتر است، اما هزینه عملیاتی و پیچیدگی بیشتری دارد. در مقابل، Postgres با الگوهایی مثل transactional outbox، صف مبتنی بر جدول با SKIP LOCKED، LISTEN/NOTIFY برای اعلام سبک، و حتی logical decoding برای جریان تغییرات، میتواند نیازهای متداول را با سادگی عملیاتی و تضمینهای تراکنشی قوی پوشش دهد. البته محدودیتهایی مانند مدیریت دستی نگهداری و offset، محدودیتهای LISTEN/NOTIFY، و برنامهریزی برای بازپخش وجود دارد. جمعبندی: اگر نرخ رویداد متوسط، تعداد مصرفکننده کم، و سادگی عملیاتی اولویت دارد، Postgres انتخاب عملی است؛ و وقتی به پخش گسترده، بازپخش طولانی و توان عبوری بسیار بالا نیاز دارید، Kafka مناسبتر است.
#Postgres #Kafka #Redis #معماری_سیستم #پیام_محور #Outbox #EventDriven
🟣لینک مقاله:
https://postgresweekly.com/link/176354/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
TopicPartition
Kafka is fast -- I'll use Postgres
Why you should just use Postgres instead of Kafka for small-scale message queuing and pub-sub patterns. Benchmarks and practical tests included.
🔵 عنوان مقاله
Getting a Portable Setup for Postgres 18 on Windows
🟢 خلاصه مقاله:
این راهنمای عملی از Mohit Sindhwani نشان میدهد چطور یک نمونه کاملاً پرتابل از Postgres 18 را روی Windows راهاندازی کنید؛ بدون نصبکننده، بدون سرویس Windows و بدون نیاز به دسترسی ادمین. روش پیشنهادی برای توسعهدهندگان، مدرسها و هر کسی که یک دیتابیس ایزوله و قابلحمل میخواهد ایدهآل است.
نویسنده توصیه میکند نسخه ZIP (قابل حمل) را دریافت و در یک پوشه مستقل استخراج کنید، سپس با initdb دایرکتوری data را با تنظیمات مناسب (مثل UTF8 و locale) بسازید. مدیریت سرور با pg_ctl انجام میشود و برای پورت یا مسیرها میتوان از تنظیمات postgresql.conf یا پارامترهای خط فرمان استفاده کرد. برای سهولت، اسکریپتهای start/stop و تنظیم PATH تنها در همان نشست پیشنهاد میشود تا چیزی در سیستم ثبت نشود.
اتصال با psql صورت میگیرد و در صورت نیاز میتوان از ابزارهای گرافیکی مانند pgAdmin یا DBeaver بهره برد. راهنما بر امنیت پایه تأکید دارد: دسترسی پیشفرض محلی است و برای دسترسی شبکهای باید pg_hba.conf و listen_addresses را با احتیاط تنظیم کنید. پشتیبانگیری با pg_dump انجام میشود و چون نصب سیستمی وجود ندارد، پاکسازی تنها با توقف سرویس و حذف پوشه انجام میگیرد. نتیجه، یک فرآیند تمیز، تکرارپذیر و واقعاً پرتابل برای Postgres 18 روی Windows است.
#PostgreSQL #Postgres #Windows #Portable #Database #SQL #DevEnvironment #Tutorial
🟣لینک مقاله:
https://postgresweekly.com/link/176023/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Getting a Portable Setup for Postgres 18 on Windows
🟢 خلاصه مقاله:
این راهنمای عملی از Mohit Sindhwani نشان میدهد چطور یک نمونه کاملاً پرتابل از Postgres 18 را روی Windows راهاندازی کنید؛ بدون نصبکننده، بدون سرویس Windows و بدون نیاز به دسترسی ادمین. روش پیشنهادی برای توسعهدهندگان، مدرسها و هر کسی که یک دیتابیس ایزوله و قابلحمل میخواهد ایدهآل است.
نویسنده توصیه میکند نسخه ZIP (قابل حمل) را دریافت و در یک پوشه مستقل استخراج کنید، سپس با initdb دایرکتوری data را با تنظیمات مناسب (مثل UTF8 و locale) بسازید. مدیریت سرور با pg_ctl انجام میشود و برای پورت یا مسیرها میتوان از تنظیمات postgresql.conf یا پارامترهای خط فرمان استفاده کرد. برای سهولت، اسکریپتهای start/stop و تنظیم PATH تنها در همان نشست پیشنهاد میشود تا چیزی در سیستم ثبت نشود.
اتصال با psql صورت میگیرد و در صورت نیاز میتوان از ابزارهای گرافیکی مانند pgAdmin یا DBeaver بهره برد. راهنما بر امنیت پایه تأکید دارد: دسترسی پیشفرض محلی است و برای دسترسی شبکهای باید pg_hba.conf و listen_addresses را با احتیاط تنظیم کنید. پشتیبانگیری با pg_dump انجام میشود و چون نصب سیستمی وجود ندارد، پاکسازی تنها با توقف سرویس و حذف پوشه انجام میگیرد. نتیجه، یک فرآیند تمیز، تکرارپذیر و واقعاً پرتابل برای Postgres 18 روی Windows است.
#PostgreSQL #Postgres #Windows #Portable #Database #SQL #DevEnvironment #Tutorial
🟣لینک مقاله:
https://postgresweekly.com/link/176023/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Onghu
Portable setup for PostgreSQL on Windows (Pg18 Edition)
The normal method for using PostgreSQL on your Windows machine is to download the installer and then set it up. It’s easy and will do all the necessary things that you need for it. It will also set up services and other things that you might need. On the…
🔵 عنوان مقاله
Redis is Fast - I'll Cache in Postgres
🟢 خلاصه مقاله:
** این مقاله مقایسهای بین استفاده از Postgres و Redis برای کارهای کش ساده ارائه میکند و نتیجه میگیرد که هرچند Redis از نظر سرعت خام برتر است، در بسیاری از سناریوها این برتری آنقدر نیست که اضافهکردن یک سیستم جداگانه را توجیه کند. اگر دادههای پرتکرار در حافظه Postgres جا شوند و با یک جدول کلید-مقدار ساده (بههمراه expires_at و ایندکس مناسب)، prepared statements و connection pooling کار کنید، تأخیر بهحد کافی پایین و پایدار خواهد بود. زمانی Redis منطقی است که به تأخیر بسیار کم و QPS بسیار بالا نیاز دارید، کش مشترک بین سرویسها میخواهید، یا به قابلیتهای خاص آن مثل data structures، pub/sub و eviction policies نیاز دارید. در غیر این صورت، سادگی عملیاتی، هزینه کمتر و کاهش نقاط خرابی با استفاده از Postgres ارزشمندتر است؛ و در صورت آشکار شدن گلوگاه عملکردی، میتوان بعداً Redis را پشت یک رابط مناسب اضافه و بهتدریج مهاجرت کرد.
#Redis #Postgres #Caching #Performance #Databases #Architecture #DevOps #Scalability
🟣لینک مقاله:
https://postgresweekly.com/link/174758/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Redis is Fast - I'll Cache in Postgres
🟢 خلاصه مقاله:
** این مقاله مقایسهای بین استفاده از Postgres و Redis برای کارهای کش ساده ارائه میکند و نتیجه میگیرد که هرچند Redis از نظر سرعت خام برتر است، در بسیاری از سناریوها این برتری آنقدر نیست که اضافهکردن یک سیستم جداگانه را توجیه کند. اگر دادههای پرتکرار در حافظه Postgres جا شوند و با یک جدول کلید-مقدار ساده (بههمراه expires_at و ایندکس مناسب)، prepared statements و connection pooling کار کنید، تأخیر بهحد کافی پایین و پایدار خواهد بود. زمانی Redis منطقی است که به تأخیر بسیار کم و QPS بسیار بالا نیاز دارید، کش مشترک بین سرویسها میخواهید، یا به قابلیتهای خاص آن مثل data structures، pub/sub و eviction policies نیاز دارید. در غیر این صورت، سادگی عملیاتی، هزینه کمتر و کاهش نقاط خرابی با استفاده از Postgres ارزشمندتر است؛ و در صورت آشکار شدن گلوگاه عملکردی، میتوان بعداً Redis را پشت یک رابط مناسب اضافه و بهتدریج مهاجرت کرد.
#Redis #Postgres #Caching #Performance #Databases #Architecture #DevOps #Scalability
🟣لینک مقاله:
https://postgresweekly.com/link/174758/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Dizzy zone
Redis is fast - I'll cache in Postgres
There are books & many articles online, like this one arguing for using Postgres for everything. I thought I’d take a look at one use case - using Postgres instead of Redis for caching. I work with APIs quite a bit, so I’d build a super simple HTTP server…
🔵 عنوان مقاله
postgres-contrib.org
🟢 خلاصه مقاله:
postgres-contrib.org یک وبلاگ با رویکرد گردآوری هفتگی (اغلب هفتگی) است که مهمترین مشارکتها و تغییرات در پروژه Postgres را بهصورت خلاصه و قابلخواندن ارائه میکند. این گردآورها حوزههایی مانند بهبودهای هسته، افزونهها، کارایی، رفع باگ، بهروزرسانی مستندات و ابزارهای پیرامونی را پوشش میدهند و معمولاً در صورت امکان لینکهایی برای پیگیری کد یا بحثهای مرتبط ارائه میشود. این رویکرد به توسعهدهندگان، DBAها و مشارکتکنندگان کمک میکند بدون جستوجوی پراکنده، از روندها و تغییرات مهم باخبر شوند، برای ارتقاها برنامهریزی کنند و فرصتهای مشارکت را ببینند. هدف، تکمیل یادداشتهای رسمی انتشار با یک چکیده جامعهمحور و منظم از فعالیتهای جاری در اکوسیستم PostgreSQL است.
#Postgres #PostgreSQL #OpenSource #Database #Community #Contributions #WeeklyDigest
🟣لینک مقاله:
https://postgresweekly.com/link/176675/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
postgres-contrib.org
🟢 خلاصه مقاله:
postgres-contrib.org یک وبلاگ با رویکرد گردآوری هفتگی (اغلب هفتگی) است که مهمترین مشارکتها و تغییرات در پروژه Postgres را بهصورت خلاصه و قابلخواندن ارائه میکند. این گردآورها حوزههایی مانند بهبودهای هسته، افزونهها، کارایی، رفع باگ، بهروزرسانی مستندات و ابزارهای پیرامونی را پوشش میدهند و معمولاً در صورت امکان لینکهایی برای پیگیری کد یا بحثهای مرتبط ارائه میشود. این رویکرد به توسعهدهندگان، DBAها و مشارکتکنندگان کمک میکند بدون جستوجوی پراکنده، از روندها و تغییرات مهم باخبر شوند، برای ارتقاها برنامهریزی کنند و فرصتهای مشارکت را ببینند. هدف، تکمیل یادداشتهای رسمی انتشار با یک چکیده جامعهمحور و منظم از فعالیتهای جاری در اکوسیستم PostgreSQL است.
#Postgres #PostgreSQL #OpenSource #Database #Community #Contributions #WeeklyDigest
🟣لینک مقاله:
https://postgresweekly.com/link/176675/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
postgres-contrib.org
postgres-contrib.org | Contributions to the PostgreSQL Project
A website by members of the PostgreSQL community highlighting the contributions to the project. Many contributions to and for the PostgreSQL Project happen outside of writing code, and we list the latest ones here.
🔵 عنوان مقاله
Streaming Patterns with DuckDB (6 minute read)
🟢 خلاصه مقاله:
** DuckDB با وجود ریشههای OLAP، با الگوهای معماری سازگارشده مثل الگوی Materialized View و رویکرد Streaming Engine میتواند تحلیلهای جریانی را بهخوبی پشتیبانی کند و در آزمونهای اخیر بیش از یک میلیون ردیف بر ثانیه پردازش کرده است. یکپارچگی با فرمتهای lakehouse مانند DuckLake و افزونههای جامعه برای دریافت مستقیم از Kafka نیز قابلیتهای تحلیل بلادرنگ آن را گسترش میدهند. هرچند DuckDB فاقد Materialized View بومی و ویژگیهای کامل stateful streaming است، اما سادگی، طراحی درونفرآیندی و کارایی بالای آن اجرای میکروبچ، بهروزرسانیهای نزدیک به بلادرنگ و پایپلاینهای سبکوزن را ممکن میکند و برای بسیاری از سناریوهای «بهاندازه کافی بلادرنگ» گزینهای عملی و کمهزینه است.
#DuckDB #StreamingAnalytics #RealTimeData #OLAP #Kafka #Lakehouse #MaterializedViews
🟣لینک مقاله:
https://duckdb.org/2025/10/13/duckdb-streaming-patterns.html?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Streaming Patterns with DuckDB (6 minute read)
🟢 خلاصه مقاله:
** DuckDB با وجود ریشههای OLAP، با الگوهای معماری سازگارشده مثل الگوی Materialized View و رویکرد Streaming Engine میتواند تحلیلهای جریانی را بهخوبی پشتیبانی کند و در آزمونهای اخیر بیش از یک میلیون ردیف بر ثانیه پردازش کرده است. یکپارچگی با فرمتهای lakehouse مانند DuckLake و افزونههای جامعه برای دریافت مستقیم از Kafka نیز قابلیتهای تحلیل بلادرنگ آن را گسترش میدهند. هرچند DuckDB فاقد Materialized View بومی و ویژگیهای کامل stateful streaming است، اما سادگی، طراحی درونفرآیندی و کارایی بالای آن اجرای میکروبچ، بهروزرسانیهای نزدیک به بلادرنگ و پایپلاینهای سبکوزن را ممکن میکند و برای بسیاری از سناریوهای «بهاندازه کافی بلادرنگ» گزینهای عملی و کمهزینه است.
#DuckDB #StreamingAnalytics #RealTimeData #OLAP #Kafka #Lakehouse #MaterializedViews
🟣لینک مقاله:
https://duckdb.org/2025/10/13/duckdb-streaming-patterns.html?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
DuckDB
Streaming Patterns with DuckDB
DuckDB used for streaming analytics? This post will show you some patterns in which you can use DuckDB to refresh your data at near real-time speed.
🔵 عنوان مقاله
Deploy anywhere at any scale with confidence
🟢 خلاصه مقاله:
استقرار بارهای کاری مبتنی بر PostgreSQL را در هر محیط و هر مقیاسی با اطمینان انجام دهید؛ از ابر تا محیطهای درونسازمانی و چندمنطقهای. با الگوهای ثابتشده برای مقیاسپذیری، تکرار داده، پشتیبانگیری و دسترسپذیری بالا، رشد سیستم بدون افت پایداری ممکن میشود. ابزارهای پایش، خودکارسازی و امنیت نیز سلامت و انطباق را تضمین میکنند. تکیه بر تجربه چنددهساله تیم پشتیبانی اختصاصی PostgreSQL—از طراحی و برنامهریزی ظرفیت تا مهاجرت، بهروزرسانی، بهینهسازی کارایی و رفع اشکال—ریسک را کاهش میدهد و سرعت ارائه را افزایش میدهد.
#PostgreSQL #استقرار #مقیاسپذیری #دیتابیس #پشتیبانی_فنی #Cloud #DevOps
🟣لینک مقاله:
https://postgresweekly.com/link/176372/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Deploy anywhere at any scale with confidence
🟢 خلاصه مقاله:
استقرار بارهای کاری مبتنی بر PostgreSQL را در هر محیط و هر مقیاسی با اطمینان انجام دهید؛ از ابر تا محیطهای درونسازمانی و چندمنطقهای. با الگوهای ثابتشده برای مقیاسپذیری، تکرار داده، پشتیبانگیری و دسترسپذیری بالا، رشد سیستم بدون افت پایداری ممکن میشود. ابزارهای پایش، خودکارسازی و امنیت نیز سلامت و انطباق را تضمین میکنند. تکیه بر تجربه چنددهساله تیم پشتیبانی اختصاصی PostgreSQL—از طراحی و برنامهریزی ظرفیت تا مهاجرت، بهروزرسانی، بهینهسازی کارایی و رفع اشکال—ریسک را کاهش میدهد و سرعت ارائه را افزایش میدهد.
#PostgreSQL #استقرار #مقیاسپذیری #دیتابیس #پشتیبانی_فنی #Cloud #DevOps
🟣لینک مقاله:
https://postgresweekly.com/link/176372/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Pgedge
pgEdge Customer Success Team
pgEdge customers gain direct access to a team of highly experienced PostgreSQL Professionals. Our experts are available 24/7 to provide you with top-tier support, advice, and feedback to help you get the most out of pgEdge.
🔵 عنوان مقاله
"You Don't Need Kafka, Just Use Postgres" Considered Harmful
🟢 خلاصه مقاله:
** گونار مورلینگ به ادعای «You Don’t Need Kafka, Just Use Postgres» پاسخ میدهد و میگوید این توصیه اگر بهصورت کلی پذیرفته شود گمراهکننده و مضر است. بهزعم او، جایگزینکردن یک لاگ توزیعشده با یک پایگاهداده رابطهای، تفاوت اساسی میان «event streaming» و «OLTP» را نادیده میگیرد: Kafka تضمینهایی مثل نگهداری رویدادها، ترتیبپذیری، قابلیت replay، fan-out مستقل و مدیریت backpressure ارائه میکند که Postgres ذاتاً برای آن ساخته نشده است. البته در مقیاسهای کوچک و سناریوهای ساده، انتخاب Postgres میتواند کافی و سادهتر باشد؛ اما با رشد سیستم و نیاز به جداسازی سرویسها و replay تاریخی، محدودیتها آشکار میشوند. مورلینگ الگوهایی مثل outbox و CDC (با ابزارهایی مانند Debezium) را برای پیوندزدن دنیای تراکنشی Postgres با جریان رویداد در Kafka توصیه میکند. جمعبندی او: نسخههای کلی «فقط از X استفاده کنید» خطرناکاند؛ نیازها را دقیق تحلیل کنید و براساس مبادلههای واقعی ابزار مناسب یا ترکیب ابزارها را برگزینید.
#Kafka #Postgres #EventStreaming #CDC #Debezium #SoftwareArchitecture #Scalability
🟣لینک مقاله:
https://postgresweekly.com/link/176683/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
"You Don't Need Kafka, Just Use Postgres" Considered Harmful
🟢 خلاصه مقاله:
** گونار مورلینگ به ادعای «You Don’t Need Kafka, Just Use Postgres» پاسخ میدهد و میگوید این توصیه اگر بهصورت کلی پذیرفته شود گمراهکننده و مضر است. بهزعم او، جایگزینکردن یک لاگ توزیعشده با یک پایگاهداده رابطهای، تفاوت اساسی میان «event streaming» و «OLTP» را نادیده میگیرد: Kafka تضمینهایی مثل نگهداری رویدادها، ترتیبپذیری، قابلیت replay، fan-out مستقل و مدیریت backpressure ارائه میکند که Postgres ذاتاً برای آن ساخته نشده است. البته در مقیاسهای کوچک و سناریوهای ساده، انتخاب Postgres میتواند کافی و سادهتر باشد؛ اما با رشد سیستم و نیاز به جداسازی سرویسها و replay تاریخی، محدودیتها آشکار میشوند. مورلینگ الگوهایی مثل outbox و CDC (با ابزارهایی مانند Debezium) را برای پیوندزدن دنیای تراکنشی Postgres با جریان رویداد در Kafka توصیه میکند. جمعبندی او: نسخههای کلی «فقط از X استفاده کنید» خطرناکاند؛ نیازها را دقیق تحلیل کنید و براساس مبادلههای واقعی ابزار مناسب یا ترکیب ابزارها را برگزینید.
#Kafka #Postgres #EventStreaming #CDC #Debezium #SoftwareArchitecture #Scalability
🟣لینک مقاله:
https://postgresweekly.com/link/176683/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
www.morling.dev
"You Don't Need Kafka, Just Use Postgres" Considered Harmful
Looking to make it to the front page of HackerNews? Then writing a post arguing that "Postgres is enough", or why "you don’t need Kafka at your scale" is a pretty failsafe way of achieving exactly that. No matter how often it has been discussed before, this…
🔵 عنوان مقاله
Hybrid Search in Postgres: The Missing Manual
🟢 خلاصه مقاله:
** این مقاله راهنمایی عملی برای جستوجوی هیبریدی در Postgres ارائه میکند و نشان میدهد چرا ترکیب امتیازدهی BM25 با ParadeDB و جستوجوی شباهت برداری با pgvector از جستوجوی متنی داخلی Postgres در ردهبندی مرتبطتر بهتر عمل میکند. BM25 پوشش دقیق کلیدواژه و عبارت را فراهم میکند، در حالیکه بردارها معنای پرسش را با واژههای هممعنی و بازنویسیها درمییابند. الگوی معمول یا انتخاب نامزدها با BM25 و بازمرتبسازی با شباهت برداری است، یا ادغام نتایج هر دو با وزندهی نرمالشده. همه اینها داخل یک پایگاه Postgres انجام میشود—با ایندکسهای متن و بردار—و بدون نیاز به موتورهای خارجی، در سناریوهایی مثل جستوجوی محصول، مستندات و Q&A به بهبود محسوس ربط نتایج نسبت به FTS بومی میانجامد.
#Postgres #HybridSearch #BM25 #pgvector #VectorSearch #FullTextSearch #ParadeDB #RelevanceRanking
🟣لینک مقاله:
https://postgresweekly.com/link/176019/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Hybrid Search in Postgres: The Missing Manual
🟢 خلاصه مقاله:
** این مقاله راهنمایی عملی برای جستوجوی هیبریدی در Postgres ارائه میکند و نشان میدهد چرا ترکیب امتیازدهی BM25 با ParadeDB و جستوجوی شباهت برداری با pgvector از جستوجوی متنی داخلی Postgres در ردهبندی مرتبطتر بهتر عمل میکند. BM25 پوشش دقیق کلیدواژه و عبارت را فراهم میکند، در حالیکه بردارها معنای پرسش را با واژههای هممعنی و بازنویسیها درمییابند. الگوی معمول یا انتخاب نامزدها با BM25 و بازمرتبسازی با شباهت برداری است، یا ادغام نتایج هر دو با وزندهی نرمالشده. همه اینها داخل یک پایگاه Postgres انجام میشود—با ایندکسهای متن و بردار—و بدون نیاز به موتورهای خارجی، در سناریوهایی مثل جستوجوی محصول، مستندات و Q&A به بهبود محسوس ربط نتایج نسبت به FTS بومی میانجامد.
#Postgres #HybridSearch #BM25 #pgvector #VectorSearch #FullTextSearch #ParadeDB #RelevanceRanking
🟣لینک مقاله:
https://postgresweekly.com/link/176019/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Paradedb
Hybrid Search in PostgreSQL: The Missing Manual
Build production-ready hybrid search that combines BM25 lexical matching with vector similarity search, all inside PostgreSQL
🔵 عنوان مقاله
her experience of last week's PGConf EU event.
🟢 خلاصه مقاله:
تجربه نویسنده از PGConf EU هفته گذشته نشان میدهد که رویداد امسال ترکیبی از راهکارهای عملی، مطالعههای موردی واقعی و گفتوگوهای ارزشمند جانبی بود. تمرکز اصلی روی بهینهسازی کارایی، تابآوری عملیاتی، مهاجرتها، انتخاب Extensionها، استقرار ابری و Observability بود و نتیجهگیری او این است که اکوسیستم PostgreSQL بالغتر و قابلدسترستر از گذشته شده است. او در ادامه به آخرین مقاله Golang Weekly اشاره میکند که بهخوبی با این موضوعات پیوند میخورد: الگوهای مؤثر در Go برای کار با پایگاهداده، از جمله استفاده بهینه از database/sql، زمانهایی که استفاده از pgx ترجیح دارد، مدیریت context برای Timeout و Cancellation، Pooling اتصالها و راهبردهای Backpressure در بار همزمانی بالا. جمعبندی او این است که ترکیب درسهای PGConf EU با نکات Golang Weekly یک نقشه راه عملی برای ساخت سرویسهای دادهمحور در Go فراهم میکند؛ نقشهای که به بهبود پایههای کارایی، پوشش تست مسیرهای دسترسی به داده و شفافتر کردن SLOها با Observability بهتر منجر میشود.
#PGConfEU #PostgreSQL #Golang #GolangWeekly #DatabaseEngineering #PerformanceTuning #GoProgramming #Observability
🟣لینک مقاله:
https://postgresweekly.com/link/176359/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
her experience of last week's PGConf EU event.
🟢 خلاصه مقاله:
تجربه نویسنده از PGConf EU هفته گذشته نشان میدهد که رویداد امسال ترکیبی از راهکارهای عملی، مطالعههای موردی واقعی و گفتوگوهای ارزشمند جانبی بود. تمرکز اصلی روی بهینهسازی کارایی، تابآوری عملیاتی، مهاجرتها، انتخاب Extensionها، استقرار ابری و Observability بود و نتیجهگیری او این است که اکوسیستم PostgreSQL بالغتر و قابلدسترستر از گذشته شده است. او در ادامه به آخرین مقاله Golang Weekly اشاره میکند که بهخوبی با این موضوعات پیوند میخورد: الگوهای مؤثر در Go برای کار با پایگاهداده، از جمله استفاده بهینه از database/sql، زمانهایی که استفاده از pgx ترجیح دارد، مدیریت context برای Timeout و Cancellation، Pooling اتصالها و راهبردهای Backpressure در بار همزمانی بالا. جمعبندی او این است که ترکیب درسهای PGConf EU با نکات Golang Weekly یک نقشه راه عملی برای ساخت سرویسهای دادهمحور در Go فراهم میکند؛ نقشهای که به بهبود پایههای کارایی، پوشش تست مسیرهای دسترسی به داده و شفافتر کردن SLOها با Observability بهتر منجر میشود.
#PGConfEU #PostgreSQL #Golang #GolangWeekly #DatabaseEngineering #PerformanceTuning #GoProgramming #Observability
🟣لینک مقاله:
https://postgresweekly.com/link/176359/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
DEV Community
My PGConf EU 2025 experience
Last week marked the 2025 edition of PGConf EU. I had many roles, and I'm excited to let you know...
❤1
🔵 عنوان مقاله
Introducing pg_lake: Integrate Your Data Lakehouse with Postgres
🟢 خلاصه مقاله:
pg_lake مجموعهای از افزونهها برای Postgres است که اتصال مستقیم به درياچهداده و Lakehouse را ممکن میکند: پشتیبانی جامع از Iceberg و دسترسی به فایلهای Parquet، CSV و JSON بدون جابهجایی داده یا خروج از محیط Postgres. این راهکار با ادغام شفاف DuckDB در موتور پرسوجوی Postgres، اجرای برداری و ستونی سریع را برای اسکنها و تجمعهای سنگین فراهم میکند، در حالیکه همچنان با SQL آشنا کار میکنید. با pg_lake میتوانید دادههای دریاچه را مثل جدولهای عادی بخوانید، آنها را با جداول عملیاتی Postgres جوین بزنید و نیاز به ETL اضافی را کاهش دهید. پشتیبانی از Iceberg برای سناریوهایی مثل پارتیشنبندی و تکامل طرحواره مناسب است و مسیرهایی مانند تحلیلهای موردی، کوئریهای فدره، و مهاجرت تدریجی به Lakehouse را ساده میکند. کد و مستندات آن در GitHub در دسترس است.
#pg_lake #Postgres #DataLakehouse #Iceberg #DuckDB #Parquet #SQL #OpenSource
🟣لینک مقاله:
https://postgresweekly.com/link/176670/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Introducing pg_lake: Integrate Your Data Lakehouse with Postgres
🟢 خلاصه مقاله:
pg_lake مجموعهای از افزونهها برای Postgres است که اتصال مستقیم به درياچهداده و Lakehouse را ممکن میکند: پشتیبانی جامع از Iceberg و دسترسی به فایلهای Parquet، CSV و JSON بدون جابهجایی داده یا خروج از محیط Postgres. این راهکار با ادغام شفاف DuckDB در موتور پرسوجوی Postgres، اجرای برداری و ستونی سریع را برای اسکنها و تجمعهای سنگین فراهم میکند، در حالیکه همچنان با SQL آشنا کار میکنید. با pg_lake میتوانید دادههای دریاچه را مثل جدولهای عادی بخوانید، آنها را با جداول عملیاتی Postgres جوین بزنید و نیاز به ETL اضافی را کاهش دهید. پشتیبانی از Iceberg برای سناریوهایی مثل پارتیشنبندی و تکامل طرحواره مناسب است و مسیرهایی مانند تحلیلهای موردی، کوئریهای فدره، و مهاجرت تدریجی به Lakehouse را ساده میکند. کد و مستندات آن در GitHub در دسترس است.
#pg_lake #Postgres #DataLakehouse #Iceberg #DuckDB #Parquet #SQL #OpenSource
🟣لینک مقاله:
https://postgresweekly.com/link/176670/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Snowflake
Introducing pg_lake: Integrate Your Data Lakehouse with Postgres
Introducing pg_lake, a set of open-source PostgreSQL extensions from Snowflake that allow you to query, manage, and write to Iceberg tables in your data lakehouse.
🔵 عنوان مقاله
Don't Give Postgres Too Much Memory
🟢 خلاصه مقاله:
خلاصهای از دیدگاه Tomas این است که در Postgres همیشه «حافظه بیشتر=بهتر» نیست. بالا بردن بیمحابای maintenance_work_mem و work_mem میتواند اندازه مجموعه کاری را بزرگتر از CPU cache کند و با افزایش cache miss، سرعت مرتبسازی و هش را کم کند. علاوه بر آن، تخصیصهای بزرگ، بار مدیریت حافظه روی OS را زیاد میکند و در بار همزمان، چون work_mem بهازای هر نود و هر کوئری اعمال میشود، مصرف واقعی حافظه چندبرابر شده و افت کارایی رخ میدهد. نتیجه عملی: مقادیر را معقول و مرحلهای تنظیم کنید، با سناریوهای واقعی بنچمارک بگیرید، در صورت نیاز بهصورت موردی با SET مقدار work_mem را برای عملیات سنگین بالا ببرید، و به تعامل CPU cache و مدیریت حافظه OS توجه کنید؛ همیشه مقدار بیشتر سریعتر نیست.
#Postgres #PostgreSQL #DatabasePerformance #work_mem #maintenance_work_mem #CPUCaches #OSMemory
🟣لینک مقاله:
https://postgresweekly.com/link/176669/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Don't Give Postgres Too Much Memory
🟢 خلاصه مقاله:
خلاصهای از دیدگاه Tomas این است که در Postgres همیشه «حافظه بیشتر=بهتر» نیست. بالا بردن بیمحابای maintenance_work_mem و work_mem میتواند اندازه مجموعه کاری را بزرگتر از CPU cache کند و با افزایش cache miss، سرعت مرتبسازی و هش را کم کند. علاوه بر آن، تخصیصهای بزرگ، بار مدیریت حافظه روی OS را زیاد میکند و در بار همزمان، چون work_mem بهازای هر نود و هر کوئری اعمال میشود، مصرف واقعی حافظه چندبرابر شده و افت کارایی رخ میدهد. نتیجه عملی: مقادیر را معقول و مرحلهای تنظیم کنید، با سناریوهای واقعی بنچمارک بگیرید، در صورت نیاز بهصورت موردی با SET مقدار work_mem را برای عملیات سنگین بالا ببرید، و به تعامل CPU cache و مدیریت حافظه OS توجه کنید؛ همیشه مقدار بیشتر سریعتر نیست.
#Postgres #PostgreSQL #DatabasePerformance #work_mem #maintenance_work_mem #CPUCaches #OSMemory
🟣لینک مقاله:
https://postgresweekly.com/link/176669/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Tomas Vondra
Don't give Postgres too much memory
Can it be harmful to set maintenance_work_mem and work_mem limits very high?
🔵 عنوان مقاله
pg_timetable 6.1 Released: Advanced Job Scheduling Extension
🟢 خلاصه مقاله:
نسخه 6.1 از pg_timetable منتشر شد؛ یک افزونه مستقل و پخته برای زمانبندی کارها که کاملاً داخل پایگاه داده اجرا میشود. این ابزار اجازه میدهد در خود Postgres، فرمانها و کوئریها، برنامههای سیستمی و عملیات داخلی را زمانبندی کنید و وظایف را بهصورت زنجیرهای به هم متصل کنید تا گردشکارهای چندمرحلهای بسازید. اجرای زمانبندی داخل پایگاه داده، استقرار را ساده میکند، با سیاستهای دسترسی و پشتیبانگیری هماهنگ است و برای نگهداری دورهای، ETL، گزارشگیری، کنترل کیفیت داده و پشتیبان/خروجی گرفتن بسیار مناسب است. نسخه جدید بر بلوغ و آمادگی تولیدی این راهکار تأکید دارد و گزینهای عملی برای خودکارسازی مبتنی بر پایگاه داده بدون نیاز به سرویسهای خارجی اضافی ارائه میکند.
#pg_timetable #Postgres #JobScheduler #DatabaseAutomation #ETL #DevOps #OpenSource #DataEngineering
🟣لینک مقاله:
https://postgresweekly.com/link/176688/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pg_timetable 6.1 Released: Advanced Job Scheduling Extension
🟢 خلاصه مقاله:
نسخه 6.1 از pg_timetable منتشر شد؛ یک افزونه مستقل و پخته برای زمانبندی کارها که کاملاً داخل پایگاه داده اجرا میشود. این ابزار اجازه میدهد در خود Postgres، فرمانها و کوئریها، برنامههای سیستمی و عملیات داخلی را زمانبندی کنید و وظایف را بهصورت زنجیرهای به هم متصل کنید تا گردشکارهای چندمرحلهای بسازید. اجرای زمانبندی داخل پایگاه داده، استقرار را ساده میکند، با سیاستهای دسترسی و پشتیبانگیری هماهنگ است و برای نگهداری دورهای، ETL، گزارشگیری، کنترل کیفیت داده و پشتیبان/خروجی گرفتن بسیار مناسب است. نسخه جدید بر بلوغ و آمادگی تولیدی این راهکار تأکید دارد و گزینهای عملی برای خودکارسازی مبتنی بر پایگاه داده بدون نیاز به سرویسهای خارجی اضافی ارائه میکند.
#pg_timetable #Postgres #JobScheduler #DatabaseAutomation #ETL #DevOps #OpenSource #DataEngineering
🟣لینک مقاله:
https://postgresweekly.com/link/176688/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
GitHub
GitHub - cybertec-postgresql/pg_timetable: pg_timetable: Advanced scheduling for PostgreSQL
pg_timetable: Advanced scheduling for PostgreSQL. Contribute to cybertec-postgresql/pg_timetable development by creating an account on GitHub.
🔵 عنوان مقاله
How Would You Like Your Iceberg Sir? Stream or Batch Ordered? (9 minute read)
🟢 خلاصه مقاله:
این مقاله توضیح میدهد که در جدولهای Iceberg، چیدمان Stream-order با حفظ ترتیب ورود داده برای پردازش ترتیبی و راهاندازی سریع جریانها مناسب است، در حالیکه چیدمان Batch-order با خوشهبندی دادهها کارایی پرسوجوهای تحلیلی را بهینه میکند. تلاش برای پشتیبانی همزمان هر دو نیاز در یک جدول، به سربار محاسباتی پنهان منجر میشود؛ بهویژه هنگام راهاندازی jobهای جریانی از دادههای Batch-order که مستلزم مرتبسازی و shuffling پرهزینه است. نتیجه این است که صرفهجویی ظاهری در فضای ذخیرهسازی با افزایش هزینههای محاسباتی از بین میرود. راهکار پیشنهادی، Confluent Tableflow است که دادههای جریانی را در Iceberg مادیسازی میکند و با نگهداشتن نمای مناسب برای هر سناریو، انعطافپذیری و کارایی بهتری ارائه میدهد—even اگر به معنای تقریباً دو برابر شدن فضای ذخیرهسازی باشد.
#ApacheIceberg #Streaming #BatchProcessing #DataEngineering #Confluent #Tableflow #DataLake #Lakehouse
🟣لینک مقاله:
https://jack-vanlightly.com/blog/2025/11/5/how-would-you-like-your-iceberg-sir-stream-or-batch-ordered?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
How Would You Like Your Iceberg Sir? Stream or Batch Ordered? (9 minute read)
🟢 خلاصه مقاله:
این مقاله توضیح میدهد که در جدولهای Iceberg، چیدمان Stream-order با حفظ ترتیب ورود داده برای پردازش ترتیبی و راهاندازی سریع جریانها مناسب است، در حالیکه چیدمان Batch-order با خوشهبندی دادهها کارایی پرسوجوهای تحلیلی را بهینه میکند. تلاش برای پشتیبانی همزمان هر دو نیاز در یک جدول، به سربار محاسباتی پنهان منجر میشود؛ بهویژه هنگام راهاندازی jobهای جریانی از دادههای Batch-order که مستلزم مرتبسازی و shuffling پرهزینه است. نتیجه این است که صرفهجویی ظاهری در فضای ذخیرهسازی با افزایش هزینههای محاسباتی از بین میرود. راهکار پیشنهادی، Confluent Tableflow است که دادههای جریانی را در Iceberg مادیسازی میکند و با نگهداشتن نمای مناسب برای هر سناریو، انعطافپذیری و کارایی بهتری ارائه میدهد—even اگر به معنای تقریباً دو برابر شدن فضای ذخیرهسازی باشد.
#ApacheIceberg #Streaming #BatchProcessing #DataEngineering #Confluent #Tableflow #DataLake #Lakehouse
🟣لینک مقاله:
https://jack-vanlightly.com/blog/2025/11/5/how-would-you-like-your-iceberg-sir-stream-or-batch-ordered?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Jack Vanlightly
How Would You Like Your Iceberg Sir? Stream or Batch Ordered? — Jack Vanlightly
Today I want to talk about stream analytics, batch analytics and Apache Iceberg. Stream and batch analytics work differently but both can be built on top of Iceberg, but due to their differences there can be a tug-of-war over the Iceberg table itself. In…
🔵 عنوان مقاله
The Search API Reset: Incumbents Retreat, Innovators Step Up (3 minute read)
🟢 خلاصه مقاله:
**خلاصه فارسی: بازنشستگی Bing Search API از سوی Microsoft و محدود شدن API جستوجوی Google به ۱۰ نتیجه در هر پرسش، نشانه چرخش به سمت بازیابیِ هوشمند و کنترلشده درون اکوسیستمهای خودِ این شرکتهاست. این تغییر دسترسی انبوه به دادههای وب را محدود میکند و سازمانها و توسعهدهندگان را به سمت خدمات میانجیِ مبتنی بر هوش مصنوعی سوق میدهد. در نتیجه، ارزش لایههای بازیابیِ سریع و انعطافپذیر برای RAG و گردشکارهای عاملمحور افزایش مییابد. همزمان بازیگران جدیدی مانند Perplexity و Parallel با ارائه تجربههای جستوجوی بهتر و محصولات چابکتر، استانداردها را بالاتر میبرند و فضا را برای راهکارهای تخصصی و عمودیِ بازیابی و داده باز میکنند.
#SearchAPI #AI #RAG #AgenticAI #Retrieval #Perplexity #Microsoft #Google
🟣لینک مقاله:
https://thenewstack.io/the-search-api-reset-incumbents-retreat-innovators-step-up/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
The Search API Reset: Incumbents Retreat, Innovators Step Up (3 minute read)
🟢 خلاصه مقاله:
**خلاصه فارسی: بازنشستگی Bing Search API از سوی Microsoft و محدود شدن API جستوجوی Google به ۱۰ نتیجه در هر پرسش، نشانه چرخش به سمت بازیابیِ هوشمند و کنترلشده درون اکوسیستمهای خودِ این شرکتهاست. این تغییر دسترسی انبوه به دادههای وب را محدود میکند و سازمانها و توسعهدهندگان را به سمت خدمات میانجیِ مبتنی بر هوش مصنوعی سوق میدهد. در نتیجه، ارزش لایههای بازیابیِ سریع و انعطافپذیر برای RAG و گردشکارهای عاملمحور افزایش مییابد. همزمان بازیگران جدیدی مانند Perplexity و Parallel با ارائه تجربههای جستوجوی بهتر و محصولات چابکتر، استانداردها را بالاتر میبرند و فضا را برای راهکارهای تخصصی و عمودیِ بازیابی و داده باز میکنند.
#SearchAPI #AI #RAG #AgenticAI #Retrieval #Perplexity #Microsoft #Google
🟣لینک مقاله:
https://thenewstack.io/the-search-api-reset-incumbents-retreat-innovators-step-up/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
The New Stack
The Search API Reset: Incumbents Retreat, Innovators Step Up
Google and Bing are restricting their search APIs, creating opportunities for new players to build the next generation of search infrastructure.
🔵 عنوان مقاله
pg_qualstats: Extension for Collecting Statistics About Predicates
🟢 خلاصه مقاله:
pg_qualstats یک افزونه برای PostgreSQL است که آمار مربوط به استفاده از گزارهها در WHERE و JOIN را جمعآوری میکند تا نشان دهد کدام فیلترها در عمل بیشترین استفاده و بیشترین اثر را دارند. این دادهها به شما کمک میکند برای بار کاری واقعی خود، ایندکسهای هدفمند (تکی، ترکیبی، جزئی یا بر اساس عبارت) طراحی کنید و با کاهش I/O و تأخیر، کارایی را بهبود دهید. میتوانید نتایج را مستقیم از نماهای افزونه ببینید یا از طریق POWA (Postgres Workload Analyzer) آنها را تحلیل و اولویتبندی کنید. در کنار ابزاری مثل pg_stat_statements، این افزونه مشخص میکند کدام بخش از یک کوئری پرهزینه است و در نتیجه یافتن ایندکسهای از دسترفته و ارزیابی اثربخشی ایندکسهای جدید سادهتر میشود.
#PostgreSQL #pg_qualstats #POWA #PostgresWorkloadAnalyzer #QueryOptimization #Indexing #DatabasePerformance
🟣لینک مقاله:
https://postgresweekly.com/link/175733/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pg_qualstats: Extension for Collecting Statistics About Predicates
🟢 خلاصه مقاله:
pg_qualstats یک افزونه برای PostgreSQL است که آمار مربوط به استفاده از گزارهها در WHERE و JOIN را جمعآوری میکند تا نشان دهد کدام فیلترها در عمل بیشترین استفاده و بیشترین اثر را دارند. این دادهها به شما کمک میکند برای بار کاری واقعی خود، ایندکسهای هدفمند (تکی، ترکیبی، جزئی یا بر اساس عبارت) طراحی کنید و با کاهش I/O و تأخیر، کارایی را بهبود دهید. میتوانید نتایج را مستقیم از نماهای افزونه ببینید یا از طریق POWA (Postgres Workload Analyzer) آنها را تحلیل و اولویتبندی کنید. در کنار ابزاری مثل pg_stat_statements، این افزونه مشخص میکند کدام بخش از یک کوئری پرهزینه است و در نتیجه یافتن ایندکسهای از دسترفته و ارزیابی اثربخشی ایندکسهای جدید سادهتر میشود.
#PostgreSQL #pg_qualstats #POWA #PostgresWorkloadAnalyzer #QueryOptimization #Indexing #DatabasePerformance
🟣لینک مقاله:
https://postgresweekly.com/link/175733/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
GitHub
GitHub - powa-team/pg_qualstats: A PostgreSQL extension for collecting statistics about predicates, helping find what indices are…
A PostgreSQL extension for collecting statistics about predicates, helping find what indices are missing - powa-team/pg_qualstats
🔵 عنوان مقاله
14x Faster with 12x Less Compute: Sometimes Postgres Really is All You Need
🟢 خلاصه مقاله:
تیم جیمز یک کلاستر ۱۲ سروره مبتنی بر HBase/OpenTSDB را که برای دادههای سریزمانی استفاده میشد، با سامانهای بسیار سادهتر بر پایه Postgres/Timescale جایگزین کرد. نتیجه: پرسوجوها تا ۱۴ برابر سریعتر، با ۱۲ برابر محاسبات کمتر، و ۱۰۰٪ دسترسپذیری پس از مهاجرت.
آنها با تکیه بر SQL و قابلیتهای Timescale مانند hypertable، فشردهسازی، continuous aggregates و خطمشیهای نگهداشت داده، هم کارایی پرسوجوها و هم پایداری ingestion را بهبود دادند. طرح مهاجرت شامل dual-write، backfill موازی و اعتبارسنجی دقیق بود و در نهایت کل سامانه روی دو سرور با replication و failover خودکار پایدار شد.
پیام اصلی: برای بسیاری از بارهای کاری سریزمانی، Postgres/Timescale با طراحی درستِ شِما، ایندکسهای هدفمند و ابزارهای استاندارد، هزینه و پیچیدگی عملیاتی را بهطور چشمگیری کاهش میدهد و کارایی را بالا میبرد—گرچه برای نرخنوشتن یا کاردینالیتهی بسیار شدید، پایگاههای تخصصی هنوز مزیت دارند.
#Postgres #TimescaleDB #TimeSeries #OpenTSDB #HBase #DatabaseMigration #PerformanceEngineering #DevOps
🟣لینک مقاله:
https://postgresweekly.com/link/176022/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
14x Faster with 12x Less Compute: Sometimes Postgres Really is All You Need
🟢 خلاصه مقاله:
تیم جیمز یک کلاستر ۱۲ سروره مبتنی بر HBase/OpenTSDB را که برای دادههای سریزمانی استفاده میشد، با سامانهای بسیار سادهتر بر پایه Postgres/Timescale جایگزین کرد. نتیجه: پرسوجوها تا ۱۴ برابر سریعتر، با ۱۲ برابر محاسبات کمتر، و ۱۰۰٪ دسترسپذیری پس از مهاجرت.
آنها با تکیه بر SQL و قابلیتهای Timescale مانند hypertable، فشردهسازی، continuous aggregates و خطمشیهای نگهداشت داده، هم کارایی پرسوجوها و هم پایداری ingestion را بهبود دادند. طرح مهاجرت شامل dual-write، backfill موازی و اعتبارسنجی دقیق بود و در نهایت کل سامانه روی دو سرور با replication و failover خودکار پایدار شد.
پیام اصلی: برای بسیاری از بارهای کاری سریزمانی، Postgres/Timescale با طراحی درستِ شِما، ایندکسهای هدفمند و ابزارهای استاندارد، هزینه و پیچیدگی عملیاتی را بهطور چشمگیری کاهش میدهد و کارایی را بالا میبرد—گرچه برای نرخنوشتن یا کاردینالیتهی بسیار شدید، پایگاههای تخصصی هنوز مزیت دارند.
#Postgres #TimescaleDB #TimeSeries #OpenTSDB #HBase #DatabaseMigration #PerformanceEngineering #DevOps
🟣لینک مقاله:
https://postgresweekly.com/link/176022/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
YouTube
James Udiljak - 14x Faster with 12x Less Compute: Sometimes Postgres Really Is All You Need
How big is ""Big Data"" really? The definition has changed drastically over time.
In this talk, James recounts building his own database on top of Postgres to replace a legacy HBase/OpenTSDB cluster. While once considered ""Big Data"", the real-time monitoring…
In this talk, James recounts building his own database on top of Postgres to replace a legacy HBase/OpenTSDB cluster. While once considered ""Big Data"", the real-time monitoring…
🔵 عنوان مقاله
Perplexity's Open-Source Tool to Run Trillion-Parameter Models Without Costly Upgrades (4 minute read)
🟢 خلاصه مقاله:
Perplexity AI با معرفی ابزار متنباز TransferEngine امکان اجرای مدلهای تریلیونپارامتری را روی سختافزارهای متنوع و موجود فراهم کرده است. این سیستم با تکیه بر RDMA ارتباط GPU-to-GPU را در محیطهای ترکیبی AWS و Nvidia بهینه میکند و با دستیابی به 400 Gbps روی ConnectX-7 و AWS EFA، نیاز به ارتقای گرانقیمت را برطرف میسازد و وابستگی به یک فروشنده را کاهش میدهد. TransferEngine برای بارهای کاری LLM طراحی شده و مسیریابی Mixture-of-Experts را کارآمد میکند؛ در نتیجه اجرای مدلهایی مانند DeepSeek V3 و Kimi K2 با تأخیر کم و مقیاسپذیر ممکن میشود. متنباز بودن آن نیز ادغام، توسعه و استفاده در پشتههای موجود را ساده میکند.
#OpenSource #LLM #RDMA #GPU #AWS #Nvidia #MixtureOfExperts #AIInfrastructure
🟣لینک مقاله:
https://www.infoworld.com/article/4085830/perplexitys-open-source-tool-to-run-trillion-parameter-models-without-costly-upgrades-2.html?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Perplexity's Open-Source Tool to Run Trillion-Parameter Models Without Costly Upgrades (4 minute read)
🟢 خلاصه مقاله:
Perplexity AI با معرفی ابزار متنباز TransferEngine امکان اجرای مدلهای تریلیونپارامتری را روی سختافزارهای متنوع و موجود فراهم کرده است. این سیستم با تکیه بر RDMA ارتباط GPU-to-GPU را در محیطهای ترکیبی AWS و Nvidia بهینه میکند و با دستیابی به 400 Gbps روی ConnectX-7 و AWS EFA، نیاز به ارتقای گرانقیمت را برطرف میسازد و وابستگی به یک فروشنده را کاهش میدهد. TransferEngine برای بارهای کاری LLM طراحی شده و مسیریابی Mixture-of-Experts را کارآمد میکند؛ در نتیجه اجرای مدلهایی مانند DeepSeek V3 و Kimi K2 با تأخیر کم و مقیاسپذیر ممکن میشود. متنباز بودن آن نیز ادغام، توسعه و استفاده در پشتههای موجود را ساده میکند.
#OpenSource #LLM #RDMA #GPU #AWS #Nvidia #MixtureOfExperts #AIInfrastructure
🟣لینک مقاله:
https://www.infoworld.com/article/4085830/perplexitys-open-source-tool-to-run-trillion-parameter-models-without-costly-upgrades-2.html?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
InfoWorld
Perplexity’s open-source tool to run trillion-parameter models without costly upgrades
TransferEngine enables GPU-to-GPU communication across AWS and Nvidia hardware, allowing trillion-parameter models to run on older systems.
🔵 عنوان مقاله
ShadowTraffic's Postgres Connector (Tool)
🟢 خلاصه مقاله:
کانکتور Postgres از ShadowTraffic دادههای تولیدشده را مستقیماً به Postgres استریم میکند و اختیار کامل مدیریت جدولها را میدهد: ساخت خودکار، حذف و ایجاد مجدد، یا واگذاری کامل به فرآیندهای دستی/مهاجرتهای موجود. با تنظیمات ساده میتوانید رفتار insert، update و delete را کنترل کنید و نوع ستونها، سرنخهای اسکیمای لازم و اندازه/بسامد دستهها را دقیقاً سفارشیسازی کنید. نتیجه این است که میتوانید داده را سریع شبیهسازی یا بهتدریج تکامل دهید، در حالیکه کنترل و شفافیت عملیاتی بر Postgres و بار وارد بر محیط را حفظ میکنید.
#ShadowTraffic #Postgres #DataStreaming #SyntheticData #DataGeneration #ETL #DatabaseTesting #DevTools
🟣لینک مقاله:
https://docs.shadowtraffic.io/connections/postgres/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
ShadowTraffic's Postgres Connector (Tool)
🟢 خلاصه مقاله:
کانکتور Postgres از ShadowTraffic دادههای تولیدشده را مستقیماً به Postgres استریم میکند و اختیار کامل مدیریت جدولها را میدهد: ساخت خودکار، حذف و ایجاد مجدد، یا واگذاری کامل به فرآیندهای دستی/مهاجرتهای موجود. با تنظیمات ساده میتوانید رفتار insert، update و delete را کنترل کنید و نوع ستونها، سرنخهای اسکیمای لازم و اندازه/بسامد دستهها را دقیقاً سفارشیسازی کنید. نتیجه این است که میتوانید داده را سریع شبیهسازی یا بهتدریج تکامل دهید، در حالیکه کنترل و شفافیت عملیاتی بر Postgres و بار وارد بر محیط را حفظ میکنید.
#ShadowTraffic #Postgres #DataStreaming #SyntheticData #DataGeneration #ETL #DatabaseTesting #DevTools
🟣لینک مقاله:
https://docs.shadowtraffic.io/connections/postgres/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
docs.shadowtraffic.io
ShadowTraffic Docs
Rapidly simulate production traffic to your backend