🔵 عنوان مقاله
Are Foundation Models Ready for Your Production Tabular Data? (10 minute read)
🟢 خلاصه مقاله:
**مدلهای بنیادین مخصوص دادههای جدولی مثل TabPFN، CARTE، TabuLa-8b و TabDPT اکنون میتوانند بدون آموزش یا با دادههای اندک (zero-shot/few-shot) پیشبینیهای رقابتی ارائه دهند و در مجموعهدادههای کوچک تا متوسط و ناهمگون، اغلب از روشهای کلاسیک مانند XGBoost بهتر عمل میکنند. این توانمندیها حاصل معماریهای پیشرفتهای است که تعامل ویژگیها و زمینه داده را با سازوکارهایی مثل transformer-based attention، تع嵌ههای گرافی و context-aware learning مدل میکنند. از نظر تجربه توسعه نیز، APIهای شبیه Scikit-learn ادغام را ساده میسازد. با این حال، محدودیتهای مهمی باقی است: نیاز محاسباتی و حافظه بالا، تأخیر در استنتاج، و چالشهای مقیاسپذیری در دادههای خیلی بزرگ یا با کاردینالیته بالا. بنابراین برای تولید، باید روی دادههای خودتان بنچمارک بگیرید، هزینه/تأخیر را بسنجید، و ملاحظات MLOps مثل مانیتورینگ، تفسیرپذیری و مدیریت تغییر توزیع را در نظر بگیرید. جمعبندی: این مدلها برای مسائل کوچک تا متوسط و سناریوهای کمبرچسب امیدوارکننده و قابل ادغاماند، اما پذیرش آنها باید سنجیده و متکی به ارزیابی و طراحی استقرار مقرونبهصرفه باشد.
#TabularData #FoundationModels #XGBoost #ScikitLearn #Transformers #MLOps #FewShotLearning #AutoML
🟣لینک مقاله:
https://towardsdatascience.com/foundation-models-in-tabular-data/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Are Foundation Models Ready for Your Production Tabular Data? (10 minute read)
🟢 خلاصه مقاله:
**مدلهای بنیادین مخصوص دادههای جدولی مثل TabPFN، CARTE، TabuLa-8b و TabDPT اکنون میتوانند بدون آموزش یا با دادههای اندک (zero-shot/few-shot) پیشبینیهای رقابتی ارائه دهند و در مجموعهدادههای کوچک تا متوسط و ناهمگون، اغلب از روشهای کلاسیک مانند XGBoost بهتر عمل میکنند. این توانمندیها حاصل معماریهای پیشرفتهای است که تعامل ویژگیها و زمینه داده را با سازوکارهایی مثل transformer-based attention، تع嵌ههای گرافی و context-aware learning مدل میکنند. از نظر تجربه توسعه نیز، APIهای شبیه Scikit-learn ادغام را ساده میسازد. با این حال، محدودیتهای مهمی باقی است: نیاز محاسباتی و حافظه بالا، تأخیر در استنتاج، و چالشهای مقیاسپذیری در دادههای خیلی بزرگ یا با کاردینالیته بالا. بنابراین برای تولید، باید روی دادههای خودتان بنچمارک بگیرید، هزینه/تأخیر را بسنجید، و ملاحظات MLOps مثل مانیتورینگ، تفسیرپذیری و مدیریت تغییر توزیع را در نظر بگیرید. جمعبندی: این مدلها برای مسائل کوچک تا متوسط و سناریوهای کمبرچسب امیدوارکننده و قابل ادغاماند، اما پذیرش آنها باید سنجیده و متکی به ارزیابی و طراحی استقرار مقرونبهصرفه باشد.
#TabularData #FoundationModels #XGBoost #ScikitLearn #Transformers #MLOps #FewShotLearning #AutoML
🟣لینک مقاله:
https://towardsdatascience.com/foundation-models-in-tabular-data/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Towards Data Science
Are Foundation Models Ready for Your Production Tabular Data? | Towards Data Science
A complete review of architectures to make zero-shot predictions in the most common types of datasets.
🔵 عنوان مقاله
Introducing Apache Airflow® 3.1 (8 minute read)
🟢 خلاصه مقاله:
**نسخه 3.1 از Apache Airflow با تمرکز بر جریانهای داده مدرن، امکاناتی مانند اپراتورهای HITL و اجرای همگام DAG را برای پوشش بهتر سناریوهای GenAI/MLOps ارائه میکند. این نسخه یک رابط افزونه مبتنی بر React برای توسعه رابط کاربری سفارشی اضافه کرده و تجربه کاربری را با قابلیتهایی مثل افزودن DAG به علاقهمندیها و انتخاب زبان بهبود میدهد. همچنین زمان پارس شدن DAGها را نمایش میدهد، از Python 3.13 پشتیبانی میکند و یک trigger rule جدید برای انعطافپذیری بیشتر در تعریف وابستگیها ارائه شده است.
#ApacheAirflow #Airflow3_1 #DataEngineering #MLOps #GenAI #Python313 #DAG #WorkflowOrchestration
🟣لینک مقاله:
https://www.astronomer.io/blog/introducing-apache-airflow-3-1/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Introducing Apache Airflow® 3.1 (8 minute read)
🟢 خلاصه مقاله:
**نسخه 3.1 از Apache Airflow با تمرکز بر جریانهای داده مدرن، امکاناتی مانند اپراتورهای HITL و اجرای همگام DAG را برای پوشش بهتر سناریوهای GenAI/MLOps ارائه میکند. این نسخه یک رابط افزونه مبتنی بر React برای توسعه رابط کاربری سفارشی اضافه کرده و تجربه کاربری را با قابلیتهایی مثل افزودن DAG به علاقهمندیها و انتخاب زبان بهبود میدهد. همچنین زمان پارس شدن DAGها را نمایش میدهد، از Python 3.13 پشتیبانی میکند و یک trigger rule جدید برای انعطافپذیری بیشتر در تعریف وابستگیها ارائه شده است.
#ApacheAirflow #Airflow3_1 #DataEngineering #MLOps #GenAI #Python313 #DAG #WorkflowOrchestration
🟣لینک مقاله:
https://www.astronomer.io/blog/introducing-apache-airflow-3-1/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
www.astronomer.io
Introducing Apache Airflow® 3.1
The momentum continues from the release of Airflow 3
🔵 عنوان مقاله
pgwatch 4.0: A Flexible Postgres Monitoring Solution
🟢 خلاصه مقاله:
pgwatch 4.0 یک راهکار منعطف برای پایش Postgres است که با داشبوردهای Grafana یک رابط کاربرپسند ارائه میدهد. کاربران میتوانند متریکهایی مانند سلامت، کارایی، استفاده از ایندکس، I/O و روندها را مشاهده و تحلیل کنند تا الگوها و گلوگاهها را سریعتر شناسایی کرده و برای بهینهسازی و برنامهریزی ظرفیت تصمیمهای دقیقتری بگیرند. هدف، سادهسازی نظارت روزمره در عین نمایش عمق دادههای مورد نیاز تیمهای فنی است.
#Postgres #pgwatch #Grafana #DatabaseMonitoring #PerformanceMonitoring #Observability #DevOps
🟣لینک مقاله:
https://postgresweekly.com/link/175402/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pgwatch 4.0: A Flexible Postgres Monitoring Solution
🟢 خلاصه مقاله:
pgwatch 4.0 یک راهکار منعطف برای پایش Postgres است که با داشبوردهای Grafana یک رابط کاربرپسند ارائه میدهد. کاربران میتوانند متریکهایی مانند سلامت، کارایی، استفاده از ایندکس، I/O و روندها را مشاهده و تحلیل کنند تا الگوها و گلوگاهها را سریعتر شناسایی کرده و برای بهینهسازی و برنامهریزی ظرفیت تصمیمهای دقیقتری بگیرند. هدف، سادهسازی نظارت روزمره در عین نمایش عمق دادههای مورد نیاز تیمهای فنی است.
#Postgres #pgwatch #Grafana #DatabaseMonitoring #PerformanceMonitoring #Observability #DevOps
🟣لینک مقاله:
https://postgresweekly.com/link/175402/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pgwat.ch
Hello world! - 🔬 pgwatch
pgwatch is a flexible PostgreSQL-specific monitoring solution
Forwarded from Future Pulse Persian
This media is not supported in your browser
VIEW IN TELEGRAM
وقتی یک خط کد به پروزه اضافه میکنی😂
🤩1
🔵 عنوان مقاله
Uber's Strategy to Upgrading 2M+ Spark Jobs (10 minute read)
🟢 خلاصه مقاله:
ارتقای گسترده Uber از Spark 2.4 به Spark 3.3 در مقیاس بزرگ انجام شد و طی شش ماه بیش از ۴۰هزار برنامه Spark و ۲۱۰۰ برنامه دیگر مهاجرت یافت. برای پرهیز از تغییرات دستی زمانبر و پرخطا، Uber فرآیند را خودکار کرد و از ابزار متنباز Polyglot Piranha استفاده نمود؛ ابزاری که کد را تجزیه کرده و به Abstract Syntax Tree (AST) تبدیل میکند تا با اعمال «قوانین تبدیل»، بازنویسیهای برنامهریزیشده و یکدست در سطح انبوه انجام شود. این رویکرد، تغییرات گسترده را با ثبات و سرعت بیشتر ممکن کرد، ریسک خطا را کاهش داد و مسیر بهرهگیری یکپارچه از قابلیتهای Spark 3.3 را در زیرساخت داده Uber هموار ساخت.
#Uber #ApacheSpark #PolyglotPiranha #AST #CodeRefactoring #BigData #Migration #Automation
🟣لینک مقاله:
https://www.uber.com/blog/ubers-strategy-to-upgrading-2m-spark-jobs/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Uber's Strategy to Upgrading 2M+ Spark Jobs (10 minute read)
🟢 خلاصه مقاله:
ارتقای گسترده Uber از Spark 2.4 به Spark 3.3 در مقیاس بزرگ انجام شد و طی شش ماه بیش از ۴۰هزار برنامه Spark و ۲۱۰۰ برنامه دیگر مهاجرت یافت. برای پرهیز از تغییرات دستی زمانبر و پرخطا، Uber فرآیند را خودکار کرد و از ابزار متنباز Polyglot Piranha استفاده نمود؛ ابزاری که کد را تجزیه کرده و به Abstract Syntax Tree (AST) تبدیل میکند تا با اعمال «قوانین تبدیل»، بازنویسیهای برنامهریزیشده و یکدست در سطح انبوه انجام شود. این رویکرد، تغییرات گسترده را با ثبات و سرعت بیشتر ممکن کرد، ریسک خطا را کاهش داد و مسیر بهرهگیری یکپارچه از قابلیتهای Spark 3.3 را در زیرساخت داده Uber هموار ساخت.
#Uber #ApacheSpark #PolyglotPiranha #AST #CodeRefactoring #BigData #Migration #Automation
🟣لینک مقاله:
https://www.uber.com/blog/ubers-strategy-to-upgrading-2m-spark-jobs/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
🔵 عنوان مقاله
pgschema: Declarative Schema Migrations for Postgres
🟢 خلاصه مقاله:
pgschema ابزاری برای مدیریت declarative تغییرات اسکیمای Postgres است؛ مشابه کاری که Terraform برای زیرساخت انجام میدهد. شما حالت مطلوب اسکیمای دیتابیس را در فایلها تعریف میکنید، ابزار اختلاف با وضعیت فعلی را محاسبه میکند، یک plan شفاف نشان میدهد و تغییرات را بهصورت امن و قابل تکرار اعمال میکند. قابلیتهایی مانند تشخیص drift، گارد برای تغییرات مخرب، جریانهای ارتقا بین محیطها، dry-run و ادغام با CI/CD را فراهم میکند و روی آبجکتهای اصلی Postgres مانند schema، جدول، ایندکس، constraint، extension و نقشها/مجوزها تمرکز دارد. کد منبع در GitHub در دسترس است و برای تیمهایی که به رویکرد Infrastructure as Code متکیاند، یک گردشکار شفاف و ایمن ارائه میدهد.
#Postgres #SchemaMigration #Declarative #InfrastructureAsCode #DevOps #DatabaseAutomation #Terraform #GitHub
🟣لینک مقاله:
https://postgresweekly.com/link/174763/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pgschema: Declarative Schema Migrations for Postgres
🟢 خلاصه مقاله:
pgschema ابزاری برای مدیریت declarative تغییرات اسکیمای Postgres است؛ مشابه کاری که Terraform برای زیرساخت انجام میدهد. شما حالت مطلوب اسکیمای دیتابیس را در فایلها تعریف میکنید، ابزار اختلاف با وضعیت فعلی را محاسبه میکند، یک plan شفاف نشان میدهد و تغییرات را بهصورت امن و قابل تکرار اعمال میکند. قابلیتهایی مانند تشخیص drift، گارد برای تغییرات مخرب، جریانهای ارتقا بین محیطها، dry-run و ادغام با CI/CD را فراهم میکند و روی آبجکتهای اصلی Postgres مانند schema، جدول، ایندکس، constraint، extension و نقشها/مجوزها تمرکز دارد. کد منبع در GitHub در دسترس است و برای تیمهایی که به رویکرد Infrastructure as Code متکیاند، یک گردشکار شفاف و ایمن ارائه میدهد.
#Postgres #SchemaMigration #Declarative #InfrastructureAsCode #DevOps #DatabaseAutomation #Terraform #GitHub
🟣لینک مقاله:
https://postgresweekly.com/link/174763/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pgschema
Introduction - pgschema
Declarative schema migration for Postgres
🔵 عنوان مقاله
Why Python Data Engineers Should Know Kafka and Flink (3 minute read)
🟢 خلاصه مقاله:
یادگیری Kafka و Flink برای مهندسان دادهی Python مسیر سریع ساخت سامانههای استریمی قابلاتکا و کمتأخیر است، بدون نیاز به ترک زبان و ابزارهای آشنا. پیشرفتهای اخیر در Python API—بهویژه PyFlink و کلاینتهای پختهی Kafka—امکان ساخت کل پایپلاینهای استریم را با همان سینتکس Python فراهم کردهاند: خواندن/نوشتن از Kafka، پردازش stateful با پنجرهها و watermarks، و تضمینهای exactly-once، همگی از دل Python. نتیجه این است که میتوانید منطق کسبوکار را در Python بنویسید و Flink بار سنگین مقیاس، وضعیت و پایداری را برعهده بگیرد. کاربردها شامل ETL بلادرنگ، پایش عملیاتی، KPIهای نزدیک به زمان واقعی و پایپلاین ویژگیهای ML است. شروع کار ساده است: یک topic در Kafka، یک job کوچک در PyFlink برای تجمع پنجرهای، و سپس سختسازی با checkpoint، تکامل اسکیمایی و رصدپذیری.
#Python #Kafka #Flink #PyFlink #StreamProcessing #DataEngineering #RealTimeData #EventDriven
🟣لینک مقاله:
https://thenewstack.io/why-python-data-engineers-should-know-kafka-and-flink/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Why Python Data Engineers Should Know Kafka and Flink (3 minute read)
🟢 خلاصه مقاله:
یادگیری Kafka و Flink برای مهندسان دادهی Python مسیر سریع ساخت سامانههای استریمی قابلاتکا و کمتأخیر است، بدون نیاز به ترک زبان و ابزارهای آشنا. پیشرفتهای اخیر در Python API—بهویژه PyFlink و کلاینتهای پختهی Kafka—امکان ساخت کل پایپلاینهای استریم را با همان سینتکس Python فراهم کردهاند: خواندن/نوشتن از Kafka، پردازش stateful با پنجرهها و watermarks، و تضمینهای exactly-once، همگی از دل Python. نتیجه این است که میتوانید منطق کسبوکار را در Python بنویسید و Flink بار سنگین مقیاس، وضعیت و پایداری را برعهده بگیرد. کاربردها شامل ETL بلادرنگ، پایش عملیاتی، KPIهای نزدیک به زمان واقعی و پایپلاین ویژگیهای ML است. شروع کار ساده است: یک topic در Kafka، یک job کوچک در PyFlink برای تجمع پنجرهای، و سپس سختسازی با checkpoint، تکامل اسکیمایی و رصدپذیری.
#Python #Kafka #Flink #PyFlink #StreamProcessing #DataEngineering #RealTimeData #EventDriven
🟣لینک مقاله:
https://thenewstack.io/why-python-data-engineers-should-know-kafka-and-flink/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
The New Stack
Why Python Data Engineers Should Know Kafka and Flink
Excellent integrations make these frameworks seamlessly accessible to Python developers, allowing them to use these powerful tools without deep Java knowledge.
🔵 عنوان مقاله
Apache Parquet vs. Newer File Formats (BtrBlocks, FastLanes, Lance, Vortex) (7 minute read)
🟢 خلاصه مقاله:
Apache Parquet بیش از یک دهه فرمت ستونی غالب بوده و به لطف چیدمان ستونی، فشردهسازی مؤثر و پشتیبانی گسترده در اکوسیستمهایی مثل Spark و Iceberg، برای اسکنهای حجیم و تحلیلهای دستهای عالی عمل میکند. اما با تغییر نیازها به سمت AI و سختافزارهای جدید مثل NVMe، SIMD و GPU، فرمتهای تازهای مانند BtrBlocks، FastLanes، Lance، Vortex و Nimble معرفی شدهاند که روی دسترسی کمتأخیر، بهرهگیری از SIMD/GPU و خواندن گزینشی داده تمرکز دارند. این فرمتها معمولاً با بازطراحی کُدگذاری و چیدمان صفحات، سربار پردازش را کاهش میدهند و برای پایپلاینهای AI و تحلیل تعاملی مناسبتر میشوند. در مقابل، Parquet از بلوغ و سازگاری گسترده برخوردار است و ابزارها و عملیات پایدارتری دارد. راهبرد منطقی، حفظ Parquet برای تبادل و تحلیل عمومی و استفاده هدفمند از فرمتهای جدید در سناریوهایی است که بهبود ملموسی در تأخیر یا هزینه محاسباتی روی NVMe/GPU نشان میدهند.
#ApacheParquet #FileFormats #ColumnarStorage #AI #GPU #NVMe #SIMD #DataEngineering
🟣لینک مقاله:
https://dipankar-tnt.medium.com/apache-parquet-vs-newer-file-formats-btrblocks-fastlanes-lance-vortex-cdf02130182c?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Apache Parquet vs. Newer File Formats (BtrBlocks, FastLanes, Lance, Vortex) (7 minute read)
🟢 خلاصه مقاله:
Apache Parquet بیش از یک دهه فرمت ستونی غالب بوده و به لطف چیدمان ستونی، فشردهسازی مؤثر و پشتیبانی گسترده در اکوسیستمهایی مثل Spark و Iceberg، برای اسکنهای حجیم و تحلیلهای دستهای عالی عمل میکند. اما با تغییر نیازها به سمت AI و سختافزارهای جدید مثل NVMe، SIMD و GPU، فرمتهای تازهای مانند BtrBlocks، FastLanes، Lance، Vortex و Nimble معرفی شدهاند که روی دسترسی کمتأخیر، بهرهگیری از SIMD/GPU و خواندن گزینشی داده تمرکز دارند. این فرمتها معمولاً با بازطراحی کُدگذاری و چیدمان صفحات، سربار پردازش را کاهش میدهند و برای پایپلاینهای AI و تحلیل تعاملی مناسبتر میشوند. در مقابل، Parquet از بلوغ و سازگاری گسترده برخوردار است و ابزارها و عملیات پایدارتری دارد. راهبرد منطقی، حفظ Parquet برای تبادل و تحلیل عمومی و استفاده هدفمند از فرمتهای جدید در سناریوهایی است که بهبود ملموسی در تأخیر یا هزینه محاسباتی روی NVMe/GPU نشان میدهند.
#ApacheParquet #FileFormats #ColumnarStorage #AI #GPU #NVMe #SIMD #DataEngineering
🟣لینک مقاله:
https://dipankar-tnt.medium.com/apache-parquet-vs-newer-file-formats-btrblocks-fastlanes-lance-vortex-cdf02130182c?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Medium
Apache Parquet vs. Newer File Formats (BtrBlocks, FastLanes, Lance, Vortex)
For over a decade, Apache Parquet has been the cornerstone of analytical data storage. Parquet emerged in the Hadoop era as an open…
🔵 عنوان مقاله
PostgreSQL R2DBC Driver 1.1
🟢 خلاصه مقاله:
PostgreSQL R2DBC Driver 1.1 دسترسی Reactive و غیرمسدودکننده به PostgreSQL را برای برنامههای Java فراهم میکند. با تکیه بر R2DBC و پشتیبانی از backpressure، اجرای کوئریها و استریم نتایج بهصورت asynchronous انجام میشود و زیر بار بالا کارایی و بهرهوری منابع بهبود مییابد. این درایور با Project Reactor، Spring WebFlux و Spring Data R2DBC یکپارچه است و اجازه میدهد کل مسیر از HTTP تا دیتابیس Reactive باقی بماند و قابلیتهایی مثل ترکیب، لغو و مدیریت جریانها را فراهم میکند. نسخه 1.1 بر بلوغ و پایداری تمرکز دارد و با بهبود همخوانی با R2DBC SPI و بهینهسازی رفتار تحت فشار، برای استفاده تولیدی مناسبتر شده است. اگر معماری شما Reactive است یا به همزمانی بالا و استریم داده نیاز دارید، این درایور انتخاب مناسبی است؛ در سناریوهای ساده و مسدودکننده، JDBC همچنان میتواند گزینهای عملی باشد.
#PostgreSQL #R2DBC #Java #SpringWebFlux #ReactiveProgramming #NonBlocking #Databases #Performance
🟣لینک مقاله:
https://postgresweekly.com/link/175405/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
PostgreSQL R2DBC Driver 1.1
🟢 خلاصه مقاله:
PostgreSQL R2DBC Driver 1.1 دسترسی Reactive و غیرمسدودکننده به PostgreSQL را برای برنامههای Java فراهم میکند. با تکیه بر R2DBC و پشتیبانی از backpressure، اجرای کوئریها و استریم نتایج بهصورت asynchronous انجام میشود و زیر بار بالا کارایی و بهرهوری منابع بهبود مییابد. این درایور با Project Reactor، Spring WebFlux و Spring Data R2DBC یکپارچه است و اجازه میدهد کل مسیر از HTTP تا دیتابیس Reactive باقی بماند و قابلیتهایی مثل ترکیب، لغو و مدیریت جریانها را فراهم میکند. نسخه 1.1 بر بلوغ و پایداری تمرکز دارد و با بهبود همخوانی با R2DBC SPI و بهینهسازی رفتار تحت فشار، برای استفاده تولیدی مناسبتر شده است. اگر معماری شما Reactive است یا به همزمانی بالا و استریم داده نیاز دارید، این درایور انتخاب مناسبی است؛ در سناریوهای ساده و مسدودکننده، JDBC همچنان میتواند گزینهای عملی باشد.
#PostgreSQL #R2DBC #Java #SpringWebFlux #ReactiveProgramming #NonBlocking #Databases #Performance
🟣لینک مقاله:
https://postgresweekly.com/link/175405/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
GitHub
Release v1.1.0.RELEASE · pgjdbc/r2dbc-postgresql
⭐ New Features
Expose API to subscribe to Postgres notice messages #570
Add codecs for DayOfWeek, Month, MonthDay, Period, Year, YearMonth #591
Make CodecMetadata.getDataTypes() more flexible #600...
Expose API to subscribe to Postgres notice messages #570
Add codecs for DayOfWeek, Month, MonthDay, Period, Year, YearMonth #591
Make CodecMetadata.getDataTypes() more flexible #600...
متغیرهای سیستمی در SQL Server
در SQL Server، متغیرهایی که با @@ شروع میشوند به عنوان متغیرهای سیستمی شناخته میشوند و اطلاعات مهمی درباره وضعیت سرور، کوئریها، تراکنشها و تنظیمات جاری ارائه میدهند.
این متغیرها توسط SQL Server مدیریت میشوند و کاربر فقط میتواند مقادیر آنها را بخواند، نه تغییر دهد.
نکته پرفرمنس: استفاده مکرر از متغیرهای سیستمی روی کوئریهای سنگین تاثیری مستقیم روی سرعت ندارد، اما بررسیهای مکرر یا استفاده نادرست در کوئریهای پیچیده میتواند منجر به کدهای نامفهوم یا غیر بهینه شود.
در SQL Server، متغیرهایی که با @@ شروع میشوند به عنوان متغیرهای سیستمی شناخته میشوند و اطلاعات مهمی درباره وضعیت سرور، کوئریها، تراکنشها و تنظیمات جاری ارائه میدهند.
این متغیرها توسط SQL Server مدیریت میشوند و کاربر فقط میتواند مقادیر آنها را بخواند، نه تغییر دهد.
نکته پرفرمنس: استفاده مکرر از متغیرهای سیستمی روی کوئریهای سنگین تاثیری مستقیم روی سرعت ندارد، اما بررسیهای مکرر یا استفاده نادرست در کوئریهای پیچیده میتواند منجر به کدهای نامفهوم یا غیر بهینه شود.
❤1👍1
🔵 عنوان مقاله
Postgres 18 Released
🟢 خلاصه مقاله:
Postgres 18 طبق برنامه منتشر شد. این نسخه جهش انقلابی نیست، اما مجموعهای از بهبودهای هدفمند ارائه میدهد که در عمل به اجرای سریعتر کوئریها، استفاده مؤثرتر از ایندکسها، I/O کارآمدتر و نگهداری سبکتر (VACUUM/autovacuum) منجر میشود. بهینهسازیهای تکرار و بازیابی نیز پایداری و توان عملیاتی را برای سناریوهای High Availability بهتر میکنند. علاوه بر این، گزینههای پیکربندی و پایش شفافتر و سختگیریهای امنیتی تازه، مدیریت و تیونینگ را سادهتر میسازد. برای ارتقا، یادداشتهای نسخه را بررسی کنید، سازگاری اکستنشنها را بسنجید و روی محیط Stage با بار کاری واقعی تست بگیرید.
#Postgres #PostgreSQL #Database #Performance #Release #SQL #OpenSource #DevOps
🟣لینک مقاله:
https://postgresweekly.com/link/174773/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Postgres 18 Released
🟢 خلاصه مقاله:
Postgres 18 طبق برنامه منتشر شد. این نسخه جهش انقلابی نیست، اما مجموعهای از بهبودهای هدفمند ارائه میدهد که در عمل به اجرای سریعتر کوئریها، استفاده مؤثرتر از ایندکسها، I/O کارآمدتر و نگهداری سبکتر (VACUUM/autovacuum) منجر میشود. بهینهسازیهای تکرار و بازیابی نیز پایداری و توان عملیاتی را برای سناریوهای High Availability بهتر میکنند. علاوه بر این، گزینههای پیکربندی و پایش شفافتر و سختگیریهای امنیتی تازه، مدیریت و تیونینگ را سادهتر میسازد. برای ارتقا، یادداشتهای نسخه را بررسی کنید، سازگاری اکستنشنها را بسنجید و روی محیط Stage با بار کاری واقعی تست بگیرید.
#Postgres #PostgreSQL #Database #Performance #Release #SQL #OpenSource #DevOps
🟣لینک مقاله:
https://postgresweekly.com/link/174773/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
PostgreSQL News
PostgreSQL 18 Released!
The [PostgreSQL Global Development Group](https://www.postgresql.org) today announced the release of [PostgreSQL 18](https://www.postgresql.org/docs/18/release-18.html), the latest version of the world's most advanced …
تا حالا فکر کردین استراتژی redis برای پاک کردن کلیدهای cache که ttl اونها اکسپایر شده چیه؟
در واقع redis دو تا استراتژی داره که از ترکیب این دو برای مدیریت این موضوع استفاده میکنه.
1️- استراتژی اول که بهش میگن lazy expiration ساده ترینشه اینه که وقتی درخواستی برای گرفتن یه کلید اومد اول چک میکنه اون کلید اکسپایر شده یا نه اگه آره اون رو همونجا پاک میکنه و نال برمیگردونه.
2- خب اگه یه کلید برای مدتها صدا زده نشه چی؟ اینجاست که میرسیم به استراتژی دوم یعنی active expiration و به این شکله که میاد مثلا هر 100 میلی ثانیه توی لوپ یه batch که شامل مثلا 20 کلید تصادفی هست رو بررسی میکنه و اونایی که اکسپایر شدن رو پاک میکنه. اگه توی اون لوپ بیشتر از 25 درصد کلیدها پاک بشن اون رو زباله تشخیص میده و حدس میزنه کلیدهای بیشتری هم اکسپایر شدن پس یه batch دیگه اجرا میکنه و در نهایت لوپ تموم میشه تا دوباره لوپ بعدی.
برای همین برخلاف تصور، کلیدهای cache بالافاصله با اتمام ttl حذف نمیشن و ممکنه برای مدتی توی حافظه سرور باقی بمونن مخصوصا اگه حجم کلیدها بالا باشه.
پ.ن: چک کردن تعداد کلیدها در هر لوپ و تعداد اجرای لوپ در ثانیه توی کانفیگ redis قابل تنظیمه، ولی نکته ای که هست هر چی تعداد رو بالاتر ببرین کلیدها سریعتر حذف میشن اما cpu بیشتری درگیر میشه.
@ | <Farshad Tofighi/>
در واقع redis دو تا استراتژی داره که از ترکیب این دو برای مدیریت این موضوع استفاده میکنه.
1️- استراتژی اول که بهش میگن lazy expiration ساده ترینشه اینه که وقتی درخواستی برای گرفتن یه کلید اومد اول چک میکنه اون کلید اکسپایر شده یا نه اگه آره اون رو همونجا پاک میکنه و نال برمیگردونه.
2- خب اگه یه کلید برای مدتها صدا زده نشه چی؟ اینجاست که میرسیم به استراتژی دوم یعنی active expiration و به این شکله که میاد مثلا هر 100 میلی ثانیه توی لوپ یه batch که شامل مثلا 20 کلید تصادفی هست رو بررسی میکنه و اونایی که اکسپایر شدن رو پاک میکنه. اگه توی اون لوپ بیشتر از 25 درصد کلیدها پاک بشن اون رو زباله تشخیص میده و حدس میزنه کلیدهای بیشتری هم اکسپایر شدن پس یه batch دیگه اجرا میکنه و در نهایت لوپ تموم میشه تا دوباره لوپ بعدی.
برای همین برخلاف تصور، کلیدهای cache بالافاصله با اتمام ttl حذف نمیشن و ممکنه برای مدتی توی حافظه سرور باقی بمونن مخصوصا اگه حجم کلیدها بالا باشه.
پ.ن: چک کردن تعداد کلیدها در هر لوپ و تعداد اجرای لوپ در ثانیه توی کانفیگ redis قابل تنظیمه، ولی نکته ای که هست هر چی تعداد رو بالاتر ببرین کلیدها سریعتر حذف میشن اما cpu بیشتری درگیر میشه.
@ | <Farshad Tofighi/>
👍3
🔵 عنوان مقاله
ChartDB (Tool)
🟢 خلاصه مقاله:
ChartDB ابزاری برای تبدیل سریع schema پایگاهداده به ER diagram است که با ویرایش هوشمند مبتنی بر AI، همکاری همزمان و همگامسازی خودکار با دیتابیس زنده، کار تیمهای مهندسی را ساده میکند. از Postgres، MySQL، SQL Server و Oracle پشتیبانی میکند، DDL تمیز تولید میکند و مستندات قابل اشتراکگذاری با نسخهبندی ارائه میدهد تا مدلها و مستندات همیشه بهروز و قابل پیگیری بمانند.
#DatabaseDesign #ERD #DataModeling #AI #DevTools #Postgres #MySQL #SQLServer
🟣لینک مقاله:
https://chartdb.io/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
ChartDB (Tool)
🟢 خلاصه مقاله:
ChartDB ابزاری برای تبدیل سریع schema پایگاهداده به ER diagram است که با ویرایش هوشمند مبتنی بر AI، همکاری همزمان و همگامسازی خودکار با دیتابیس زنده، کار تیمهای مهندسی را ساده میکند. از Postgres، MySQL، SQL Server و Oracle پشتیبانی میکند، DDL تمیز تولید میکند و مستندات قابل اشتراکگذاری با نسخهبندی ارائه میدهد تا مدلها و مستندات همیشه بهروز و قابل پیگیری بمانند.
#DatabaseDesign #ERD #DataModeling #AI #DevTools #Postgres #MySQL #SQLServer
🟣لینک مقاله:
https://chartdb.io/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
chartdb.io
ChartDB - Database schema diagrams visualizer
Free and Open-source database diagrams editor, visualize and design your database with a single query.
Tool to help you draw your DB relationship diagrams and export DDL noscripts.
Tool to help you draw your DB relationship diagrams and export DDL noscripts.
🔵 عنوان مقاله
IBM Invites CockroachDB to Infest Its Mainframes with 'PostgreSQL'
🟢 خلاصه مقاله:
**اصل خبر از The Register این است که IBM بهدنبال ارائه یک گزینه سازگار با PostgreSQL روی مینفریمهای خود است؛ اشاره به CockroachDB بهخاطر سازگاری آن با پروتکل PostgreSQL است و تیتر طنزآمیز را توضیح میدهد. هدف، آسانتر کردن مدرنسازی، استفاده از مهارتهای رایج Postgres و کاهش اصطکاک مهاجرت در محیطهای هیبریدی است. باید دید عملکرد روی مینفریم، ابزارهای عملیاتی، امنیت/انطباق و مسیرهای مهاجرت چگونه مدیریت میشوند و اینکه IBM واقعاً با CockroachDB شریک میشود یا راهحل سازگار دیگری ارائه میکند.
#IBM #CockroachDB #PostgreSQL #Mainframe #TheRegister #Database #EnterpriseIT #Modernization
🟣لینک مقاله:
https://postgresweekly.com/link/175399/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
IBM Invites CockroachDB to Infest Its Mainframes with 'PostgreSQL'
🟢 خلاصه مقاله:
**اصل خبر از The Register این است که IBM بهدنبال ارائه یک گزینه سازگار با PostgreSQL روی مینفریمهای خود است؛ اشاره به CockroachDB بهخاطر سازگاری آن با پروتکل PostgreSQL است و تیتر طنزآمیز را توضیح میدهد. هدف، آسانتر کردن مدرنسازی، استفاده از مهارتهای رایج Postgres و کاهش اصطکاک مهاجرت در محیطهای هیبریدی است. باید دید عملکرد روی مینفریم، ابزارهای عملیاتی، امنیت/انطباق و مسیرهای مهاجرت چگونه مدیریت میشوند و اینکه IBM واقعاً با CockroachDB شریک میشود یا راهحل سازگار دیگری ارائه میکند.
#IBM #CockroachDB #PostgreSQL #Mainframe #TheRegister #Database #EnterpriseIT #Modernization
🟣لینک مقاله:
https://postgresweekly.com/link/175399/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
The Register
IBM invites CockroachDB to infest its mainframes with PostgreSQL
: Vendors promote bridge to modern architecture for legacy systems, but Db2 not going anywhere just yet
🔵 عنوان مقاله
pg_statement_rollback v1.5: Server Side Rollback at Statement Level
🟢 خلاصه مقاله:
pg_statement_rollback v1.5 امکان «rollback در سطح هر دستور» را بهصورت سروری در Postgres ارائه میکند؛ رفتاری شبیه آنچه در Oracle و Db2 وجود دارد. بهجای اینکه با خطای یک دستور، کل تراکنش در Postgres از کار بیفتد، فقط همان دستور برگشت داده میشود و تراکنش فعال میماند. این کار پیچیدگی مدیریت SAVEPOINT در لایه اپلیکیشن را کاهش میدهد، تابآوری تراکنشهای طولانی و بارگذاریهای حجیم را بیشتر میکند، و مهاجرت از Oracle/Db2 به Postgres را سادهتر میسازد. نسخه 1.5 پشتیبانی از Postgres 18 را اضافه کرده است.
#PostgreSQL #pg_statement_rollback #StatementLevelRollback #TransactionManagement #Oracle #Db2 #Postgres18
🟣لینک مقاله:
https://postgresweekly.com/link/175404/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pg_statement_rollback v1.5: Server Side Rollback at Statement Level
🟢 خلاصه مقاله:
pg_statement_rollback v1.5 امکان «rollback در سطح هر دستور» را بهصورت سروری در Postgres ارائه میکند؛ رفتاری شبیه آنچه در Oracle و Db2 وجود دارد. بهجای اینکه با خطای یک دستور، کل تراکنش در Postgres از کار بیفتد، فقط همان دستور برگشت داده میشود و تراکنش فعال میماند. این کار پیچیدگی مدیریت SAVEPOINT در لایه اپلیکیشن را کاهش میدهد، تابآوری تراکنشهای طولانی و بارگذاریهای حجیم را بیشتر میکند، و مهاجرت از Oracle/Db2 به Postgres را سادهتر میسازد. نسخه 1.5 پشتیبانی از Postgres 18 را اضافه کرده است.
#PostgreSQL #pg_statement_rollback #StatementLevelRollback #TransactionManagement #Oracle #Db2 #Postgres18
🟣لینک مقاله:
https://postgresweekly.com/link/175404/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
GitHub
GitHub - HexaCluster/pg_statement_rollback: Server side rollback at statement level for PostgreSQL like Oracle or DB2
Server side rollback at statement level for PostgreSQL like Oracle or DB2 - HexaCluster/pg_statement_rollback
Forwarded from Future Pulse Persian
♨️ پیام جنجالی پاول دروف به کاربران فرانسوی ؛ هشدار درباره قانون «کنترل چت» اتحادیه اروپا
▪️طبق پیغام جدید پاول دروف ، ظاهراً اتحادیه اروپا قرار بوده قانونی تصویب کنه که تمام اپلیکیشنها رو مجبور به اسکن همه پیامهای خصوصی کاربران میکرد! چیزی شبیه یک سیستم جاسوسی سراسری روی گوشی همه مردم.
▪️فرانسه، با حمایت وزیران کشور سابق و فعلی در رأس این طرح قرار داشت. به عقدیده دروف چنین طرحی به بهانه «مبارزه با جرم» معرفی شده، اما در واقع هدفش مردم عادی و جاسوسی از مردمه.
+ چرا که مجرمان واقعی بهراحتی از VPN یا ابزارهای مخفی استفاده میکنن، در حالیکه پیامهای مقامات و پلیس از این نظارت معاف هستند!
♨️ پیام جنجالی پاول دروف به کاربران فرانسوی ؛ هشدار درباره قانون «کنترل چت» اتحادیه اروپا
▪️طبق پیغام جدید پاول دروف ، ظاهراً اتحادیه اروپا قرار بوده قانونی تصویب کنه که تمام اپلیکیشنها رو مجبور به اسکن همه پیامهای خصوصی کاربران میکرد! چیزی شبیه یک سیستم جاسوسی سراسری روی گوشی همه مردم.
▪️فرانسه، با حمایت وزیران کشور سابق و فعلی در رأس این طرح قرار داشت. به عقدیده دروف چنین طرحی به بهانه «مبارزه با جرم» معرفی شده، اما در واقع هدفش مردم عادی و جاسوسی از مردمه.
+ چرا که مجرمان واقعی بهراحتی از VPN یا ابزارهای مخفی استفاده میکنن، در حالیکه پیامهای مقامات و پلیس از این نظارت معاف هستند!
❤1
🔵 عنوان مقاله
full feature set here
🟢 خلاصه مقاله:
این بهروزرسانی اعلام میکند که مجموعه کامل قابلیتها اکنون بهصورت عمومی در دسترس است و بهطور رسمی از Postgres 18 پشتیبانی میکند. تمام مسیرهای عملیاتی—from provisioning و migrations تا monitoring، HA، backups، pooling و performance tuning—در برابر Postgres 18 اعتبارسنجی شدهاند و برای اکثر اپلیکیشنها نیازی به تغییر کد نیست. برای ارتقا، راهنمای گامبهگام برای in‑place و blue/green همراه با preflight checks، الگوهای rollout و مسیر بازگشت فراهم است؛ فقط توجه داشته باشید برخی extensions شخصثالث ممکن است با Postgres 18 کمی عقب باشند. این نسخه مزایای بهبودهای عملکردی، پایداری و امنیتی را ارائه میدهد؛ تنظیمات جدید بهصورت محافظهکارانه فعال میشوند و گزینههای پیشرفته قابل تنظیم هستند. پشتیبانی در محیطهای cloud و on‑prem عرضه شده، تصاویر و قالبهای CI/CD بهروزرسانی شدهاند و اسناد و راهنمای مهاجرت آماده است؛ تیم پشتیبانی برای ارزیابی، پایلوت و استقرار تولید در دسترس است.
#Postgres18 #PostgreSQL #Database #Compatibility #Upgrade #DevOps #Release #DBA
🟣لینک مقاله:
https://postgresweekly.com/link/175106/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
full feature set here
🟢 خلاصه مقاله:
این بهروزرسانی اعلام میکند که مجموعه کامل قابلیتها اکنون بهصورت عمومی در دسترس است و بهطور رسمی از Postgres 18 پشتیبانی میکند. تمام مسیرهای عملیاتی—from provisioning و migrations تا monitoring، HA، backups، pooling و performance tuning—در برابر Postgres 18 اعتبارسنجی شدهاند و برای اکثر اپلیکیشنها نیازی به تغییر کد نیست. برای ارتقا، راهنمای گامبهگام برای in‑place و blue/green همراه با preflight checks، الگوهای rollout و مسیر بازگشت فراهم است؛ فقط توجه داشته باشید برخی extensions شخصثالث ممکن است با Postgres 18 کمی عقب باشند. این نسخه مزایای بهبودهای عملکردی، پایداری و امنیتی را ارائه میدهد؛ تنظیمات جدید بهصورت محافظهکارانه فعال میشوند و گزینههای پیشرفته قابل تنظیم هستند. پشتیبانی در محیطهای cloud و on‑prem عرضه شده، تصاویر و قالبهای CI/CD بهروزرسانی شدهاند و اسناد و راهنمای مهاجرت آماده است؛ تیم پشتیبانی برای ارزیابی، پایلوت و استقرار تولید در دسترس است.
#Postgres18 #PostgreSQL #Database #Compatibility #Upgrade #DevOps #Release #DBA
🟣لینک مقاله:
https://postgresweekly.com/link/175106/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
GitHub
GitHub - pgcentralfoundation/pgrx: Build Postgres Extensions with Rust!
Build Postgres Extensions with Rust! Contribute to pgcentralfoundation/pgrx development by creating an account on GitHub.
🔵 عنوان مقاله
Ratcheting with Postgres CONSTRAINT
🟢 خلاصه مقاله:
خلاصه «ratcheting» روشی برای سفتوسخت کردن تدریجی قوانین داده در Postgres با تکیه بر CONSTRAINT است. بهجای اعمال یکباره و پرریسک محدودیتها، ابتدا قواعد را بهصورت نرم اعمال میکنیم (ثبت و پایش تخلفات در اپلیکیشن) و سپس معادل آنها را بهصورت NOT VALID اضافه میکنیم تا فقط نوشتارهای جدید بررسی شوند. بعد از پاکسازی و بکفیل، با VALIDATE CONSTRAINT قاعده برای کل داده معتبر میشود. برای قیود چندردیفی یا چندتراکنشی میتوان از DEFERRABLE و INITIALLY DEFERRED استفاده کرد. الگوهای رایج شامل تبدیل فیلدهای اختیاری به الزامی با بکفیل و سپس SET NOT NULL، افزودن FOREIGN KEY بهصورت NOT VALID و اعتبارسنجی پس از رفع یتیمها، استفاده از ایندکسهای UNIQUE جزئی برای یکتایی شرطی، و بهکارگیری EXCLUDE برای جلوگیری از تداخلهای زمانی/فضایی است. این رویکرد باعث میشود قیود بهتدریج از اسناد و منطق اپلیکیشن به لایه خود Postgres منتقل شوند و با عملکرد بهتر، ریسک کمتر و سادگی بیشتر، یکپارچگی داده را تضمین کنند.
#Postgres #SQL #DataIntegrity #DatabaseMigrations #Constraints #EXCLUDE #DEFERRABLE #DevOps
🟣لینک مقاله:
https://postgresweekly.com/link/175397/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Ratcheting with Postgres CONSTRAINT
🟢 خلاصه مقاله:
خلاصه «ratcheting» روشی برای سفتوسخت کردن تدریجی قوانین داده در Postgres با تکیه بر CONSTRAINT است. بهجای اعمال یکباره و پرریسک محدودیتها، ابتدا قواعد را بهصورت نرم اعمال میکنیم (ثبت و پایش تخلفات در اپلیکیشن) و سپس معادل آنها را بهصورت NOT VALID اضافه میکنیم تا فقط نوشتارهای جدید بررسی شوند. بعد از پاکسازی و بکفیل، با VALIDATE CONSTRAINT قاعده برای کل داده معتبر میشود. برای قیود چندردیفی یا چندتراکنشی میتوان از DEFERRABLE و INITIALLY DEFERRED استفاده کرد. الگوهای رایج شامل تبدیل فیلدهای اختیاری به الزامی با بکفیل و سپس SET NOT NULL، افزودن FOREIGN KEY بهصورت NOT VALID و اعتبارسنجی پس از رفع یتیمها، استفاده از ایندکسهای UNIQUE جزئی برای یکتایی شرطی، و بهکارگیری EXCLUDE برای جلوگیری از تداخلهای زمانی/فضایی است. این رویکرد باعث میشود قیود بهتدریج از اسناد و منطق اپلیکیشن به لایه خود Postgres منتقل شوند و با عملکرد بهتر، ریسک کمتر و سادگی بیشتر، یکپارچگی داده را تضمین کنند.
#Postgres #SQL #DataIntegrity #DatabaseMigrations #Constraints #EXCLUDE #DEFERRABLE #DevOps
🟣لینک مقاله:
https://postgresweekly.com/link/175397/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Andrewjudson
Ratcheting with Postgres CONSTRAINT
🔥1
🔵 عنوان مقاله
Postgres Migrations Using Logical Replication
🟢 خلاصه مقاله:
** مهاجرت به Postgres با تکیه بر Logical Replication به الگوی رایج برای جابهجایی کموقفه تبدیل شده است؛ دادهها بهصورت جریان تغییرات منتقل میشوند، اسکیما از پیش هماهنگ میشود و کاتاور کنترلشده انجام میگیرد. در خبرها، یادداشت Elizabeth Christensen به تیتر طنزآمیز The Register درباره IBM و CockroachDB اشاره میکند، اما اصل ماجرا این است که IBM به ارائه گزینهای Postgres‑like روی مینفریم فکر میکند؛ نشانهای از پذیرش گسترده اکوسیستم Postgres و امکان استقرارهای ناهمگون که با Logical Replication به مهاجرتهای مرحلهای کمک میکند. در بُعد کارایی، Aksman و Hein از TigerData در TimescaleDB نشان میدهند چرا DISTINCT روی دادههای سریزمانی کند میشود و چگونه SkipScan با «پرش» در محدودههای ایندکس، این کوئریها را سریعتر و بهینهتر میکند. همچنین Sebastian Insausti به بهبودهای عملیاتی و گزینههای یکپارچهسازی در Postgres 16 میپردازد که مدیریت عملیات، مشاهدهپذیری و معماریهای هیبریدی مبتنی بر Logical Replication را سادهتر میکند. توصیه عملی: همسانسازی اسکیما، توجه به sequences/constraints/triggers، کوتاه نگهداشتن تراکنشها برای کاهش lag، رصد دقیق تاخیر اعمال، تمرین کاتاور و داشتن مسیر بازگشت تا اطمینان از صحت دادهها.
#Postgres
#LogicalReplication
#TimescaleDB
#SkipScan
#CockroachDB
#IBM
#PostgreSQL
#Postgres16
🟣لینک مقاله:
https://postgresweekly.com/link/175398/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Postgres Migrations Using Logical Replication
🟢 خلاصه مقاله:
** مهاجرت به Postgres با تکیه بر Logical Replication به الگوی رایج برای جابهجایی کموقفه تبدیل شده است؛ دادهها بهصورت جریان تغییرات منتقل میشوند، اسکیما از پیش هماهنگ میشود و کاتاور کنترلشده انجام میگیرد. در خبرها، یادداشت Elizabeth Christensen به تیتر طنزآمیز The Register درباره IBM و CockroachDB اشاره میکند، اما اصل ماجرا این است که IBM به ارائه گزینهای Postgres‑like روی مینفریم فکر میکند؛ نشانهای از پذیرش گسترده اکوسیستم Postgres و امکان استقرارهای ناهمگون که با Logical Replication به مهاجرتهای مرحلهای کمک میکند. در بُعد کارایی، Aksman و Hein از TigerData در TimescaleDB نشان میدهند چرا DISTINCT روی دادههای سریزمانی کند میشود و چگونه SkipScan با «پرش» در محدودههای ایندکس، این کوئریها را سریعتر و بهینهتر میکند. همچنین Sebastian Insausti به بهبودهای عملیاتی و گزینههای یکپارچهسازی در Postgres 16 میپردازد که مدیریت عملیات، مشاهدهپذیری و معماریهای هیبریدی مبتنی بر Logical Replication را سادهتر میکند. توصیه عملی: همسانسازی اسکیما، توجه به sequences/constraints/triggers، کوتاه نگهداشتن تراکنشها برای کاهش lag، رصد دقیق تاخیر اعمال، تمرین کاتاور و داشتن مسیر بازگشت تا اطمینان از صحت دادهها.
#Postgres
#LogicalReplication
#TimescaleDB
#SkipScan
#CockroachDB
#IBM
#PostgreSQL
#Postgres16
🟣لینک مقاله:
https://postgresweekly.com/link/175398/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Crunchy Data
Postgres Migrations Using Logical Replication | Crunchy Data Blog
Instructions and tips for using logical replication to migrate Postgres to a new platform or host.
🔵 عنوان مقاله
A SQL Heuristic: ORs Are Expensive (10 minute read)
🟢 خلاصه مقاله:
OR در SQL اغلب باعث کندی میشود، چون بسیاری از query plannerها برای OR بین ستونهای مختلف به sequential scan یا index merge/bitmap OR متوسل میشوند، در حالیکه AND بهطور طبیعی با compound indexها جور است. یک راه مؤثر، بازنویسی OR به چند کوئریِ ایندکسپسند و ترکیب آنها با UNION/UNION ALL است تا هر شاخه از ایندکس مناسب خود استفاده کند و زمان اجرا گاهی تا ۱۰۰ برابر کاهش یابد. راهحل پایدارتر، بازطراحی schema با extension tables است تا بهجای OR روی چند خاصیتِ پراکنده، با JOIN به جدولهای باریک و ایندکسشده دسترسی پیدا کنید. همیشه با EXPLAIN/EXPLAIN ANALYZE اندازهگیری کنید؛ در جداول کوچک یا OR روی یک ستون (مشابه IN) شاید مشکل نداشته باشید، اما بهطور کلی: AND را با compound index هماهنگ کنید، از OR بین ستونها بپرهیزید، در صورت لزوم از UNION بهره ببرید و برای مسیرهای پرتردد، بازطراحی schema را در نظر بگیرید.
#SQL #DatabasePerformance #QueryOptimization #Indexes #PostgreSQL #MySQL #DataModeling #EXPLAIN
🟣لینک مقاله:
https://ethanseal.com/articles/ors-are-expensive?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
A SQL Heuristic: ORs Are Expensive (10 minute read)
🟢 خلاصه مقاله:
OR در SQL اغلب باعث کندی میشود، چون بسیاری از query plannerها برای OR بین ستونهای مختلف به sequential scan یا index merge/bitmap OR متوسل میشوند، در حالیکه AND بهطور طبیعی با compound indexها جور است. یک راه مؤثر، بازنویسی OR به چند کوئریِ ایندکسپسند و ترکیب آنها با UNION/UNION ALL است تا هر شاخه از ایندکس مناسب خود استفاده کند و زمان اجرا گاهی تا ۱۰۰ برابر کاهش یابد. راهحل پایدارتر، بازطراحی schema با extension tables است تا بهجای OR روی چند خاصیتِ پراکنده، با JOIN به جدولهای باریک و ایندکسشده دسترسی پیدا کنید. همیشه با EXPLAIN/EXPLAIN ANALYZE اندازهگیری کنید؛ در جداول کوچک یا OR روی یک ستون (مشابه IN) شاید مشکل نداشته باشید، اما بهطور کلی: AND را با compound index هماهنگ کنید، از OR بین ستونها بپرهیزید، در صورت لزوم از UNION بهره ببرید و برای مسیرهای پرتردد، بازطراحی schema را در نظر بگیرید.
#SQL #DatabasePerformance #QueryOptimization #Indexes #PostgreSQL #MySQL #DataModeling #EXPLAIN
🟣لینک مقاله:
https://ethanseal.com/articles/ors-are-expensive?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
🔵 عنوان مقاله
Hands on Postgres 18: Async I/O, B-Tree Skip Scan, UUIDv7
🟢 خلاصه مقاله:
بنیانگذار pganalyze در یک وبینار، قابلیتهای مهم Postgres 18 را بهصورت عملی مرور میکند؛ از جمله Async I/O، B-Tree Skip Scan و UUIDv7. بخش Async I/O (از ۴:۲۰ تا ۲۲:۳۰) برجستهتر است و نشان میدهد چگونه همپوشانی محاسبه و ورودی/خروجی میتواند تأخیر را کم و توان عملیاتی را در بارهای I/O-محور افزایش دهد. B-Tree Skip Scan اسکن روی ایندکسهای مرکب را وقتی فیلتر شامل ستون اول نیست کاراتر میکند و هزینه پرسوجو را پایین میآورد. UUIDv7 نیز با نظم زمانی بهتر، locality ایندکس را بهبود میدهد و درجها را پیوستهتر میکند. نتیجه اینکه این وبینار راهنمایی عملی برای ارزیابی و بهکارگیری قابلیتهای جدید Postgres 18 ارائه میدهد، و بخش Async I/O ارزش تماشای ویژهای دارد.
#Postgres18 #PostgreSQL #AsyncIO #BTree #UUIDv7 #DatabasePerformance #pganalyze
🟣لینک مقاله:
https://postgresweekly.com/link/175388/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Hands on Postgres 18: Async I/O, B-Tree Skip Scan, UUIDv7
🟢 خلاصه مقاله:
بنیانگذار pganalyze در یک وبینار، قابلیتهای مهم Postgres 18 را بهصورت عملی مرور میکند؛ از جمله Async I/O، B-Tree Skip Scan و UUIDv7. بخش Async I/O (از ۴:۲۰ تا ۲۲:۳۰) برجستهتر است و نشان میدهد چگونه همپوشانی محاسبه و ورودی/خروجی میتواند تأخیر را کم و توان عملیاتی را در بارهای I/O-محور افزایش دهد. B-Tree Skip Scan اسکن روی ایندکسهای مرکب را وقتی فیلتر شامل ستون اول نیست کاراتر میکند و هزینه پرسوجو را پایین میآورد. UUIDv7 نیز با نظم زمانی بهتر، locality ایندکس را بهبود میدهد و درجها را پیوستهتر میکند. نتیجه اینکه این وبینار راهنمایی عملی برای ارزیابی و بهکارگیری قابلیتهای جدید Postgres 18 ارائه میدهد، و بخش Async I/O ارزش تماشای ویژهای دارد.
#Postgres18 #PostgreSQL #AsyncIO #BTree #UUIDv7 #DatabasePerformance #pganalyze
🟣لینک مقاله:
https://postgresweekly.com/link/175388/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
YouTube
Webinar Recording: Hands on Postgres 18: Async I/O, B-tree Skip Scan, UUIDv7
The release of PostgreSQL 18 introduced significant changes that directly influence performance at scale: from the introduction of asynchronous I/O, which changes how Postgres interacts with the disk both in the cloud and on-premise, to new planner optimizations…