#نکته_روز

ممکن تا حالا براتون پیش امده باشه که دیتای خیلی زیادی داخل دیتابیس دارید
مثلا ۱ میلیون دیتا
و بر حسب یک کوئری یه نتیجه ۲۰۰ هزار تایی براتون به دست امده که باید برای هرکدوم از این رکورد ها یک عملیاتی رو انجام بدید .(مثلا برای هرکدوم یک نوتیفیکیشن ارسال کنید )

- نکته ای که وجود داره اگه بیاید همه رو واکشی کنید و بریزید داخل رم تا chunk کنید بعد بندازید داخل for بعد بدید به جاب ها احتمالا به مموری لیک میخورید .
- یک راهی که وجود داره این هست که دیتا و کوئری رو به صورت paginate بگیرید و به صورت limit - offset دیتا رو تیکه تیکه بگیرید .
— این راه حل هم شدنی هست . ولی یه دوتا مشکل داره .
۱- اولین مشکل این میتونه باشه که هر بار شما یه hit به دیتابیس میزنید و کوئری رو مجدد میگیرید با limit-offset جدید . که این خودش میتونه فشار بیاره به منابع سرور و sql شما .
۲- دومین مشکل میتونه این باشه که اگه نرخ insert دیتابیش شما زیاد باشه ممکنه که به داپلیکیت بخورید .. به این صورت که وقتی دارید روی limit -offset اول کار میکنید . یه سری row مجدد insert میشه که دوباره موقع گرفتن limit-offset دوم از row های قبلی انتخاب بشه و شما مجدد عملیات و انجام بدید و دوبار نوتیفیکشن ارسال کنید .


———————-
حالا راه حل چی میتونه باشه .
یکی از راه حل ها میتونه استفاده از FETCH Cursor مربوط به sql باشه .
چطوری عمل میکنه ؟
به این صورت که شما میاید یک بار کوئری رو به یه orderby مشخص میگیرید بعد دیتارو به صورت تیکه تیکه از mysql یا بقیه sql ها درخواست میکنید .
اینجوری یبار کوئری گرفته نگه داشته و تیکه تیکه به شما میده بدون اینکه هربار بهش hit بزنید و فشار بیاد به منابع .
از طرفی چون هرموقع گرفتن دیتای جدید باید آخرین آیدی رو بهش بدید تا دیتای بعدی رو بگیرید ،‌اینجوری به Duplicate هم نمیخورید .

————-
حالا این چطوری توی لاراول انجام میشه ؟

از لاراول ۸ به بعد اگر اشتباه نکنم یه فیچری امد به اسم cursor pagination که دقیقا میاد همین کارو برای شما انجام میده .
این نوع pagination برای infinite scroll ها و دیتاست های بزرگ خیلی به کار میاد
مثل مثالی که بالاتر زدم

اگر شما هم تجربه ای دارید خوشحال میشم بشنوم .

———
اگه دوست دارید بیشتر بدونید این لینک ها شاید کمک کنه .


https://www.educba.com/fetch-in-sql

https://medium.com/@maryam-bit/offset-vs-cursor-based-pagination-choosing-the-best-approach-2e93702a118b

https://laravel.com/docs/10.x/pagination#cursor-pagination

https://laravel-news.com/cursor-pagination

https://www.laravel-enlightn.com/blog/laravel-offset-vs-cursor-pagination

https://www.youtube.com/watch?v=zwDIN04lIpc&ab_channel=PlanetScale

upcoming... ✨