عملیات روی داده‌های رمز شده: رمزنگاری هم‌ریختی یا Homomorphic encryption

فرض کنید که می‌خوایید عبارتی رو گوگل کنید ولی گوگل نه بدونه چی ازش پرسیدین و نه بدونه چه جوابی به شما داده ولی با این حال جوابش به شما متناسب بوده.

یا فرض کنید، عکسی دارید و میخوایید توی یکی از این وب‌سایت‌های ویرایش عکس آپلود کنید و یک سری افکت روش اعمال کنید و این‌ها به درستی اعمال بشه و در عین حال اون سرویس از این که افکت‌هاش رو روی چه عکسی انداخته خبر نداشته باشه.

یا بذارید یک کم عمیق تری بشیم. فرض کنید شما یک password manager دارید که رمز‌هاتون رو encrypt شده نگه‌داری کرده. می‌خوایید وقتی که برنامه لود شد و پیچیدگی‌های رمز‌هاتون رو بررسی می‌کرد، حتی دامپ مموری و یا دامپ جیستر‌های CPU هیچ کدوم از اطلاعات شما رو لو نده و همچنان اون‌ها encrypted باقی‌ بمونند و در عین‌حال فیچر بررسی پیچیدگی پسورد منیجیرتون به درستی عمل کرده باشه.

ما می‌دونیم که بالاخره در یک مرحله‌ای دیتا باید توی RAM لود بشه یا وقتی CPU می‌خواد که روی داده‌ها insturctionهاش رو اجرا کنه، باید خود دیتا (و نه encryptشده‌ش) رو روی رجیستر‌هاش Fetch کنه. پس نمیشه که ما بدون رمزگشایی داده و در اختیار قرار دادن کلید روی داده‌ها پردازش کنیم. درسته؟ نه!

خیلی جالبه که رمز‌گذاری وجود داره که این امکان رو میده تا بدون این که داده رو decrypt کنیم روی اون پردازش کنیم یا دقیق‌تر، اون رو به یک تابع بدیم و خروجی اون تابع عیناً مشابه خروجی تابع بر روی دیتای رمز نشده باشه :

Fully Homomorphic Encryption

Homomorphic encryption is a form of encryption that allows computations to be performed on encrypted data without first having to decrypt it.[1] The resulting computations are left in an encrypted form which, when decrypted, result in an output that is identical to that of the operations performed on the unencrypted data. Homomorphic encryption can be used for privacy-preserving outsourced storage and computation. This allows data to be encrypted and outsourced to commercial cloud environments for processing, all while encrypted.

علارغم این که با این روش میشه چرخه‌ی حریم‌شخصی و محرمانگی رو کامل برقرار کرد و الگوریتم رمزگذاری جدیدی نیست، با این‌حال استفاده ازش چندان همه‌گیر نشده. یکی از اشکالات اساسی‌ش هزینه‌ی پردازشی بالای اونه. با تمام این‌ها، پیشرفت‌های زیادی کرده و هر چند سال نسل‌های جدید از اون منتشر میشه که مشکلات نسل‌های قبلی رو به شکلی مرتفع کردن و از طرفی سرعت پردازش روی داده‌های رمز‌شده سالانه ۸ برابر بیشتر میشه و کم کم داره داره جای خودش رو روی سیستم‌های real-world پیدا می‌کنه. مثلا اپل پستی روی ۲۰۱۴ منتشر کرده که از دیتاست‌های رمز شده در مسئله‌های Nearest Neighbor Searchش برای حفظ حریم خصوصی کاربر‌هاش استفاده میکنه:
Combining Machine Learning and Homomorphic Encryption in the Apple Ecosystem


توی این ترد Hackernews نظر بقیه رو راجع‌بهش بخونید.
اگر به جزئیات پیاده‌سازی و ریاضی پشتش بیشتر علاقه دارید این تکست‌بوک میتونه بدرد بخوره. (همون منبع ولی به صورت HTML)
پیاده‌سازی اوپن‌سورسی هم از این الگوریتم وجود داره که از اینجا می‌تونید بررسی کنید.

صحبت از استفاده‌ش توی real-world systemها شد، یاد مصاحبه‌ی محسن رضایی با شبکه‌ی خبر افتادم که از تکنیک‌های ناشناخته‌ی استفاده شده توی جنگ ۱۲ روزه صحبت می‌کرد.

درواقع این‌ طور بود که این‌ها می‌خواستند پیروز بشند و در عین‌حال محرمانگی‌شون رو حفظ کنند (چون احتمالا با همین روش تا سه وعده‌ی دیگه نیاز دارند که پیروز باقی بمونند). برای همین، اومدند و از «همون رمز ناشناختگی» (که ما الان می‌دونیم داره راجع‌به FHE صحبت می‌کنه😉) استفاده کردند و اسرائیل بدون این که بفهمه چی‌شد آتش‌بس داد و ‌این‌ها در نهایت به خروجی مطلوب که «پایان‌دهنده»گی بود رسیدند.

این‌ها رو می‌بینم یاد دوران اپلای خودم میفتادم. این ور و اون‌ور رو نگاه می‌کردی، صحبت خیلی‌ها از یک اکسل بلند بالا بود که مثلا یارو درست کرده برای ترک کردن وضعیت ارتباطش با استادا و تعداد ایمیل‌هایی که ازش صحبت می‌کرد تو رنج ۵۰۰-۶۰۰ تا بود به نمیدونم چه‌قدر استاد. همون موقع با خودم مقایسه می‌کردم میدیدم توی دانشگاه‌های مد نظرم تو کانادا (که قصدم از اپلای فقط اون‌جا بود) تعداد استاد‌هایی که توی فیلدی که من می‌خواستم (سیستم‌های توزیع شده یا دیتابیس) واقعا زیاد نبود. درسته به پای استاد‌هایی که فیلدشون هوش و فیلد‌های مشابه بود نمی‌رسید ولی واقعا چیز پرتی نبود. ولی خب تکلیف من مشخص بود که می‌خوام چی‌کار کنم و چی بخونم.

با یه حساب و کتاب سر انگشتی و با در‌نظر گرفتن ایمیل‌های ریمایندر عدد ایمیل‌ها به ۱۰۰ هم نمی‌رسید. بماند که توصیه میشد که اگر واقعا جدی‌اید همزمان به استاد‌های دانشکده ایمیل نزنید (که البته طبیعی بود. مگه واقعا چند نفر هستند که همون کاری که شما می‌خوایید رو دارند انجام میدن؟) و همین باعث میشد عملا فرصت نکنی همه رو توی اون بازه پوشش بدی.

من اولا که هیچ جوابی نمی‌گرفتم واقعا ترسیده بودم که نکنه واقعا یک‌جای کار من اشتباهه. نکنه واقعا باید ۵۰۰ تا ایمیل بزنم؟ نکنه اصول سی‌وی نویسی رو رعایت نکردم؟ نکنه ایمیلم طولانیه؟ دلم می‌خواست می‌تونستم یک کاری کنم ولی هیچ‌جوره راه نمیداد. اصلا کسی نبود که بخوام بهش ایمیل بزنم! همه‌چیز درست بود و مشکلی نداشت. ولی صرفا جوابی در کار نبود. با تمام این‌ها، خیلی طولی نکشید که این دغدغه رفع شد. به دانشگاه سوم که رسیدم خیلی سریع جواب گرفتم. نمیدونم ایمیل چندم بود ولی خیلی نگذشته بود. یکی توی آلبرتا جوابم رو داد. یادمه اول ازم خواست رزومه‌م و ریزنمره‌هام رو براش بفرستم و گفت که بعد این که راجع‌به دانشگاهت پرس و جو کنم بهت خبر می‌دم. از قبل چک کرده بودم. یک دانشجوی دکتری ایرانی داشت که باهاش کار می‌کرد و احتمالا می‌خواست از اون بپرسه. تقریبا بعد یک هفته جواب مثبت رو داد و بسی شادی رفت! بعد اون هم ایمیل‌هام جواب داده می‌شد. درسته اون‌ها خروجی مثبت نداشتند ولی به هر حال جوابی میومد. مثلا می‌گفتن که امثال دانشجو نمیگیریم یا این که من رو می‌پیچوندند و می‌گفتند اول اپلای کن بعدش خدا بزرگه. ولی خلاصه اون سوراخی که گرفته بود بالاخره باز شد. توی لینکدین و این ور و اون‌ور آدم‌هایی که توی لب اون استاد کار می‌کردند رو پیدا می‌کردم و صحبت می‌کردم باهاشون. حتی سال بعدش که دانشجوی اینجا بودم هم یک بار رندوم به یک استاد توی دالهاوزی ایمیل زدم و روی ایمیل دوم قبول کرده بود که فول فاند مستر رو پیشش کار کنم.

درسته که در نهایت دست تقدیر جای نوازش پسی زد و آلبرتا دود شد و پرید ولی از یک چیزی خوش‌حالم و اون هم اینه که هیچ‌وقت وارد این بازی نشدم و از این بابت حداقل خودم رو فحش و لعنت نکردم. توصیه من هم اینه که شما هم این کار رو نکنید. خروجیش این میشه که هم دودش توی چشم خودتون میره و هم بقیه. خروجیش میشه این پیام‌هایی که می‌بینید. میشه این که اسمتون رو جای محمد بکنید Mo. اگر می‌خوایید کاری کنید، اپلای کور قرار نیست سرنوشت شما رو عوض کنه. حداقل من اینطور فکر می‌کنم. ولی از این بابت مطمئنم که خروجی‌ش چیزی جز به کثافت کشیدن اوضاع برای بقیه نخواهد بود. و در نهایت، حتما این ماجرا یک سر دیگه هم داره که کار رو سال‌هاست به اینجا کشوندند. بر باعثش لعنت.

صبح تا بعد از ظهر رو مرخصی گرفتم که بریم دنبال کارای اداریی که انگار هیچ‌وقت قرار نیست تموم بشن. ۸ صبح زدیم از خونه بیرون. هوا مثل دیروز خاکستری بود و ابری و زمین از بارونی که کل دیروز داشت می‌زد هنوز خیس.

اتوبوس شوار شدیم که اول بریم کنسول پی کارای پاسپورت و گرفتن وکالت‌نامه. سوار که شدیم دیدم که اتوبوس پره از زن‌های عرب. مادر‌هایی که بچه ساختنو کنترات برداشته بودن و دست هر کدوم یکی یک دونه بچه بود. قد و نیم قد. با کالسکه یا زیر بغل. به هر حال، با همون سوال همیشگی که شما چطوری از پس بچه بزرگ کردن تو این شرایط بر میایید رسیدیم lotto.

میلان سیستم عجیبی داره. مرز بین زاغه‌ و اعیونی‌نشین گاهی یک کوچه‌ست. لوتو هم همچین جاییه. پارک میدونش و کلا اون اطراف پاتوق آدمای ناجور و بدفرمه و خط‌های معروف ۹۰ و ۹۱ اولین و آخرین ایستگاهشون اونجاست. خطی که توش از آدم مست و جیب‌بر و اوباش هست تا اونایی که حال روانی مساعد ندارن دستشون دائم در رفت و آمد بین شرت و دهنشونه. یهو یاد یواخیم لو افتادم. از طرفی، محله پره از خونه‌های ویلایی خوشگل و بزرگ. کنسولگری هم یکی از ساختمون‌های بین این خونه‌هاست. به هر حال لوتو‌ی زیبا جایی نیست که دوست داشته باشی نصف شب‌ها توش تک و تنها وقت بگذرونی. هرچند که لوتو اساساً اونقدراهم جای بدی نیست.

رفتیم کنسول و منتظر موندیم تا که نوبتم شد برای کارا تمدید پاسپورت. خانوم پشت بادجه با صدای بلند و سر حال گفت: «سلام صبحیتون بخیر». انگار پدر صدای رادیو رو زیاد کرده بود و نسخه‌ی تنظیم بازار فاطمه صداقتی سر صبح تو رادیو جوان داشت «جوان ایرانی سلام» اجرا می‌کرد. با خودم گفتم خب پس امروز میتونه یک روز اداری شاد باشه. یک کاغذ‌بازی به‌یاد موندنی. منم صدامو کلفت رادیویی کردم گفتم: صبح شما هم بخیر باشه. منتظر اثری تو چهره‌ش بودم ولی هیچ حسی تو صورتش نبود. دقیق بخوام بگم، تخمش هم نبود. انگار اصلا منتظر جواب حرفش هم نبود و ترجیح میداد که من لال بودم. ولی اهمیت ندادم.

بعد از پاره‌ای توضیحات، مدارکو دادم. عکسو دید گفت: «این چرا کوچیکه؟ این که سه در چهار نیست» . من اینطوری بودم که بسم‌الله. این جدیده دیگه! گفتم: «نمیدونم والا. من همینو کلا از روز اول دارم».

با یه حالی که داشت به کلافه‌گی میر‌فت گفت: «نمیدونم. شاید سامانه قبول نکنه.»
منم گفتم: حالا ببینیم چی میشه. والا من پاسپورتم عکسش همین‌قدریه. همین عکسو همه جا دادم این سال‌ها (چه عکس زشتی هم هست).

حالا که واقعا کلافه شده بود از دستم گفت: پاسو کجا گرفتی؟ اینجا؟؟

گفتم: نه والا. ایران.

گفت: اون واسه ایرانه. اینجا سیستم خودشو داره.

منم برگشتم گفتم: خب پاسپورت که پاسپورت همون ایرانه.

حالا دیگه واقعا داشت به زور تحملم میکرد ولی مشخص بود که قصد نداره کم بیاره عرض کرد: خب میتونی بری ایران پاسپورتتو بگیری!!!

منم نذاشتم نقطه بذاره سر حرفش و گفتم: «رام نمیدن. میدادن می‌گرفتم.»

نمیدونم شکست رو پذیرفت یا دید واسش سر دردم که بیخیال شد و رفتیم مرحله بعد.عجیبه. تمام این کل کل خانوم بادجه‌ای با من سر چند میلیمتر بود…

#روزمره

بعد از بطالت وقت با خانوم، منتظر شدیم که وکالت‌نامه ها رو از بادجه‌ی ۳ بگیریم. منتظر بودم تا کار آذین تموم بشه، دیدم یه دختره اومد و نشست روبروی خانوم بادجه‌ای مذکور. منم که اون بغل بودم تیز کرده که ببینم قراره چطوری اینو بچزونه. دختره عکسو در آورد و داد به خانومه و شما حتی نمیتونید حدس بزنید بهش چی گفت! بهش گفت: «چقدر عکست خوشگل شده!!!» الله اکبر! چرا امروز همه‌چی راحع‌به عکسه؟!! خلاصه فشاری شدم و تا الان که یک صبحه و دارم اینو می‌نویسم هنوز فشار میاره.

کارامون تو کنسول خیلی طول کشید. بعد از ۲.۵ ساعت اومدیم بیرون. ماجرا رو که به آذین گفتم گفت خانومه با منم خیلی خوش اخلاق و مهربون بود. فهمیدم که این همون الگوی تکراریه‌: یه سری آدم‌ها تا منو میبینین و دهن وا می‌کنم دلشون میخواد یه جوری روی منو کم کنن. نمیدونم چرا. اینو میگم هم همیشه یاد خاطره‌ی خیلی قدیمی میفتم. ۱۵ سالم بود. توی کلاس جودو، داشتم با یه غول بیایونی سی و چند ساله تمرین یقه می‌کردم، صاف تو روم نگاه کرد و یهو گفت: «خیلی بچه پررویی نه؟! مشخصه از اون پوورروایی (تاکید روی پور رو نه پر رو. چون مازندرانی‌ها اینطوری میگن). دوست داری حالتو بگیرم؟». مرتیکه روانی. خرس گنده چوخوار (کلمه‌ای مازندرانی به معنی کتک‌خور).من تا حالا حتی با تو حرف نزدم. چطوری زورت به بچه میرسید؟ خلاصه خیال می‌کنم این خانوم بادجه‌ای هم مثل این عمویی بود. میخواست منو ادب کنه.

تهش هم پاسپورت هم تمدید نکردم و عایده‌‌ی این نکبت شد دو عدد وکالت‌نامه و خوردن سر من به دیوار بادجه‌ی شماره‌ی سه که هرکی اونجا بود و دید خنده‌ش گرفت. دشمن‌شاد شدیم.

همونو رفتیم و سوار اتوبوس ۹۰ شدیم. بو میداد. مثل همیشه. پر بود از آدم‌هایی که قیافه‌های نرمال نداشتن. حتی پیرزن پیرمرد‌های توش هم گوگولی نبودن. اساساً چیزی زیبایی تو این اتوبوس پیدا نمیشه. حتی مسیری که میره هم قشنگ نیست. تنها قسمت مثبتش این بود که هربار می‌خواستیم بریم خونه‌ی حامد باید اینو سوار می‌شدیم. که اون‌هم با رفتنش از میلان دیگه چیزی جز حس جای خالی وقتی از جلوی اون ایستگاه میگذریم نداره. غربت در غربت واقعا نوبره.

رفتیم یه اداره‌ی کَف که این کارت مترو‌هامونو برای سال جدید هم شارژ کنیم، هم این که عوضشون کنیم. سال جدید، کارت جدید! باز خداروشکر که از اینجا شانس اوردیم. سر جمع نیم ساعت طول کشید و زدیم بیرون.

سر راه رفتیم از یکی از این نونوایی/شیرنی فروشی‌ها دو تا بیسکویت با تم هالووین گرفتیم. فروشنده‌ش و احتمالا صاحب مغازه، خانوم پیر با‌حوصله‌ای بود. سر حال بود و لبخند می‌زد. حداقل مشتری‌مدار بود.واقعیت اینه که من از هالویین فقط حوصله‌ی این شیرنیا رو دارم و واسم قشنگه. و حقیقتاً که رابرت من این هالووینه دوست ندارم.

این‌ها رو گرفتیم و برگشتیم خونه و دیگه تا آخر شب هیچ خبری نبود. یک کم فقط کار کردم. کارم هم توی تیمم تو شرکت اینه که ببینیم کجاها رو باید درست کنیم که هم عملکرد سیستم بهتر بشه. اگر لازمه معماری رو دست بزنیم و باز طراحی کنیم. اگر تف‌مالی باید، تف خوبی اماده کنیم. خلاصه کارمون پیدا کردن باتلنک و ریسپانس تایم بالا و هزینه‌ی زیاده و چاره‌ای براشون پیدا کردن. امروز هم داشتم یه بخشی از کارای مربوط به اماده‌سازی برای هفته‌ی بلک‌فرایدی رو می‌کردم که خیلی خوب پیش نرفت. دل و دماغشو نداشتم. باشه واسه فردا. واسه شام املت هم درست کردم که خوب نشد.

تنها کار معنا داری که کردم این متنه که همین هم بی‌معنا بود. شب بخیر.

#روزمره

برای اینکه بهتر راجع‌به این که LLM Voice Agentها چطوری کار می‌کنند بفهمید و چالش‌هاش رو بهتر درک کنید این پست رو از دست ندین. پستی با کلی انیمشن و دیاگرام و مثال‌های خوب که مطلب رو سهل الوصول می‌کنه.

Many LLMs have voice interfaces, but they usually work by transcribing your speech, generating the answer in text, and using text-to-speech to read the response out loud. That’s perfectly fine in many cases,, but it’s a wrapper, not real speech understanding. The model can’t hear the frustration in your voice and respond with empathy, it can’t emphasize important words in its answer, it cannot sense sarcasm, and so on. Why can’t we just replace text with audio and get pretty damn good speech continuation models?

Neural audio codecs: how to get audio into LLMs

من صادقانه از خوندن و شنیدن تجربه‌های حسین لذت می‌برم. خیلی چیز‌ها ازش تو این سال‌ها یاد گرفتم. چه تو اون مدتی که باهم همکار بودیم چه بعدش که باهم هرچند وقت یک بار گپ می‌زدیم. از آخرین باری هم که صحبت کردیم چند ماه می‌گذره و امیداورم که فرصتش پیش بیاد بشینیم باهم گپ بزنیم :)
از این‌ها که بگذریم، من هنوز با دقت پست رو نخوندم و صرفا رو‌خوانی کردم که کلیات دستم بیاد. تو قسمتی از پست اینطور نوشته بود:

در زبان Go می‌توان برنامه را به‌گونه‌ای کامپایل کرد که بتوان از داخل کدهای C یا C++‎، توابع Go را فراخوانی کرد. برای این کار، کد Go را با گزینه‌ی ‎-buildmode=c-shared کامپایل می‌کنیم تا یک کتابخانه‌ی اشتراکی (مثل ‎.so یا ‎.dll) تولید شود و سپس آن را در کد C/C++‎ فراخوانی می‌کنیم. داخل envoy از این قابلیت استفاده کردند تا بتوانیم یک filter به زبان Go پیاده‌سازی کنیم.

این بخش سریع چشمم رو گرفت چون چند ماه پیش راجع‌به این ماجرا یک پست توی کانال گذاشته بودم و مطلب واسم جدید بود. این که چطوری میشه که برنامه‌هایی نوشت که تو اون‌ها از چند زبان مختلف استفاده کرد. من توصیه میکنم که هم مقاله رو بخونید و هم ویدیویی که توی این پست گذاشتم نگاه کنید.

بعضی‌ها مشکل کد نوشتن با AI را این‌طور می‌بینند که دیگه هیچ‌چیز دقیق، عمیق و درست نیست. من واقعاً مشکل رو اینجا نمی‌بینم؛ در واقع، این رو مشکل جدیدی نمی‌بینم.

دوستان مهندس ما تا به حال هم در تولید کدِ بی‌نقص خیلی موفق عمل نکردند. در واقع، اگر در تولید قطعه‌کدهایی موفق بودند، اون کدها هم عموماً امکان غلط نوشتنشون ممکن نیست یا خیلی کمه؛ یا ده‌ها سال در پلتفرم‌های مختلف اجرا و تست شده‌اند یا اساساً صحت الگوریتمِی که پیاده کردن اثبات شده‌ست. اما از اون طرف، (همین دوستان) در معماری همیشه پر از خطا بودند و معماری‌هاشون در یک فرایند تدریجی بهبود پیدا کرده. خطایی که نه لزوماً برخاسته از یک مهندسی غلط، که برخاسته از نیاز بیزینسه. تغییراتی که هیچ‌وقت پیش‌بینی نشدند، از ناکجا وسط معماری شما سر در میارند و شما را مجبور به تغییرات پرریسک و پرهزینه می‌کنند. شاهد این مدعا هم باگ فیکس های ابدی تمام پروژه‌های بزرگ و کوچیکه.

از نظر من، مشکلی که الان شیوع پیدا کرده، تولید کدهاییه که مسئولش از مکانیسمش سر در نمیاره. کدی که «عظیمه، مثل فیل. پر سر و صداست. هیاهوه. دیوانه است. پر هرج‌ومرجه اما مدفوعه». یک فایل ۵۰۰ خطی که یک فیچرو پیاده کرده —که اتفاقاً درست هم کار می‌کنه— ولی کمتر کسی توان و حوصلهٔ این رو داره بشینه و کار شخص دیگه‌ای رو بخونه تا عمیقاً بفهمه؛ به‌خصوص که نرخ تولید PRهایی با تعداد تغییرات بالا به لطف AIها، در حال بیشتر و بیشتر شدنه. مشکلی که قبلا هم در سطح خرد با ظهور امثال استک‌اوورفلو بیشتر جون گرفت و الان رشد کرده و دست و پا در آورده.

آقای کامران وفا به همراه سه نفر دیگه به عنوان
University Professor
در دانشگاه هاروارد انتخاب شدند.
این عنوان بالاترین عنوان برای اعضای هیات علمی در هاروارد هست، که نشون دهنده شایستگی بالای این افراد، اعتبار علمی شون و تاثیرگذاری شون هست.
سه نفر دیگه در زمینه زیست شناسی، حقوق و اقتصاد کار می کنند.
https://www.harvardmagazine.com/university-news/harvard-university-professors-appointed-distinguished-faculty

کتاب معروف ایشون با عنوان
Puzzles to Unravel the Universe
که در مورد مسائل معروف در ریاضی و فیزیک هست و پیش زمینه خاصی هم نمی خواد درک مسائلش.
عجیبه که این کتاب تا الان ترجمه نشده.
همه چیزهایی که کسی دوست داره به طور عمومی در مورد فیزیک بدونه و دانشش رو نداشته یا وقتش رو یا...اینجا اومده. حتی در مورد دیدگاه مذهبی یه سری فیزیک دان معروف مثل انیشتین و هاوکینگ و... صحبت کرده.
کتاب رو تقدیم کرده به همسر، فرزندان و پدر و مادرش.

یکی از دوستان گفتند ظاهرا ترجمه شده.

___________________________

مثل غذایی که هوسش رو کنی ولی اون موقع نخوریش، مثل کبابی که سرد شده، اگر یک مشکل رو سر وقتش حل نکنی دیگه حل شدنش نمیچسبه.

امروز بعد از روز‌ها آزمون و خطا، انگولک کردن پارامترهای هر دو طرف، سورس و داکیومنت رو بررسی کردن و کلی نظریه‌پردازی، مشکل integration بین celery و SQS رو حل کردیم. هدف چی بود؟ خیلی ساده اما اساسی: تسک‌هایی که failed میشند بعد از retry کردن به تعداد لازم و failed شدن، می‌رفتند توی DLQ. کار بدیهی که اما انجام نمی‌شد.

اول فرض رو بر این گذاشتیم که شاید به این خاطر که سلری اساسا برای بروکر‌های مبتنی بر AMPQ طراحی شده، برای همین با SQS درست مچ نیست. ولی هرچی سرچ می‌کردیم کسی این مشکل رو نداشت. از طرفی چندان منطقی به‌نظر نمی‌رسید. SQS یه ابزار شناس و پر استفاده‌ست و همینطور سلری. نمیشد که اینطور باشه. همه‌ی این‌ها برای من یک معنا بیشتر نداشت: ما خراب‌کاری داریم می‌کنیم.

سعی کردم دوبار یه پروژه‌ی کوچیک بیارم بالا برای تست SQS و سلری. اول خیال کردیم که این ستاپ داره درست کار می‌کنه، پس مشکل از سرویس ما بود. وقتی با هزار جنگولک‌بازی تونستم کاری کنم که پیام بعد از به اکسپشن خوردن بره توی DLQ، میدیدم پیام‌هایی که فیلد نشدند هم به DLQ روانه میشند. انگار سلری همیشه داشت ACK میداد به SQS. پس چرا کانفیگ‌های یک‌سان دارند نتیجه‌ی متفاوت میدند؟!

بعد از دو روز به مفروضمون شک کردم. شکی که دلم نمیخواست به واقعیت بپیونده که البته پیوست. این مشکل برای هر دو طرف وجود داشت. عملا دستمون خالی شد. مارو لخت آفتابه به گردن وسط شهر ول کردن.

شروع کردیم به دیباگ کردن سلری و خوندن سورسش. گشتیم و break point ها زیر و روی هم تلنبار شدند. تا این که لای این نقطه‌های قرمز چشممون به جمال نامبارک یک شرط روشن شد:

if task.acks_on_timeout_or_failure

و خسته نباشید! یهو یادمون اومد که د آخه قربون شکلت، تو رو که توی داکیومنت گفته بود!! و من حتی اون اول دیده بودمش. ولی اینقدر به راه و بی‌راهه زدیم که اصلا توجه من رو به خودش جلب نکرد. اون روز که داک رو رو بررسی می‌کردم فکر نمی‌کردم اینقدر به همه‌ی در‌های بسته بخوریم و این پارامتر اینقدر مربوطه به مشکل ما.

در نهایت یک آرگومان به تسک‌ها دادیم و تمام. همه‌چیز درست کار می‌کرد. بجز این، در این حین فهمیدیم که این هم مهمه که مقدار visibility timeout چی ست بشن. گاهی تا سلری یک پیام رو ACK کنه به خاطر لانگ رانینگ بودن تسک یا هرچیزی، اینقدر طولانی میشد که اگر visibility timeout رو کم می‌ذاشتیم، دوباره یکی از وورکر‌ها برش میداشت و بنا به تعداد ریترای‌هایی که روی SQS تعریف شده، خودش قبل از تکمیل پردازشش می‌رفت توی DLQ چون هیچ‌کدوم از وورکر‌ها acknowledgeش نکردن.

به هر حال درست شد ولی اینقدر لت و پار بودم که هیچ نچسبید. بعد از چند روز تلاش واسه گاز گرفتن دممون، دیگه مهم نبود راه حل ساده بود یا پیجیده. دیگه درست بودنش جالب نبود. با تمام این داستانا دو نقطه‌ی عطف توی این ماجرا وجود داره: اول همین سرو کله زدن، کلی دانش نصف و نیمه رو بهش سر و شکل داد و چیز جدید دستگیرمون شد و این کمتر شبیه یک وقت تلفی پر‌هزینه و طولانی‌ش می‌کرد و هم این که شب برای یه سری همکارا پاستا درست کردم که خوششون اومد. شاید چون گشنه بودیم ولی واقعا چسبید.

داشتم فکر می‌کردم که چرا به آشپزی میگن هنر؟ آشپزی در معنای عام و از نظر کاری که عموماً می‌کنیم بیشتر دقت و مهارت رعایت دستور‌العمل و مهندسیه. دیگه برنج و تن ماهی و زیتون رو شما بزک کنی، اسمش هر هنری هست، هنر آشپزی (!) نیست.

پی‌نوشت: اگر غلط تو جمله‌ها هست یا گنگه ببخشید. با چشم نیمه‌باز داشتم تایپ ‌می‌کردم.
#روزمره

موسیقی متن بازی شاهکار Ghost of Tsushima

Ghost of Tsushima - Way of the Ghost

عجب کار خوبی ساخت بندری. هم از نظر روایت و محتوا، هم از نظر تدوین. از سری ویدوهایی که با همکاری آرش رئیسی‌نژاد، نویسنده‌ی کتاب «شاه و شطرنج قدرت در خاورمیانه» ساخته. سبک روایت بندری تصویری واسم میسازه که میتونم به کمکش از روایت‌های یک خطی خارج بشم. سر نخ‌هایی میده که میتونم حرف‌ها و روایت‌های دیگه رو بهتر بفهمم و تحلیل کنم.

ماجرای این ویدیو هم از جنگ جهانی دوم و مقدمات اشغال ایران توسط انگلیس و شوروی شروع میشه. این که انگیزه‌ی پشتش چی بود و بازی ایران مدت چطور بود. می‌بینیم سیاست وسط‌بازی و «سندرم دیر پا شدن از پای میز» و تصمیم نگرفتن قدیمی‌تر از‌ امروز و دیروزه. و در نهایت به محمد‌رضا، وارث سلطنت ختم میشه. به تصویر یک شاه از سرخوردگی ملی. به بی‌اعتمادی عمیق به خارجی‌ها.

پایان رضا شاه؛ آناتومی یک سقوط

ای خنک چشمی که آن گریانِ اوست
وی همایون دل که آن بریان اوست

آخر هر گریه آخِر خنده‌ایست
مردِ آخر بین، مبارک بنده‌ایست

مولانا