#ps752 🌹💔

پرواز تهران-اکراین
8 Jan 2020

مورد اثابت ۲ موشک سازمان سپاه پاسداران با هدف گرفتن انتقام خون تنها ۱ نفر از نیروهای این سازمان از آمریکا قرار گرفت.

همه‌ی ۱۷۶ مسافر این پرواز از زن، مرد و کودک و از جمله ۴ تازه عروس و داماد در این حادثه جان باختند.
بعد از ۳ روز انکار و عدم پذیرش، نهایتاً این موضوع توسط جمهوری اسلامی تأیید شد.
هیچکس بابت این موضوع عذرخواهی نکرد و از آن بعنوان خطای انسانی یاد شد (پیشتر نیز ازین دست اتفاقات در جمهوری اسلامی افتاده بود- بعنوان نمونه شهید بابایی)

علاوه بر عدم عذرخواهی و محاکمه افراد مسئول، گروهی از نیروهای نظامی در محل سقوط لاشه هواپیما حاضر شدند و با ادعاهایی چون سالم ماندن پرچم‌های با نام ائمه اطهار خشم خانواده‌های داغ دیده و مردم ایران را دو چندان کردند.

تمام سربازان و افسران آمریکایی پایگاه نظامی مورد هدف قرار گرفته با سلامت کامل به آغوش خانواده‌هایشان بازگشتند.

برای خانواده‌های مسافرین پرواز #ps752

نه فراموش می‌کنیم و نه می‌بخشیم.

پیش از این علاقه خاصی به optimization توی پایتون داشتم و موضوع کاملا شخصی حساب میشه (میشه گفت برای ۹۰٪ شرکت‌ها اهمیتی نداشت)
به جرات هم می‌تونم بگم برای ۹۸٪ برنامه نویس‌های پایتون هم بعضی ازین مباحث غریب هست و درک خاصی ازش ندارند

توی قیافه تعداد زیادی آدم تعجب و گیجی رو میبینم وقتی ی فایل خیلی بزرگ csv یا tsv , ... رو با نامپای میخونم و پردازش میکنم درحالی که طرف مقابل هنوز نتونسته فایل رو load کنه قبلا ی اشاره ریزی بهش زده بودم این پست.

ی جمع خودمونی برای ۱۲ شب به بعد ۱ روز در هفته راه انداختیم که این هفته بحثش core python , optimization بود (جلسات حضوری هست) - توی ۱ ماه گذشته هم کلی صحبت شنیدم از دولوپر‌هایی که شرکت ازشون دیگه فقط سریع develop کردن نمی‌خواد بلکه کد optimize شده - سرعت اجرا بالا روی سخت‌افزار محدود می‌خواد (راجب اینم بعضی وقتا ی اشاره‌هایی زدم نمونه‌اش این پست.)

مجموع همه این صحبت‌ها این شد که ازین به بعد (علاوه بر کتاب‌های roadmap که ۱۰۰٪ باید خونده بشه) بعضی ویدئو‌هایی که خودم توی یوتیوب می‌بینم از کنفرانس‌های پایتون رو هم بذارم.

شروعش با مطلبی از profiler باشه چون به هرکی میگم روی profiler بهم گذارش performance کدهات رو بده ی جور غریب و گنگی بهم نگاه میکنه :

Python Performance Matters

نکته : از پروفایلر‌های معروف حداقل ۳ مورد رو بنظرم باید بلد باشید.
سطح : Mid-level Developer

ازونجایی که به نکات performance ایی علاقه زیادی وجود داره بد نیست این رو هم بگم :

توی یکی از پروژه‌ها (اخیراً تموم شد) فرض کنید ۱۵ میلیون متن unique داریم، یک سری اطلاعات ویژه و خاص از تمام مشتری‌های بین‌المللی شرکت.

در ماه ۱۰۰ هزار - ۱ میلیون متن به API محصول زده میشه (توی زمان پیک به ۵ میلیون هم میرسه) که باید چک بشه، آیا توی متنش از متن‌های رجیستر شده (لیست ۱۵ میلیون متن unique) استفاده شده یا خیر و اگر استفاده شده بود به اون مشتری که متن unique‌ اش رو پیش ما گذاشته اطلاعات خاصی داده میشه.

من برای بخش هوش مصنوعی و نرمالایز کردن و ... وارد این پروژه شدم و بعد از صحبت‌های کلی توی مبحث optimization هم وارد شدم.

کوتاه بگم: یک بخش کد که در نهایت چک می‌کرد چقدر ازین‌ متن‌ها اومده به این صورت کد زده شده بود :

for req in requested_text:
if req in unique_text:
DOTHIS


بعدم از multiprocess و replicated database , ... استفاده می‌شد که جواب بده (تست نکردم ولی فکر نمی‌کنم زیر ۳۰ دیقه جواب میداد خوش‌بینانه‌ترین حالت)

اما کد جایگزینش توی کمتر از ۵ ثانیه بدون multiprocess, replication جواب میده :

unique_text.intersection(requested_text)

خلاصه که استفاده از Data structure درست توی optimization خیلی خیلی مهمه (توی این مورد set)

مشکل اساسی v2ray , ...
و مشکلات خاصی که کم کم شروع خواهد شد.

استفاده از پروکسی‌ها و v2ray و حتی پروتکل‌های vpn خاص توی مدت حدوداً ۴ ماهه اعتراضات باعث شده حالا خیلی از سرویس دهنده‌ها اخطار تغییر کشور بدهند و اکثراً به ایران تغییر کنند

مشکل تغییر به ایران :
iOS, iPad , ...
دسترسی‌ها و سرویس‌ها بسته میشه
Android
هم همین وضعیت هست، بکاپ گیری cloud بسته میشه
سرویس‌های خاص گوگل قطعاً بسته میشه (هنوز colab توی این سرویس‌ها نیست)

دانلود اپلیکیشن‌هایی که region ارائه دادند بسته می‌شه چه ios چه android

خلاصه که تازه شروع اتفاقات بد هست.

پیشنهاد : هروقت که پا داد از
ProtonVPN, Windscribe

استفاده کنید، مخصوصاً وقتی سرویس دهنده توی ایمیل به شما ۱۵-۳۰ روز وقت میده قبل از تغییر دائمی region مربوط به اکانت شما

برای همه دوستان چه تازه کار چه حرفه‌ای (که نحوه عملکرد رو نمی‌دونند)

هرچیزی رو pip install نزنید
هر پکیجی رو استفاده نکنید

این جمله ادامه داره : "برای هر چیزی توی پایتون ی پکیج وجود داره" بله وجود داره ولی ادامه‌اش مهمتره (شما حق نصبش رو ندارید.
انقدر ادامه این جمله استفاده نشده که چندسالی هست ما توی شرکت از Docker و ... برای حتی محیط توسعه استفاده می‌کنیم (به لطف vscode که دیگه راحت‌تر هم شده)

دلیل خوبی هم داریم :
pip (pypi.org)
هیچ چک امنیتی روی کدها نداره و شما هرچیزی رو می‌تونید بعنوان پکیج ارسال کنید
برای همین نباید از هر کتابخونه‌ای استفاده کنید.
اگر کتابخونه معروف نیست (چندنفر توسعه دهنده نداره) حتما سورس کدهاش رو بخونید و ترجیحا خودتون به اندازه نیاز بازنویسی کنید؛ یا اینکه روی همون ورژن خاصی که بررسی کردید بمونید و در زمان نیاز به آپدیت پکیج سورس نسخه جدید رو مجددا بررسی کنید.

(این شرایط برای باقی زبان‌های این تیپی هم وجود داره)
خلاصه که ی پکیج میتونه شامل :
Keylogger, Trojan, ....
هم باشه؛ در صورت نفوذ دولوپر شخصی هست که باید پاسخگو باشه.

شایعه :

آمریکا تحریم خدمات اینترنتی و فناوری محور برای کاربران ایرانی را لغو کرد.

البته روی موضوعاتی مثل cloud , ... هم صحبت داره میشه ولی توی متن و فایل منتشر شده
General license D-1, D-2

راجب این موارد صحبتی نشده و بیشتر صحبت در مورد ایجاد دسترسی برای ایرانیان به اینترنت جهانی هست :
انواع router, vpn, mobile دسترسی به اینترنت ماهواره‌ای و تلفن‌های نسل جدید با ایجاد دسترسی به اینترنت ماهواره‌ای و ...

پ.ن : شایعه برای بخش دسترسی آزاد به نرم‌افزارها و cloud service , cloud provider , ... بود.
چون شخصاً توی داکیومنت‌های منتشر شده این مطالب رو ندیدم.

#خارج_از_بحث

همیشه که نباید AI باشه؛ راجب ساخت اولین نمونه wormhole قطعا خوندید و شنیدید (اگر دستاوردهای علمی رو دنبال می‌کنید.)

این ویدئو بنظرم خیلی جالب موضوع و چگونگی ایجادش توی محیط آزمایشگاهی رو توضیح داده و البته توضیح هم داده که این فقط ی مورد شبیه سازی هست؛ واقعی نیست و نمیشه اجسام رو از طریق اون جابجا کرد (خیلی‌ها جو زده شده بودند)

پ.ن : برای اینکار مدیون کامپیوتر‌های کوانتومی هستیم (با همچنان دنبال شماره مجازی واسه تایید اکانت کگل).

Wormhole Simulation

چندماه بیشتر تا ارائه GPT-4 نمونده
فقط خواستم یاد آوری کنم و یه اشاره‌ای هم به تعداد پارامتر‌ها داشته باشم :

GPT-3 has 175 billion parameters
GPT-4 has 200-275 billion parameters

نکته اینه که :
مدل اصلی که قطعا دسترسی شاید داده بشه توی این سایز هست ولی چند مدل دیگر هم وجود داره که تا 500 میلیارد ادعا شده.

100 trillion
هم که توی اخبار و ... ممکنه ببینید هیچ تایید رسمی ازش وجود نداره و فقط از شوخی یکی از مدیران تیم openAI شروع شده.

این تست انقدر خوب پیش رفته که
شخصاً توی اولین فرصت Rust رو بیشتر دنبال می‌کنم و سعی می‌کنم توش قویتر بشم

جوری که مسیر برنامه‌نویسی من بوده :
Perl - نیازمندی کاری
Assembly -- بهترین تصمیم زندگیم بود
Pascal - اجبار دانشگاه
C++ - تغییر فیلد کاری ٫ نیازمندی کوتاه مدت
Perl
Python تصمیم خوب
Python 3 تصمیم عالی

امیدوارم وقتی میرم روی Rust اینطوری نشه که پایتون رو کنار بذارم.
برای دوستانی که دنبال می‌کنند پیشنهاد میدم علاوه بر پایتون یک مقدار آشنایی با Rust هم داشته باشند

مخصوصاً اینکه با Rust میشه پکیج پایتونی هم زد و تست‌های تیم خودم نشون داده نتایج فوق‌العاده خوبه.

همیشه گفتم بازم میگم؛ نرید با
numpy
همه چیز رو از اول کد بزنید وقتتون رو تلف نکنید.

اما با آدمهایی آشنا شدم توی این مدت که بنظرم لازم هست ی اصلاحیه بزنم؛ تحت این شرایط از اول پیاده سازی کنید :

۱- ریاضیات رو بدون کد متوجه نمی‌شید.
با شخصی آشنا شدم که سن پایینی داره و یادگیری فرمول‌ها بدون کد و نمودار براش سخت هست.

۲- برای پذیرش گرفتن لازمه که خودی نشون بدید.

۳- کاملا academic هستید؛ هدفتون در آینده هم همین هست و جز وارد شدن به بخش Research شرکت‌ها هدف دیگه‌ای برای ورود به بیزینس ندارید.

بنظرم حالا بهتر شد.

پ.ن :
تصویر مربوط به تلاش من تو آپدیت آموزش‌ها با در نظر گرفتن افراد ۳ دسته بندی بالا.
(مباحث اهمیت learning rate, random Init, early stopping)

#تجربه
ی trick بگم، شاید به کار شما هم بیاد.
معمولاً واسه این مشاوره‌ها پول خوبی میگیرم

توی همه پروژه‌های متنی دیگه شاهد استفاده از
Embedding
ها هستیم و خیلی وقتا توی بیزینس خاص خودمون ممکنه از یک
Embedding
برای چندین مدل و تسک استفاده بشه.

اما ۳ تا مشکل اصلی داریم (همه بچه‌هایی که deploy زدند می‌دونند) :

1- Embedding Size
هرچی بزرگتر باشه Ram بیشتری لازم داره به
2- Warmup time
امبدینگ هرچی بزرگتر، لود شدنش توی ram کندتر و بدتر از همه زمان پاسخ طولانی تر
3- Embedding sharing
اگر یک embedding خاص برای بیزینس استفاده میشه چرا باید روی هر docker - instance یا server بصورت جدا قرار بگیره ؟

فرض کنید ی embedding داریم که 10GB ram لازم داره و 10 تا مدل مختلف که docker میشه روی سرور ‌های پردازشی متفاوت
مجموعا شما فقط 100GB رم لازم دارید و پول دارید می‌دید برای Ram تا یک دیتای تکراری رو نگهداری کنید، روی سرویس cloud وقتی رو سرور پردازی Ram بالا میره باقی سخت‌افزار هم باید گزینه بهتری انتخاب بشه و همین یعنی هزینه سرسام‌آور

شرکتی این ۳ روز داشتم بهش کمک میکردم مشکلی با پرداخت پول برای سرور نداشت (حداقل اینطوری فکر می‌کرد که این یک هزینه اجتناب ناپذیر هست) بیش از 120 تا سرویس خاص داره طبق چیزی که متوجه شدم و ...

اما اصلی ترین مشکلشون با warmup time بود، اکثر سرویس‌ها سبک هستند و api دارند که دائمی استفاده میشه برای همین سرور‌ پردازشی دائم روشن هست اما چندتا سرویس جدید دارند که هزینه روشن نگه داشتن سرور خیلی زیاده مخصوصاً اینکه نهایتاً روزی ۱ بار برای چند مشتری خاص روشن میشه و اونا درخواست‌ها رو بصورت batch میفرستند و خروجی میگیرند. باقی روز سرور می‌تونه خاموش باشه.

warmup time
بخاطر embedding های چندزبانه یا ... چیزی که بمن گفته شد warmup time روی 40 دقیقه بوده میانگین و دنبال optimization تا حدود 15 دقیقه بودند.

بنظرتون راهکار چیه !؟
System Design
و سواد طراحی سیستم واقعاً اینجا بکار میاد.


بجای load کردن embedding روی هر سرور بصورت جدا یک سرور سبک گرفتیم با رم کافی، همه‌ی سرور‌ها رو در خواست دادیم توی یک location و حتی‌الامکان توی یک rack سرور باشند
روی سرور جدید فقط Redis نصب کردم و word - embedding شدند key-value های سرور مشکلات حل شد منم دستمزد + ی درصد اضافی برای راه ‌حل ارزون و سریع گرفتم
حالا warmup time یا load time به حدود 5 دقیقه رسیده برای مدل‌های کوچکتر و سرویس‌های قدیمی هم همین کار رو کردند و اونا رو هم دارند به سرویس‌هایی با قابلیت shutdown شدن در صورت عدم استفاده تبدیل می‌کنند که فکر می‌کنم برای اون‌‌ها زیر 1 دقیقه باشه

این زمان قابل قبول هست چون Batch process داده ارسال میشه و نیازی به realtime بودن نیست همین که کاربر حوصله‌اش سر نره - یا روز کاری تموم نشه کفایت می‌کنه.

نظر شخصی من راجب الگوریتم
Forward-Forward
البته با دید بیزینس و کاری (نه آکادمیک) در ریپلای به پیامی توی گروه گفتم شاید بد نباشه شما هم بخونید.
----------------------------------------
این الگوریتم فعلاً فقط و فقط می‌تونه نظر آکادمی رو جلب کنه

و فعلا دقیقاً مثل معرفی CapsNet هست (با وجود optimization هایی که توی این چند سال‌ روش زدند هنوزم اونقدر سنگین هست که هیچ شرکتی سراغش نمیره)

نمی‌دونم مقاله یا کدها رو دیدید یا نه ولی ۲ تا مشکل اساسی داره که بنظرم برای همین قطعاً شرکت‌ها با وضعیت (نسخه فعلی) سراغش نمیرن

1- Slow
این الگوریتم همچنان کندتر از Backprop هست در حالی که سرعت بسیار اهمیت داره برای بیزینس

2- Generalization
بعضی کارها به نوعی هست که شرکت‌ها حاضرند سرعت رو فدای دقت کنند
ولی متاسفانه این الگوریتم توی هر ۲ مورد توی نسخه فعلی ضعیف هست

فرمول اینه توی بیزنیس :
۱- دقت فدای سرعت میشه (mobile, edge device , ...)
۲ - سرعت فدای دقت میشه ( gpt , ...)

اما توی forward-forward نسخه فعلی هیچکدوم رو نداریم.
آیا در آینده ممکنه جایگزین بشه !؟ هیچ چیز قابل پیش‌بینی نیست و هیچ چیز غیر ممکن هم نیست.

ولی فعلاً فقط در حد آکادمیک و فقط هم برای نهایتاً mnist خوبه الان.

البته شخصاً کامل دنبال می‌کنم ولی وقت برای پیاده‌سازی و ... نمیذارم تا روزی که واقعاً به اون سطح برسه

پ.ن :
زمان معرفی CapsNet رو یادمه چقدر دانشجو و ... رو مجبور کردند کدهاش رو با numpy, ... پیاده سازی کنند و نظر این بود که این مدل جایگزین Convolution می‌شه توی کار پس باید دقیق یاد بگیرید.
تازه CapsNet سرعت رو فدای دقت میکرد (واقعاً دقت بالاتری می‌داد).

ChatGpt
همونطور که گفتم به ما ربطی نداره و دستاوردی هم نیست که بخوایم دنبالش کنید
نه تکنیک خاصی داره و نه مدل قویتر یا سریعتری هست قبلاً مقایسه کردیم با GPT 3
اما بازاریابی خوبی داشت و از جوگیری و احتمالاً سخت‌افزارهای قدیمی بهره گیری خوبی کرد و به 26$ میلیون دلار ارزش رسید.

بنظرم چیزی نیست که بخواید درگیر و جوگیرش بشید (شما متخصص هستید یا قراره بشید باید یاد بگیرید از حاشیه دور بشید)

جایگزین :
AlphaTensor
یک دستاورد کاملاً واقعی و ارزشمند از شرکت deepmind که بعنوان اولین extension از AlphaZero معرفی شده

توانایی : تولید الگوریتم
نمونه : الگوریتم سریعتر برای ضرب ماتریس‌ها که جایگزین روش استراسن ( سال 1969 حدوداً ۵۰ سال قبل) می‌شه

راجب این الگوریتم لطفاً صحبت کنیم :

https://www.deepmind.com/blog/discovering-novel-algorithms-with-alphatensor

کلاس‌های آموزش الگوریتم MiT رو می‌تونید توی لینک زیر دنبال کنید :
Introduction to Algorithms (MiT)

مخصوص دانشجوها و البته اونایی که میخوان پیشرفت کنند باقی دوره‌ها رو هم می‌تونید سر بزنید.

پ.ن :این دوره algorithm هست. data structure بخصوص در پایتون رو فراموش نکنید.

لینک بالا از سایت خود MiT بود که دوره‌های دیگه رو هم بتونید ببینید

این لینک هم نسخه آپدیت شده course هست آپدیت 2020 :

MiT Introduction to Algorithm (2020)

مرسی از mohammad بابت به اشتراک گذاری نسخه 2020

باورت بشود یا نشود
باورمان می‌شود

حکومت عدل علی آره ؟ 🤬

Senior developer
با بیش از ۵ سال سابقه کاری و تخصص و درس خوندن و ...

با کلی جنگ و جدال حقوقش ۲۰‌ میلیون تومان می‌شه
بعد طرف تازه بعد از لو رفتن استعفا داده ؟

اینا مجازات نداره که (استعفا میدند جای دیگه استخدام می‌شوند)
ولی اگه تو خیابون داد بزنید چون زیر بار خرجی دادن خانواده و تأمین زندگی همسر و فرزند دارید نابود می‌شید حکم فساد می‌گیرید با احتمال اعدام.


پ.ن : برای اونهایی که جدید اومدند و نمی‌دونند این کانال حکم بلاگ شخصی من رو داره و در برابر خیلی چیزها هم سکوت نکردن رو انتخاب کردم (چون خیلی از عزیزانم و دوستانم و حتی شما توی این کشور دارید زندگی می‌کنید و درگیر این مسائل می‌شوید.)

۴۴ ساله مملکت اینطوری شده
ما دزدی و چپاول می‌کنیم به امید نفهمیدن شما
اگر فهمیدید یکم پاچه هم دیگرو میگیریم
بعد که خلوت شد

روز از نو روزی از نو

لحظه به لحظه قطعی دسترسی به سایت‌های خارجی داره بیشتر میشه

Docker - stack overflow - geeksforgeeks - python , ...

بعضی موارد از غروب توی برخی شهرها بود که فکر میکردیم مشکلات زیرساختی باشه
ولی حالا شهرهای دیگه هم همین مشکل رو دارند

شخصاً هم
Stackoverflow - Ubuntu Repos - Raspberry pi repos
رو ندارم.

.

The Hacker News

علاوه بر این یک باگی هم توی git پیدا شده که حتما همه‌ی دوستان نسخه git رو آپدیت بزنند

چند وقت پیش با یکی از همکاران برای پروژه‌ی شرکت
Peer review development
داشتیم و بررسی کدهای هفتگی که صحبت از لو رفتن بخشی از دیتاهای یک شرکتی مثل LastPass شد. (اسم شرکت یادم نیست و فکر می‌کنم LastPass هم آفلاین هست دقیق اطلاع ندارم)

ی سرویس که ۲ تا قابلیت جالب میده :
۱- رندم براتون پسورد تولید می‌کنه، که برای یک ادمین یا حتی افراد عادی عالی هست پسورد هیچ ۲ اکانتی یکسان نیست و پسورد‌ها همه طولانی هست

۲- دیگه نیازی به حفظ کردن پسورد ندارید یا فایل کلید دارید یا اثرانگشت یا فقط ۱ پسورد رو حفظ می‌کنید (آخری خیلی ضعیفه بنظرم)

من هیچوقت از همچین سرویسی استفاده نکردم و همیشه هم پسورد‌های طولانی استفاده می‌کنم مثلاً :

+CnIg9rrhQwp69B/8-S_(Uz~

حقیقتا فکرم نمی‌کردم برنامه‌نویسی باشه که پول
LastPass
بده وقتی نشون دادم که ابزار تحت Bash استفاده می‌کنم ازم خواست که باهاش به اشتراک بذارم چون سر لو رفتن داده‌ها مجبور شده بود کلی change password بزنه.

بعد از اینکه متوجه شد ابزار رو خودم نوشتم پیشنهاد داد اینها رو روی گیت‌هاب بذارم تا باقی هم استفاده کنند
نمی‌دونم چقدر می‌تونه مفید باشه ولی خب تصمیم گرفتم اینکارو کنم

10-15 utility
شخصی دارم که هرموقع فرصت کنم کدهاش رو تمیز می‌کنم و دونه دونه می‌ذارم اولیش همین ابزار هست.

GitHub link

در ادامه پست قبل:
یکی دیگه از ابزارهایی که نوشتم و بین دوستانم خیلی طرفدار داره دیکشنری انگلیسی - انگلیسی هست (عکس ریز هست برای اینکه توی تصویر جا بشه)
اطلاعاتی که میده :
Family of word, meanings, examples, Grammar, daily use (register), collocations, collocation examples

البته این اطلاعات رو ذخیره هم میکنه.
فکر میکنم باید این کد رو هم تمیز کنم و بعنوان ابزار بعدی به repo بالا اضافه کنم

کدها بیش از ۵ سال قدمت داره برای همین زمانبر هست.