سری ویدیو های شبکه های عصبی از 3Blue1Brown

https://m.youtube.com/playlist?list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi

اشتباهت را در آغوش بگیر:

یک زمانی فکر میکردم که نباید بزارم بقیه ثابت کنن که من اشتباه میگم.

یک زمان فکر میکردم که باید همیشه مورد تایید بقیه قرار بگیرم.

یک زمان از اشتباه بودن حرف های خودم میترسیدم.

اما چند وقتی هست که بینشم عوض شده. بلکه هر وقتی که مخالفت میبینم یعنی اتفاقی بسیار خوبی برام افتاده.

از الان هر موقع که صدای کسایی که دارن به من شک میکنن رو میشنوم. به تاسف نمیفتم. بلکه جور دیگه ای بهش نگاه میکنم.

با خودم میگم. اگر من توانایی اینو ندارم که برای خودم ثابت کنم که دارم مسیر درستی رو میرم. چطور میتونم از خودم مطمئن باشم.

اگر نتونم ریسک های محاسبه شده انجام بدم و از روی انکار جلو برم، چطور میتونم موفق باشم؟

اینکه بخواد حرف یه نفر منو تو شک بندازه مقصر طرف نیست.
مقصر من هستم که اینقدر بدون بررسی انتخاب کردم.
مقصر منم که مسیرم رو ساده انگارانه و بدون مسئولیت انتخاب کردم.

آدم های شرور تلاش میکنن آدم رو از مسیر درست منحرف کنن.

اما کسی که تصمیم میگیره که تسلیم بشه کسی هست که به خودش هم نمیتونه ثابت کنه که داره کار درستی میکنه.

همون کسی هست که از روی واهمه داره مسیرش رو جلو میره.

از حرف های منفی بقیه و حتی درون خودت فرار نکن.
بلکه بهشون گوش کن. بررسیشون کن.

بعضی وقتا هم میبینی که همین حرف ها درست هستن. و تو داری اشتباه میکنی.

بعضی وقتا تورو به فکر وا میدارن. و وقتی که فکر میکنی، درست تصمیم میگیری. درست انتخاب میکنی. و درست عمل میکنی.

به حرف های منفی بقیه به چشم فرصت برای پاسخ دادن به شک ها و ترس هات نگاه کن.

و بدون که این ها نشونه ضعف تو نیستن.

نشونه پرسش هایی هستن که باید پاسخ مناسب داده بشن. و فرار کردن ازشون اشتباهه.

باهاشون رو به رو شو.

#LifeLessons
#Part1

اگر در شاخه های دیگه از مهندسی هستید و محاسبات مهندسی با Matlab یا هر چیز دیگه انجام میدید.

این دوستمون Mr P Solver ویدیو فقط راجب Scientific Programming میزاره و مسائل مختلف رو با استفاده از ابزار های مختص این موضوع حل میکنه. همش هم پایتون

لایبرری هایی مثل
Numpy, Scipy, Sympy, Matplotlib
کاور میشن

https://www.youtube.com/@MrPSolver

لیست آموزش پایتون مختص به Scientific Programming:
https://www.youtube.com/watch?v=FggJNXN68fs&list=PLkdGijFCNuVnGxo-1fSNcdHh5gZc17oRM

توصیه میکنم از هر رشته ای هستید پلی لیست رو بررسی کنید و ببینید که چیزی میبینید که بدردتون بخوره.

جدا از اون. حل کردن مسائل ریاضی با استفاده از این کتابخونه ها خیلی باحاله.

انتگرال؟ مشتق؟ هر محاسباتی که بخواید با Numpy میتونید انجام بدید.

آموزش Numpy که ارائه داده.

نکته: حسابی پر از فرمول ریاضی و حل مسئله هست. نگید نگفتم 😁😁

https://www.youtube.com/watch?v=DcfYgePyedM

حقیقتش فکر نمیکردم استفاده از اینا اینقدر سخت باشه.

واقعا جا خوردم.

مخصوصا وقتی که میخوای layout ات رو ترکیبی با HTML و markdown بسازی. باید تجربه زیادی با تکنولوژی وب داشته باشی. (که من تجربه کمی دارم)

ولی خب مثال هایی که باهاشون ساخته شدن خیلی خوب و قوی هستن.

جدا از اون خود لایبرری ها هم تا حدی اذیت میکنن. مثلا تو بخش CSS اجازه نمیداد هر اسلایدی یه display خاص خودش رو داشته باشه.

باز خوب بود اجازه شخصی سازی display رو میداد. ولی خب من واقعا وقت نکردم اینقدر سروکله بزنم باهاش.

متأسفانه و در کمال ناباوری به دلیل تحریم‌های روسیه از سمت ایالات متحده آمریکا، لینوس تروالدز در اقدامی عجیب تمامی مشارکت کننده‌های روسی کرنل رو از لیست مشارکت‌کننده ها حذف کرد:

🔗 https://www.phoronix.com/news/Linus-Torvalds-Russian-Devs


اوپن سورسی که اوپن نیست!

@SohrabContents

کتاب Machine Learning with PyTorch and Scikit-Learn

یکی از نویسندگانش Sebastian Raschka هست که آدم مطرحی تو این حوزه محسوب میشه. و در حال حاضر تو شرکت lightning.ai کار میکنه.

لیست کتاب هایی که نوشته تو سایت شخصیش هست:

https://sebastianraschka.com/books/

همینطور سازنده لایبرری mlxtend هست که یک سری کار های پیچیده و تکراری رو ساده میکنه.

https://rasbt.github.io/mlxtend/

اگر torchmetrics رو بشناسید میدونید که توسط lightning.ai داره توسعه داده میشه. (اگر هم نه، بدونید که یه کولکشن از متریک ها برای ارزیابی مدل های هوش مصنوعی هست که از واجبات در دنیای هوش مصنوعی محسوب میشه)

https://lightning.ai/docs/torchmetrics/stable/

مسئله بوقلمون: چرا ساخت هوش مصنوعی برای پیش بینی قیمت بیت کوین مهمله

وقتی که یه سیستم پیش بینی درست میکنید. باید حتما مسئله بوقلمون تو ذهنتون باشه.

هر سال تو روز Thanksgiving. رسمه که خیلیا بوقلمون میپزند.
این بوقلمون بنده خدا تا اون روز هیچ وقت به ذهنش نمیرسه که قراره دقیقا تو همچنین روزی چنین بلایی سرش بیاد.

چون هر روز غذا میخوره، میخوابه و جای امنی زندگی میکنه. مگه دلیلی داره که نگران چیزی باشه؟

تو این مسئله هم تا روز 1000 بوقلمون قشنگ غذاشو میخوره و زندگی آرومش رو داره.
تا میرسه به روز 1001، روز سهمگین برای این بوقلمون.
به نظیر این اتفاقات میگن Black Swan Event.

سقوط قیمت Bitcoin خیلی احتمال کمی داره.
اما از اهمیت این حادثه کم نمیکنه.

بیت کوین سیستم بسته نیست. یک سیستم بازی هست با کلی پارامتر ها.
از جمله اخبار و تصمیمات بازیگر های بزرگ این بازار.

توضیحات مرتبط با موضوع هوش مصنوعی رو میتونید تو این بخش از کتاب Tensorflow for Deep Learning که توسط Daniel Bourke نوشته شده رو ببینید.

پیش بینی قیمت تو بازار و سیستم های باز با هوش مصنوعی درست مثل طالع بینی با استفاده از کف دست هست.

بنابراین گول این چیز رو نخورید.

#Meme

همینطور یه کتابی هم تو این مقاله معرفی شده به اسم The Black Swan: The Impact of the Highly Improbable که سال 2007 نوشته شده و نویسندش Nassim Nicholas Taleb هست که آدم سرشناسی راجب این موضوع هست.

اگر خواستید بیشتر بررسی کنید این موضوع رو میتونید این کتاب رو هم بخونید.

البته موضوع ای رو میخوام اضافه کنم که خیلی مهمه توجه کنید.

بنده با افرادی که day trading انجام میدن و کلا شغلشون هست صحبت کردم راجب این موضوع.

با وجود همچنین حرفی که تو پست قبل زدم باز هم میشه از هوش مصنوعی برای day trading استفاده کرد.
ولی خب اون موقع باید وارد بحث احتمالات و ذهنیت معاملاتی بشید.

کلا مسئله اینکه بازار رو پیش بینی کنید وجود نداره.
بلکه سیستم های کنش و واکنشی هستند و طبق استراتژی ها و بررسی فضای احتمالاتی بازار ساخته میشن.

بنابراین فکر نکنید کار ساده ای هست.

یه ریفرنس خیلی خوب دیگه برای Machine Learning MLOps.

https://madewithml.com/

ماجراجویی باگ وایفای: قسمت اول

روی توزیع Debian بودم. دقیق یادم نبود از کی شروع شد.
اما از قبل تو ویندوز چنین مشکلی بود.
از وضعیت خراب ویندوزم میتونه باشه.
ولی حداقل قطع نمیشد. وصل میموند.

روی لینوکس مشکل قطع و وصل شدن وایفای بود.
تا یه زمانی مدارا میکردیم. ولی بدتر و بدتر میشد.

حدس من از درایور بود.
اول از journalctl -b بررسی کردم.
ارور رو پیدا کردم.
از microcode بود.

جدا از اون curl و wget هم به مشکلات عجیب غریب میخوردن.
همین امروز درستشون کردم.
مشکلی بودن خارج از داستان و تنظیمات لینوکسم (سر همین نیاز به توضیح نیست).

آپشن های درایور داخل پوشه
/etc/modprobe.d/
اضافه کردم.
دوباره initramfs رو جنریت کردم.

درست نشد.

کرنل backports نصب کردم. خطای جنریت کردن ماژول میداد. اونا رو هم آپدیت کردم.

با اون بوت کردم.

درست نشد.

ورژن backports درایور رو نصب کردم.

درست نشد.

گفتم که توزیع عوض کنم.
تصمیم خوبی بود از اونجایی که دیگه به اندازه کافی روی دبیان مونده بودم.
اومدم رو Parch Linux.

توزیع لینوکسی خوبیه. بدون مشکل نصب شد و خیلی دیفالت هاش برای من قابل درک و جذاب بود.
(بعدا راجبش باهاتون صحبت میکنم)

ولی بعد از مدتی احساس امید و خوشحالی.
باز قطع و وصلی برگشت.

درست نشد.

رفتم archwiki تا ببینم که راه حلی میزارن. راه حل هارو تست کردم جز یکی.

درست نشد.

فقط یه راه حل مونده.
اونم اینه که microcode مختص wifi رو downgrade کنم.
نه به راحتی پکیج نصب کردن نیست.
باید دستی نصب کنم و از قبلیه هم بکاپ بگیرم.

فعلا با کابل LAN وصلم ولی باید سر و ته این موضوع رو دربیارم.

ولی خب به قول سهراب:
مشکلی نیست دوستان، حل میشه.

#WIFI_Bug_Adventures

بعضی وقتا بهتره که یه اکوسیستم آفلاین داشته باشید.
که کارتون با قطع اینترنت عقب نیفته.

از طرفی خودم اکوسیستم آفلاین رو ترجیح میدم چون که بهره وریم رو بیشتر میکنه.

یکی از چیزایی که Developer ها آنلاین ازش استفاده میکنن document لایبرری و ابزار هاشون هست.

تو این مقاله بهتون یاد میده که چطور با wget یک وبسایت رو کامل crawl و دانلودش کنید.

https://adamj.eu/tech/2023/03/07/download-documentation-website-with-wget/

wget --mirror --convert-links --adjust-extension --page-requisites --no-parent <website>

ولی دو چند تا پارامتر دیگه هم بهتره بدونید.

--user-agent="<user agent>"

برای ست کردن user agent مرورگر استفاده میشه. یک سری وبسایت ها ممکنه اجازه crawl کردن رو ندن.

-w <wait time>

اگر سریع درخواست بزنید ممکنه توسط وبسایت لیمیت یا بلاک بشید. سر همین باید rate limiter برای درخواست دادن بزارید.

-c

معنی continue میده. اگر دانلودتون وسطش کنسل شد اینو بزنید تا ادامه بده.

یه نمونه دستور که از تمامی آرگومان ها استفاده میکنه.

wget  -c --user-agent="Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36" -w 0.5 --mirror --convert-links --adjust-extension --page-requisites --no-parent https://pytorch.org/vision/stable/

#Offline_Ecosystem

جدا از اون. یه وبسایت داریم به اسم devdocs که داکیومنت های محبوب رو داخل خودش نگه میداره.
و قابلیت استفاده آفلاین رو بهتون میده. که تو تنظیماتش باید فعال کنید.

ایرادش اینه که کامل نیست.
تو مورد من torchvision رو نداشت و فقط torch رو داشت.

https://devdocs.io/

#Offline_Ecosystem

یکی از روش‌های بدست آوردن نتایج خیلی خوب تو یادگیری عمیق استفاده از Transfer Learning یا انتقال یادگیری هست.

به شدت چنین موضوعی تو هوش مصنوعی مهم و رایج هست و حتی برای ساخت مدل های به شدت بزرگ برای استفاده های تجاری معمولاً pre-training یا پیش آموزش انجام میدن و از روش transfer learning میان و fine-tuning انجام میدن برای استفاده های اصلی.

تو این روش اول باید یک مدلی رو انتخاب کنیم که به مسئله ما میخوره و از قبل train شده و وزن هاش موجود ان.

باید تو یه domain باشن. مثلاً ما مدل classification (طبقه بندی) رو نمیایم روی object detection (شناسایی شی) که مسئله اصلی ماست استفاده کنیم.

دیتا ستش مهم هست ولی حتی اگر ارتباط خیلی کمی هم داشته باشه باز قابل استفادست. مهم مدله که به مسئله ما بخوره.

وقتی که مدل خوبی پیدا کردیم. وزن هاشو لود میکنیم روی مدل.

فاز اول feature extraction هست که ما تغییراتی روی مدل میدیم که خروجی مورد انتظار رو به ما بده. و اون بخش‌هایی که تغییر دادیم رو train میکنیم و بقیه رو freeze میکنیم.

فاز دوم fine-tuning هست که تو این فاز ما قسمت قسمت لایه ها رو unfreeze میکنیم و train انجام میدیم.

حالا از کجا باید مدل گیر بیاریم؟

وبسایت های مختلفی است. تو مثال من که PyTorch کار میکنم تو هر domain library اش یه بخش به اسم models داره.

torchvision.models
torchtext.models
torchaudio.models

همینطور huggingface هم کلی model و dataset داره:

HuggingFace Models
HuggingFace Datasets

و در نهایت paperswithcode که وبسایتی هست که آخرین تحقیقات و مقاله ها در زمینه یادگیری عمیق و هوش مصنوعی رو به اشتراک میزاره.

تفاوتش با بقیه اینجاست که وزن مدل ها و کد های تحقیقات هم همراه باهاش موجود اند.

paperswithcode

برای اطلاعات بیشتر راجب transfer learning از جمله feature extraction و fine-tuning میتونید به ریفرنس های زیر برید

PyTorch:
Feature Extraction

Tensorflow:
Feature Extraction
Fine-tuning