من در ۶ ماه اخیر هر روز خطاب به خودم:
@SingularThinker

جوابیه قسمت دیگر مغز من:
با لشکر غم میجنگم
@SingularThinker

مردم ایران خطاب به اپوزیسیون:

خارج نشین جنگ‌‌بلد ولی صلح طلب خطاب به مردم عادی زیر بمب:

چون گویا کتاب آقا Veryshyn رو دوست داشتید.
خواستم بگم این بنده خدا ویدئوهای کورسش رو هم رایگان گذاشته:
https://www.math.uci.edu/~rvershyn/teaching/hdp/hdp.html
البته فک کنم بر اساس نسخه اول کتابه. من خودم ویدئوهاشو ندیدم ولی شاید کمک کننده باشه. من خودم دارم با کتابش پیش میرم جالبه به نظر اگه تا حالا کورسی نداشتید تو HDP.
@SingularThinker

دوم اینکه جادی هم تخفیف دوره پایتونشو باز تمدید کرده خواستید برید تو کانال خودش اطلاعات بیشترو پیدا میکنید.

سوم این که یه پست معرفی منابع واسه learning theory میخوام بنویسم ولی هی کاهلی میکنم. مشکل اینه که منبع زیاده ولی منبع خوب کم و من نشستم خودم دونه دونه ببینم. برای همین میتونم یه لیست کلی بفرستم دیگه بررسی اش باشه با خودتون.

📌Statistical Learning Theory Courses
#Learning_Theory

🔻Videos:

Statistical Learning Theory and Applications (MIT, Fall 2015)
YouTube: https://www.youtube.com/watch?v=6AWZS4Ho2Z8&list=PLyGKBDfnk-iDj3FBd0Avr_dLbrU8VG73O&index=1
Webpage and Lecture Notes: https://web.stanford.edu/class/stats214/

Machine Learning Theory (Stanford CS229M - Fall 2021)
YouTube: https://www.youtube.com/watch?v=I-tmjGFaaBg&list=PLoROMvodv4rP8nAmISxFINlGKSK4rbLKh&index=1

Statistical Learning Theory and Applications (MIT,Fall 2019)
YouTube: https://www.youtube.com/watch?v=4nPABKIuYKo&list=PLyGKBDfnk-iB4Xz_EAJNEgGF5I-6OzRNI&index=1
Webpage: https://www.mit.edu/~9.520/fall19/

Mathematics of Data Science (ETH)
YouTube: https://www.youtube.com/watch?v=OWo8QqHUtso&list=PLiud-28tsatIKUitdoH3EEUZL-9i516IL&index=1

Statistical Learning (ETH, 2021)
YouTube: https://www.youtube.com/watch?v=9CeR7FcPVKc&list=PL682UO4IMem_2ks8_z8ln7yvkHmVBOZCP&index=1

Probabilistic Machine Learning (Tubingen 2021)
https://www.youtube.com/watch?v=UbaVGD4Lfis&list=PL05umP7R6ij1tHaOFY96m5uX3J21a6yNd&index=1

Statistical Machine Learning (Tubingen 2020)
YouTube: https://www.youtube.com/watch?v=jFcYpBOeCOQ&list=PL05umP7R6ij2XCvrRzLokX6EoHWaGA2cC


🔻Lecture Notes:

Statistical Learning Theory (Sham Kakade 2011)
Link: https://homes.cs.washington.edu/~sham/courses/stat928/index.html

Understanding Machine Learning: From Theory to Algorithms
Link: https://www.youtube.com/watch?v=b5NlRg8SjZg&list=PLFze15KrfxbH8SE4FgOHpMSY1h5HiRLMm

Advanced Topics in Statistical Learning Theory (Berkeley, Spring 2009)
Link: https://people.eecs.berkeley.edu/~wainwrig/stat241b/

Statistical Learning Theory (Berkeley-Stat department, Spring 2014)
Link: https://www.stat.berkeley.edu/~bartlett/courses/2014spring-cs281bstat241b/

Statistical Learning Theory (Stanford CS229T Winter 2016)
Link: https://web.stanford.edu/class/cs229t/2017/Lectures/percy-notes.pdf

Statistical Learning Theory (ETH)
Link: https://n.ethz.ch/~jiaxie/notes/slt_noscript.pdf

Conceptual Foundations of Statistical Learning
Webpage: https://www.stat.cmu.edu/~cshalizi/sml/21/

🔻Books:
Learning Theory from First Principles (Francis Bach)
Link: https://www.di.ens.fr/~fbach/ltfp_book.pdf

Foundations of Machine Learning
Webpage: https://cs.nyu.edu/~mohri/mlbook/

Understanding Machine Learning: From Theory to Algorithms
https://www.cs.huji.ac.il/~shais/UnderstandingMachineLearning/understanding-machine-learning-theory-algorithms.pdf
@SingularThinker

این رو چون قولش رو داده بودم گفتم امروز بفرستم به هیچ معنا لیست کاملی نیست. کیفیت خیلیاشون رو من نمیدونم ولی ازونجایی که میدونستم اگه کمالگرایی به خرج بدم هیچ وقت نمیفرستم گفتم هر چی که هست رو بفرستم.

متاسفانه منبع خوب برای learning theory کم هست و باز اگه کسی چیز خوبی میشناسه بگه به ما هم که استفاده کنیم.
بخش زیادی از این لیست زحمت علیه که چون کانالش یه حالت پرایوت داشت فوروارد نکردم. علی چون میدونم میخونی اینجا رو اگه خودت پایه بودی بگو منشن کنم کانالت رو هم.
همین دیگه.
خرد یارتون🧠🤙

I have an open PhD student position in the area of machine learning; a great opportunity to put advance theory into practice! Deadline: July 21.

Linkedin post from Ashkan Panahi
PhD Announcement

#Phd_position #learning_theory
@SingularThinker

با غم درآمیختن

انگار غم در من حل شده است؛ یعنی رفته به خورد تار و پود وجودم، طوری که در نگاه اول تشخیص آن در شخصیتم سخت باشد.
باید خیلی ریز شوی لابلای نقش و نگارها و پشت لبخند‌ها تا ببینیش.
انگار پذیرفته‌ام که زندگی همین است دیگر معلومه که یِی‌هو وسط اتوبوس یا جلسه گریه امانت را می‌برد و تو در اوج بی‌پناهی دنبال سوراخی برای چکاندن قطره اشکت روی زمین می‌گردی بی‌آنکه آغوشی انتظارت را بکشد.

ابدا نمی‌خواهم با دادن این شرح قوی یا پخته به‌ نظر بیایم، کماکان بخش‌هایی از وجود من غم و/یا رنج‌ را چون عاملی مزاحم تشخیص داده و شروع به ترشح آنتی‌بادی میکند تا این عامل خطرزا را دفع کنند اما تعداد این بخش‌ها به نسبه کم است یا شاید بتوان گفت رو به کاهش است. جمله "زندگی مگر همینقدر گه نیست" جوری در عمق وجودم ریشه دوانده و از صمیم قلب به آن باور پیدا کرده‌‌ام که دیگر حتی اعتراضی به آن ندارم. تا آنجا که حتی لابلای کلاسم وقتی که دانشجویی اعتراض می‌کند که یعنی که چه؟ چرا هر بار که شبکه عصبی را آموزش میدهیم نتیجه فرق می‌کند. یکبار ReLU بهتر از tanh عمل میکند و بار دیگر نتیجه کاملا برعکس است. بعد برایش توضیح میدهم که شبکه عصبی این طور کار میکند و ما درگیر بهینه‌سازی نامحدب هستیم و چه و چه.
و سپس در تکمیل حرفش می‌گوید ولی من انتظار داشتم حداقل ReLU همیشه بهتر یا بدتر باشد و من در جواب می‌گویم اگر دنیا جای خوبی بود شاید میشد انتظار داشت.

نمی‌دانم این حاضرجوابی چیزی نبود که ابدا از قبل بهش فکر‌ کرده باشم و اتفاقا به طور معمول اصلا آدم فی‌المجلس و بداهه‌گویی نیستم، شاید به همین خاطر است که برایم جالب بود.
از طرف‌ دیگر "دنیا وفا ندارد" و "سگ آقا صادق هدایت نجاست کند به زندگی، قسمت و هر چی که هست و نیست" نیز هم که لق‌لقه‌ی زبانم شده است.

وقتی می‌گویم غم اما مطمئن نیستم که کلمه را درست بکار برده‌‌‌ام یا مثلا شاید رنج توصیف بهتری است یا چیز دیگری. وقتی میگویم غم شاید ناامیدی از جنس سوال همان دانش‌آموزم مدنظرم است که مگر وقتی همه چیز را درست پیاده‌سازی کرده باشیم نباید نتیجه سازگاری انتظار داشته باشیم؟ و جواب زندگی را هم که خاطرتان هست: بیلاخ.

اکنون شاید اندکی واضح‌تر شده باشد، شایدم نه. ولی حالا که این همه آسمان و ریسمان بافتم و کلمه پشت هم چیدم بیاید یه نگاهی به loss landscape شبکه عصبی نگاه کنید و به این فکر کنید که هر بار که از اول وزن‌ها را مقداردهی میکنید در کدام یکی از این چاه‌ها گیر می‌افتید.

کم ندیده‌ام آدم‌هایی که فحش و فضیحت نثار شبکه عصبی و به اصطلاح یادگیری عمیق میکنن؛ چه بسا خود من که چقدر غر زدم ولی آخرش به این نتیجه میرسم که زندگی همانقدر گه است که شبکه عصبی. شاید برای همین بررسی شبکه‌‌‌ی عصبی برایم جالب است. بله رمزآلود و عجیب است؛ تئوری‌ها در توضیح کاملش موفق نیستن؛ نمی‌دانیم چرا گاهی کار میکند چرا گاهی نه. و ...
آشنا نیست؟

پ.ن: این فاز جدیدی که امروز موقع نوشتن این متن داشتم هم را درک نمیکنم. ادبیاتم یکم تغییر کرده و نمیفهمم که چرا؟ به هر روی بهتر از ننوشتن است.

@SingularThinker

بعد از نوشتن این متن با خودم گفتم بهتره دیگه از این چرت و پرتا اینجا ننویسم و همون "غفلت مقدس" رو پیش گیرم و دنباله‌ی کار خویش گیرم به قول سعدی. همون در مورد ریاضی و یادگیری ماشین و چه و چه حرف بزنم ولی بعد این متن با یکی از دوستام یه بحث خیلی خوبی داشتم که بعدش فهمیدم که یکی از پیش‌فرض‌های من پشت این بحث این بوده که غم یا رنج ناگزیر است و بنابراین باید در برابرش دست‌ها رو بالا برد و به اصطلاح شل کرد. ولی این دوستم این طوری بود که نه آقا جان کی گفته اصن؟ زندگی فلانی رو ببین رنجش کجا بود؟

قطعا نمیشه ادعا کرد که همه به یک اندازه رنج میبرن ولی ازون طرف هم آستانه رنج همه یکسان نیست. ولی دوستم معتقد بود وقتی پای شنیدن قصه‌ی زندگی آدما میشینی مخصوصا اونایی که این ور آبن میبینی که انگار این رنجی که ما ازش حرف میزنیم وجود نداره و خیلی زندگی شاد و آرومی رو طرف داشته و خبری از درد و رنج و یا اتقاقات ناگوار نیست.

ولی من همچنان حس میکنم که رنج لزوما میتونه در تصویر بزرگی که آدم‌ها از زندگی‌شان به ما نشان می‌دن نمایانگر نشه. رنج آدمی میتونه پشت هزارتا خنده و لبخند پنهان شده باشه و با هزارتا تور هم به دام نیفته. همون طور که اول متن قبل گفتم در مورد خود من اصن همین طوریه. من معمولا لبخند به لب دارم و اطرافیانم منو به خوش انرژی بودن میشناسن و ... و حتی خودمم خودم رو آدم غمگینی نمیدونم. ولی غم و/یا رنج هست.

اما اینکه منظورم از غم و/یا رنج چیه رو سخت میتونم بگم. انگار رنج برای من پنجه انداختن با دست روزگاره. وقتی زورت به زندگی نمیرسه. وقتی کوچه بن بسته و باید سر ته کنی برگردی از از سر. نمیگم رنج یعنی اینکه تو خانواده‌ای باشی که بابات کتکت بزنه یا مادرت معتاد باشه، یا ... و این برای همه اتفاق میفته چون این واضحا درست نیست. رنج ولی میتونه این قدر روزمره و کوچیک باشه که مثلا صدای آب خوردن بقیه برات غیرقابل تحمل باشه که مجبور بشی کامنت بذاری و جادی مجبور بشه که اون تیکه‌ها رو کات بزنه. ولی ازون ور انقدر رو مخت بوده که مجبور شدی اون کارو انجامش بدی.

حالا علت نوشتن دوباره این متن این بود که بدونم شما چی فک میکنید؟ با کدوم موافق‌تری‌اید؟
حتما برام بنویسید یا ویس بگیرید یا هر چی. دوست دارم بدونم نظرتونو.

@SingularThinker