I found the below workshop if you are interested check it out.
"Spring 2024 Mentorship Workshop - https://let-all.com/spring24.html
In Spring 2024, we will organize a mentorship workshop centered on the day-to-day life of an ML/theory researcher for Undergraduate, Masters, PhD students, and Postdocs interested in Learning Theory and adjacent fields."
#Learning_Theory
#Workshop
@SingularThinker

ECE524: Foundations of Reinforcement Learning Course
https://sites.google.com/view/cjin/teaching/ece524

Check the reference readings and related courses in the webpage.

#Course
@SingularThinker

ورکشاپ هایی که در کنفرانس های بزرگ ماشین لرنینگ برگزار میشن به نظرم به قدر کافی توجه نمیشه بهشون تو کامیونیتی ایرانی و به نظرم از چندین جنبه اهمیت دارن. یک اینکه خیلی وقتا کارهای پژوهشی که ما تو مقطع ارشد تو ایران انجام میدیم سخته که در کنفرانس های اصلی پذیرفته بشه بنابراین این ورکشاپ ها خیلی فرصت خوبیه برای اینکه اینطور پژوهش ها رو ارسال کنیم. در خیلی موارد مقاله ها محدودیت چهار صفحه ای دارن و از طرف دیگه بعضی وقتا تو proceeding های خوبی هم چاپ میشن و میتونه رزومه خوبی باشه. در کل رقابت کمتری هست با توجه به اینکه موضوع ورکشاپ ها خیلی تخصصیه.

از طرف دیگه از طریق این ورکشاپ ها میشه زمینه های داغ تحقیقاتی و سوال های باز و همچنین افراد مهم و برجسته تو هر حوزه رو شناخت و پیگیری کرد. کلا با توجه به این سرعت تغییرات و مقاله بیرون اومدن تو حوزه ماشین لرنینگ بروز موندن خیلی سخته و شاید مثلا این ورکشاپ ها کمک کننده باشه. یه مزیت دیگه هم اینه که خیلی وقتا چالش های جالبی رو این ورکشاپ ها برگزار میکنن مثلا اینکه یه دیتاستی رو در اختیار قرار میدن و تیم های مختلف میتونن با هم رقابت کنن. یا مثلا یه بخش برای بلاگ پست ها باز میکنن.

حالا چی شد که من یادم افتاد این حرفا رو بزنم. چند روز پیش داشتم میگشتم اتفاقی برای دوستم تو این ورکشاپ های ICML بعد واقعا چیزهای جالبی دیدم. اینم بگم که یه سری از این ورکشاپ ها هنوز مهلت دارن تا 30 May برای دریافت مقاله برای همین اگه کار آماده ای دارید میتونید بفرستید براشون.

در آخر اینم ورکشاپ هایی که به نظر من جالب میومد:

- Geometry-grounded Representation Learning and Generative Modeling
- Next Generation of Sequence Modelling Architectures
ICML 2024 Workshop on
Theoretical Foundations of Foundation Models
- Mechanistic Interpretability Workshop 2024
- AI for Science: Scaling in AI for Scientific Discovery
- Foundations of RL and Control
- Aligning Reinforcement Learning Experimentalists and Theorists

اگه تا اینجا اومدی اینم لیست پیپرهای اکسپت شده تو کنفرانس COLT عه که مخفف Conference on Learning Theory عه.
#research_stuff #learning_theory
@SingularThinker

L0L

My favourite alive philosopher :))))

ویدئو را دیدم و فوق‌العاده بود.[لینک]

اولین بار مهبد این رو ۲۷ دسامبر فرستاده بود و گفته بود که از دستش ندید و دوباره اتفاقی دیدم جایی لینکشو و بلاخره دیشب دیدمش و فوق‌العاده بود. جالبه وقتی داشتم میگشتم این پیامشو تو انباری‌ تلگرامم پیدا کنم دیدم اولین بار ۲۰۲۱ خودش این کانال پشم‌سوز رو معرفی کرده بود. از دیشب ولی همچنان ذهنم درگیر موضوعه هی با خودم گفتم یه کپشن یه خطی یا دو کلمه بنویس و بعد هم لینک و تمام. ازین فازا که در آن نشانه‌هایی است برای کسانی ‌که می‌اندیشند اما دیدم نمیشه.

میگم فوق‌العاده بود ولی منظورم فقط از منظر ساخت ویدئو و این‌ها نیست بلکه از منظر شخصی هم این ویدئو در راستای چندتا از پرسش‌های بزرگ و طولانی من هستش و از دیشب تا الان یاد چندین صحنه در طی سال‌های مختلف زندگی افتادم و دیدم که بد نیست که ماجراهارو بگم تا برای خودم جایی داشته باشمش. سوال‌هایی مثل اینکه اصلا اخلاق چیه و چطور پدید می‌آد؟ یا اصن به طور کلی‌تر چطور باید در زندگی تصمیم گرفت؟ خیلی وقته که گوشه‌ی ذهن من هست.

پرده اول- یادمه اولین بار تو حیاط دبیرستان بود که صحبت راسل بود و یکی از دوستام(احتمالا آریا یا حسین) که دقیق خاطرم نیست داشت نقل میکرد که راسل در جایی سعی میکنه لزوم رعایت آنچه اخلاقی می‌نامیم رو صرفا با در نظر داشتن بیشتر کردن سود شخصی بیان کنه و خب جرقه این سوال‌ها از همون جا تو ذهنم زده شد و همین طور اونجا موند.

پرده دوم- جلوتر با نگار و دوستان کتاب جهان‌بینی‌ها رو می‌خوندیم که در فصل ۲۸ دلالت‌های فلسفی مفهومی نظریه‌ی تکامل بود که بحث iterated prisoner's dilemma و ارتباطش با اخلاق مطرح شد و اونجا بود که انگار زاویه‌ای جدید روبرم باز شد. یادمه که ترم قبلش اصن نظریه‌ی بازی‌ها رو برداشته بودم و بعد خوندن و بحث در مورد این فصل انقدر هی علاقه‌مندتر شدم که ترم بعدش رفتم سر کلاسای کسری علیشاهی و حتی موضوع تز ارشدم یکم هول دادم به این سمتی کلا. کوتاه سخن این که یه بازی خیلی جالبی هست که یه آدم خیلی باحالی ساختتش. اسم بازی هست اعتماد و دیگه توضیح اضافه‌ای نمیدم.
کمتر از نیم ساعت وقتتونو میگیره ولی به نظرم خیلی جالبه نتایجش.
https://ncase.me/trust/

پرده‌ی سوم- درست یادم میاد که برای مشکلی رفته بودم بیمارستان و تو مسیر داشتم با چشمانی کمی بیرون‌زده‌تر از حالت عادی این پرونده از پادکست پرسه گوش میدادم و غرق فکر کردن بودم. انقدر روز خاصی هست برام که جزییات اون روز رو بخطار میارم حتی اینکه چه عکسایی گرفتم، به کی ویس دادم و توش چی گفتم. انقدر خوب بود که همون روز این پیام رو اینجا گذاشتم.

بریم پرده‌ی آخر؟ باید بگم که داستان من و این موضوع که فک کنم همچنان ادامه پیدا خواهد کرد و مثل دیدن این ویدئو دیر یا زود داره ولی سوخت و سوز نداره. بیشتر نیاز به فکر کردن و شنیدن دارم و شاید یه روزی اصن شد یکی از زمینه‌های کاری/پژوهشی من ولی فعلا الان وقتشه به قولی که به خودم داده بودم عمل کنم و selfish gene از داوکنیز رو که نصفه مونده کاملش کنم، میدونم فصلای آخرش راجع به این هم صحبت میکنه و باید بخونم تا ببینیم سحر چه زاید.
یه سری ارائه هم داشتم در مورد کارای Von Neumann و نظریه‌ی تصمیم و یه سری ایده‌ی خام در این موارد که ایشالا در آینده تو فرصت مناسب میگم.

خلاصه این بود دعوتی به پیگیری چندتا لینک خوب در مورد این موضوع مهم که خیلی وقتا خیلی از دوستان مغلطه‌گر سعی میکنن به این اشاره کنن که اخلاق وابسته به دین است و غیره که دونستن زاویه این وری هم میتونه دریچه جدیدی باز کنه.

هشتگ #game_theory رو بروز کردم و قبلا هم دو سه باری در مورد مثال‌های جالبی که کمتر جاهای دیگه دیده بودم حرف زدم‌، دوست داشتید اونا رو هم بررسی کنید.

#video
@SingularThinker

اگر اهل کتابید (نه اون اهل کتاب معروف، منظورم اهل کتاب خوندنه) به‌نظرم راه انداختن اکانت goodreads و کانکت شدن با آدم‌های کتاب‌خون و یا دوست و رفیقاتون یک لطفیه در وهله‌ی اول به خودتون و بعدش به رفیقاتون. چقدر بدون مقدمه‌چینی شروع کردم! :))

گودریدز چیه؟ میشه گفت یه کامیونیتی از آدم‌هایی که کتاب‌هایی که خوندن و دارن میخونن رو اونجا میذارن. به کتاب‌ها نمره میدن، اگر حوصله داشتن باشن و در کنارش هم دستی به قلم، نقد و نظری هم براش می‌نویسن. یا کاری که خیلی به‌نظر من جذابه، اینه که که وضعیت پیشرفت کتاب‌هایی درحال مطالعه‌شون هستند رو آپدیت میکنن (این که تا کدوم صفحه پیش رفتن) و البته این که کتاب‌هایی که میخوان بخونن رو به کتاب‌خونه‌شون اضافه میکنن. یه سری چیز‌های دیگه هم داره مثل چالش مطالعه‌ی سالانه و الی آخر که خب میتونید خودتون بررسی کنید.

تمام این کار ها، از اضافه کردن کتابی به لیست «کتاب‌هایی که میخوام بخونم» تا آپدیت کردن وضعیت مطالعه، به شکل یه ایونت توی تایم‌لاین دوستاتون ثبت میشه و خب اون‌ها میتونن لایک کنن و لایک شدن چیز مهمیه! لایکی که اینقدر میتونه موثر باشه که توی بدترین روز‌هاش، منتجه به نوشتن هر مزخرفی واسه گرفتن همین «لایک» میشه و حالا این‌جا (حداقل فعلا) میشه ازش سود برد.

سود گودریدز برای من اینطوره که، اول از همه میتونم کتاب‌هایی که دوستای هم‌پیکم و کسایی که سلیقه‌شون بهم نزدیکه یا علاقه‌مندی مشترکی باهم دارن رو ببینم. چه اون‌هایی که خودشون خوندن، چه اون‌هایی که میخوان بخونن. همین باب آشنایی با کتاب‌های جالب و جدید توی حوزه‌ی مورد‌علاقه‌م رو واسم باز میکنه. کتاب‌هایی که احتمالا خودم به این زودی‌های و شاید هم هیچ‌وقت بهشون برنمی‌خوردم رو حالا دیگه این‌ها رو برای خودم لیست کردم که بهشون برگردم و بخونمشون یا اگر واقعا جالب به‌نظرم اومدن، بلافاصله شروعشون کنم.
دوم، دیدن پیش‌ رفتن بقیه‌س. همین تلاش برای عقب نیفتادن از قافله برام محرکه. این تعامل مشوقیه تا وضعیتت رو آپدیت نگه‌داری و کم کم به یک تعامل دوسویه که هر دو سر میتونن ازش سود ببرن تبدیل بشه. آدم‌ها بدون این که بخوان هم‌دیگه رو به جلو هول میدن.


اگر خواستید توی کامنت‌های این پست میتونید اکانت خودتون رو بذارید که هرکسی که مایل بود بهتون کانکت بشه.

در مورد خفن بودن آقا Steven Strogatz که واقعا حرف زیاده ولی شما برای مثال به این ۵ دیقه گوش بدید که توش به ساده‌ترین وجه ممکن میگه که eigenvector چیه و به چه دردی میخوره.

من خیلی چند وقته به این مهارت توضیح دادن چیزها به روش‌های خلاقانه و ارتباطش با عمق فهم اون ماجرا فکر میکنم. البته به نظرم ارتباط یه طرفه وجود نداره به این معنا که هر کس که عمیق فهمیده باشه بتونه ساده هم بیانش کنه ولی یه مهارت واقعا جالبیه که کسایی که خیلی عمیق فهمیدن یه مطلبو دیده میشه.
خلاصه ببینید و عشق کنید.
#video #math
@SingularThinker

ترمودینامیک؛ علمی برای درک جهان و الهام گرفتن

بی‌اغراق هر چه بیشتر با ترمودینامیک و اثرگذاری‌اش در سایر علم‌ها و دانش‌ها، مخصوصا زمینه‌هایی محاسباتی، ریاضی و مسائل فلسفی آشنا می‌شم، بیشتر شگفت‌زده میشم از جالب بودن و عمیق بودن این علم. متاسفانه هنوز سواد خیلی کمی در مورد ترمودینامیک دارم برخلاف اینکه از ابتدای دوره تحصیل درس‌هایی رو در موردش گذروندم. متاسفانه تنها چیزی که در نگاه مهندسی به ترمودینامیک مهم نبوده معنا و مفهوم بوده و صرفا محاسبه یه سری فرمول و حل مسئله اولویت بوده و تمام.

دوست‌های نزدیک من میدونن که من چند ساله که میخوام یه ورکشاپی پیرامون کاربردهای ترمودینامیک در هوش مصنوعی و نظریه‌اطلاعات و غیره برگزار کنم که هی عقب میفته چون هر سری میبینم که چقدر عمق ماجرا زیاده و فهم من در مورد این موضوعات کم ولی همیشه به طور خاصی برام جذابه.

اولین چیزی که معمولا وقتی صحبت از ترمودینامیک و تاثیراتش به ذهن میرسه انتروپیه. که ما هم مثلا تو این پست ارجاع دادیم که چطور انتروپی میتونه توضیح‌دهنده و جواب بسیاری از سوال‌های هر روزه‌ی ما باشه و حتی در فهم ما از مفاهیم بنیادین مثل زمان موثر باشه.

اما فارغ از آنتروپی و استفاده‌ها و الهام ‌های متعددی که از این مفهوم برای انجام محاسبات در نظریه‌اطلاعات و مخابرات و همچنین هوش مصنوعی میشه یک مورد مرتبط دیگه‌ای هم هست که آقای کارل فریستون، پژوهشگر معروف علوم اعصاب دانشگاه UCL اون رو سال‌ها پیش نظریه‌پردازی کرده برداشت و اون چیزی نیست جز اصل انرژی آزاد/ Free Energy principle. یک یادآوری ساده اینکه free energy در ترمودینامیک میتونه خودبخودی بودن یا نبودن یک فرآیند رو مشخص کنه. پژوهشگران از اصل اشاره‌شده برای توضیح پدیده‌های مختلفی استفاده شده (خیلی مختلف حتی در زمینه معماری) و در‌نهایت به عنوان یک مدل تصمیم‌گیری(مثلا در مسائل Bandit) در جاهای بسیار متنوعی استفاده میشه که خب واقعا صحبت در موردش وقت مناسب خودش رو میطلبه و نیاز به بررسی دقیق‌تری هست فقط میخواستم بگم انقدر این موضوع برای من جالب بود که سعی کردم تز کارشناسی ارشد رو به سمت استفاده از این مفهوم ببرم که واقعا جواب‌های جالبی هم گرفتم ازش.

اما هدف از نوشتن این پست صحبت در مورد زمینه‌ی دیگری که متاثر از ترمودینامیکه هست که من به واسطه‌ی کار اخیری که انجام میدادم باهاش آشنا شدم و برای دوستام تعریف کردن و بنظرم جالب اومد که برای شما هم بگم.

میشه گفت زمینه‌ی کلی‌ای که به این بخش گفته میشه نظریه‌ی ارگودیگ/ergodic theory هست که یک شاخه از ریاضیاته که به مطالعه‌ی خاصیت‌های آماری یک سیستم‌ دینامیکی قطعی/deterministic می‌پردازه. در واقع سعی می‌کنه ببینه در طول زمان رفتار توابع مختلف از حالت/state سیستم چه خاصیت‌های آماری دارن. این نظریه هم مثل خیلی چیزهای جالب دیگه در ریاضیات در اواخر دهه‌ی ۱۹۲۰ و اوایل ۱۹۳۰ توسط J. 😍Von Neumann و G.D. Birkhoff به صورت کامل ریاضی‌وار بیان شد اما پیشینه‌ی این نظریه برمیگرده به کارهایی که توسط L. Boltzmann و J.W. Gibbs در اواخر قرن ۱۹ انجام‌ شد. هدف این دو دانشمند خفن و نازنین ارائه‌ی یک پایه‌ی میکروسکوپیک دینامیکی برای ترمودیناک با استفاده از مکانیک آماری بود.

در نهایت مفهوم ergodicity و درهم‌آمیختگی*/mixing از دل این نظریه بیرون اومد که از اون‌ها برای مدلسازی و مطالعه‌ی فرآیندهای تصادفی و سیستم‌های دینامیکی استفاده میشه. که در نتیجه‌ با استفاده از این ابزارها میشه پدیده‌های زیادی در دنیای اطراف ما رو مدل‌ کرد و در نتیجه این مفاهیم خیلی کارآ هستن.

قطعا نمیشه تو یه متن تلگرامی نظریه‌ای به این وسعت رو توضیح داد ولی حالا صرفا بیایم به این فک کنیم که مفهوم درهم‌آمیزنده/mixing چیه و چرا بهش این طور میگن و کجا میتونه به کار بیاد.

مفهوم mixing یک مفهوم انتزاعیه که اصالتا به فیزیک تعلق داره و در واقع تلاشیه برای مدلسازی فرآیندهای ترمودینامیک برگشت‌ناپذیر درهم‌آمیزنده/mixing که در روزمره همه جا مشاهده میشه.
مثلا شما بارها دیدید که موقع درست کردن انواع غذا تراکم یه ماده تو یه بخشی بیشتر از جاهای دیگه است ولی به مرور زمان در هم آمیخته میشن به طوری که دیگه نمیشه جایی از غذا رو مشخص کرد که تراکم فلان ماده بیشتر از سایر جاها باشه.

برای اینکه تجسم بهتری داشته باشید به گیف پایین نگاه کنید. بقیه مطلب رو همونجا میگم.
⬇️⬇️⬇️⬇️

#Thermodynamics #note #math
@SingularThinker

نقطه‌های قرمز و آبی شرایط اولیه‌ی یک سیستم دینامیکی معروف هست که اسمش Baker's map عه. این فرآیند از جمله فرآیند‌های درهم‌آمیزنده هست و همون‌طور که میبینم نقاط قرمز و آبی سریعا بعد از چند مرحله‌ی زمانی با هم کاملا ترکیب میشن. به عبارت دیگه بعد از گذشت زمان به اندازه‌ی کافی، مهم نیست که نقطه‌ی شروع اولیه ما در ابتدا قرمز بوده یا آبی و دیگه احتمال اینکه هر کجای صفحه باشه مرتبط به آبی یا قرمز بودن در ابتدا نیست. این یک مفهوم کلی برای مدلسازی دسته‌ی بزرگی از فرآیند‌های تصادفی هست که فرض میشه داده‌ها در لحظات مختلف درسته که در ابتدا از نظر نظریه‌ی احتمال مستقل/independent و هم‌توزیع identically distributed نیستند اما پس از گذشت زمان محدودی هم‌توزیع می‌شوند که از این مفهوم میشه برای مدل‌های یادگیری هم استفاده کرد که این دقیقا کاری بود که من انجام دادم. ایشالا فرصت بشه و بعدا بیشتر در مورد همه‌ی این‌ها صحبت کنیم.

در نهایت بگم که سواد من خیلی در این زمینه کمه و اگه کتابی، ویدئوی، کورسی، بلاگی یا هر چیزی میشناسید که میتونه کمک کنه خوشحال میشم به من و بقیه معرفی کنید.

@SingularThinker

رابطه‌ی من و ادبیات، مخصوصا ادبیات فارسی، همیشه کج‌دار و مریز بوده. یعنی واقعا علاقه و اشتیاق دارم به دونستن بیشتر و یه نیمچه ذوقی هم حتی دارم ولی هیچ وقت تا به امروز فرصت نشده که به طور جدی دنبال کنم.

همیشه این طور بوده که بواسطه‌ی متن آهنگ‌ها که همیشه خیلی برام مهمه به دنیای شعر خودم‌رو متصل نگه داشتم. حالا اگر خیلی با شعر حال میکردم برای دوستامم از گنجور میفرستادم یه سری بیت‌های باحالشو پررنگ میکردم یا در مورد چیزای جالبی که به ذهنم میرسید با هم حرف میزدیم. دیگه نهایتش این بوده که بازم به لطف دوستام بشینم و مثلا یه دفتر شعر از فروغ بخونم و عششش کنم.

یه دلیلی که داشتم بهش فکر میکردم که شاید هیچ‌وقت نتونستم بیشتر از یه حدی به ادبیات فارسی نزدیک بشم اینه که ادبیات فارسی در یک سری زمینه‌ها واقعا پیچیده است و کسایی که متاسفانه تدریس و روایتش میکنن انگار خودشون این پیچیدگی‌رو درک نکردن و/یا دچار خودسانسوری‌‌ان یا هر چیزی که بلاخره هر طور که هست از جذابیت قضیه خیلی کم میکنه.

چند وقتیه که بخاطر معرفی علیرضا با کانال یوتیوب و تلگرام "تفسیر بیضوی" آشنا شدم و دنبال میکنم. این کانال برام جالبه ازین جهت که خیلی سعی می‌کنه بی‌تکلف و خودمونی بیاد و ببینه که پیچیدگی‌ها و جاهای باحال ادبیات فارسی که میشه امروز هم ازش استفاده کرد چیه. و با این مستقیم و رک و بی‌تکلف بودنش من به شخصه خیلی حال میکنم.

مثلا همین الان داشتم یه ویدیویی رو ازش گوش میکردم در مورد اینکه عادت به تایید گرفتن و تشویق شنیدن از مردم چطور میشه به زندان سختی برای آدم تبدیل بشه و راه شاعرای فارسی برای مبارزه با این چی بود؟ خیلی نکته‌ و پیام جالبی بود؛ هم ازین نظر که تو زندگی کاربردیه هم ازین نظر که باعث شد یه بخش تاریکی که در مورد برخی شعرها تو ذهنم یود روشن بشه. مثلا در مورد غزل آهنگ زیبای پست قبلی در ویدیو توضیح میده.

#note #video #شعر
@SingularThinker