User-unfriendly introduction to "user-friendly introduction to PAC-Bayes bounds"
3/3

اما اون راه حل دوم چیه؟ اونجا جاییه که PAC-Bayes Bounds در سال 1997-8 متولد شدن. این کرانها با یه تغییر رویکرد اساسی نسبت به رویکرد ERM بوجود میان. یعنی شما به جای اینکه دنبال یه پارامتر خاصی بگردی و بعد کران بالای خطا برای طبقه بند با استفاده از اون پارامتر پیدا بکنی میگی چی میشه اگه من یه توزیع احتمالی روی مجموعه پارامترها داشته باشم و بیایم برای یه نمونه از اون توزیع کران خطا پیدا کنم. اینجاست که مشخص میشه چرا اسم Bayes رو میذارن رو این روش. دیگه از آمار فراوانی گرایانه خارج میشیم و وارد آمار بیزی میشیم. دیگه پارامترهای مدل قطعی یا deterministic نیستند و خودشون تصادفی هستند و دارن از یه تابع توزیعی میان که حالا خوبیش اینه که کنترلش دست ماست. و این طوریه که این باندها متولد میشن.

و اسپویلر آلرت⚠️:‌این کران های بالا در خیلی از موارد قابل محاسبه و قابل قبول هستند

میدونم توضیح دادن ریاضی با متن کار خیلی جالبی نیست ولی صرفا چون این PAC-Bayes boundsها به نظرم خیلی موضوع جالبی بود و یه دید باحالی به مسائل میداد خواستم یه تیزر طور برم و توصیه کنم که User-friendly introduction to PAC-Bayes bounds
از آقا Pierre Alquier رو بخونید و لذتشو ببرید. (حداقل فصل اولش رو)

یه مشکلی که من موقع تحصیل ارشدم داشتم این بود که کسایی که یادگیری ماشین تدریس میکردن مفاهیم نظری رو مسلط نبودن و بنابراین خوب هم تدریسش نمیکردن و اصن من نمیدونستم که این چیزا چین و برای همین کلی سوال داشتم که اصن نمیدونستم باید کجا دنبال جوابش بگردم.
تو شریف فک کنم کمی اوضاع بهتر باشه و یه سری درس تئوری تدریس بشه هنوز.
خلاصه هدف این بود که سر نخ کنجکاوی بدم و گرنه میدونم خیلی سخته دنبال کردن یه متن برای فهمیدن یه سری معادله.

داشتم میدیدم این چیزایی که دیشب نوشتم واقعا مدیوم و مدل انتقالش user-friendly نبود اصلا😂 تبدیلشون کردم به user-unfriendly :)))

Please RT - Open PhD position in my group at the Donders Center for Neuroscience, Radboud University.

We're looking for a PhD candidate interested in developing theories of learning in neural networks.

Applications are open until October 20th.

Info: https://www.ru.nl/en/working-at/job-opportunities/phd-position-theory-of-learning-in-artificial-and-biologically-inspired-neural-networks

🔗 Alessandro Ingrosso (@ai_ngrosso)

#phd_position
@SingularThinker

دیسلایک راجع به این پوزیشن خاصه که گذاشتم یا اعتراض به اینکه چرا پوزیشن میذارم؟🤔چون من نمیشناختم طرفو ولی دیدم توییت کرده ددلاینشم ۸ روز دیگه است گفتم بفرستم.
پ.ن: خلاصه اگه چیزی میدونید به ما هم بگید. من دوست دارم بازخورد بگیرم از شمایی که براتون مهمه و ری‌اکت میذارید. اگه خواستید لینک ناشناسم هست به هر حال.

https://youtu.be/hT-dD56TN9Y
#video
@SingularThinker

Internship in AI @ MPI
——————————————
🌍 Ready for a transformative summer in Germany? Apply NOW for the CaCTüS Internship! 🇩🇪🌞

CaCTüS (Computation & Cognition Tübingen Summer Internship) is a fully funded, 3-month research internship taking place in summer 2026, hosted by the Max Planck Institute for Biological Cybernetics, the Tübingen AI Center and us.

🌱 Why CaCTüS? You’ll dive into groundbreaking projects in hashtag#MachineLearning, hashtag#TheoreticalNeuroscience, hashtag#BehavioralExperiments, and hashtag#DataAnalysis, surrounded by experts in hashtag#Tübingen and hashtag#Stuttgart, Germany.

https://www.projects.tuebingen.mpg.de/

تا حالا به این فک کردید که الگوریتم Gradient Descent از کجا اومده؟

از یه طرف میشه که فک کرد که این الگوریتم محصول گسسته سازی gradient flow عه ولی ازین نگاه من خیلی intuition ای نمیگیرم(اگه شما ولی دید خاصی دارید بگید حتما بهم) ولی از یه طرف دیگه میشه اون رو یک حالت خاص از اصل steepest descent دونست.

یعنی چی؟ ‌یعنی وقتی که شما اگه در لحظه t هستی، مقدار متغییرت در لحظه t+1 رو طوری انتخاب می کنی که بیشترین میزان کاهش در تابع هدفت داشته باشی. این رو بهش میگیم اصل بیشترین کاهش. حالا اگه بیای بسط تیلور رو تا مرتبه اول برای تابع هدفت حول نقطه x_t بنویسی و بخوای طبق اصل بیشترین کاهش پیش بری باید یه قدم فیلی(با طول بینهایت) در راستای معکوس گرادیان ورداری که چنین چیزی مناسب نیست چون تقریب مرتبه اولت فقط در همسایگی نقطه x_t ات درست بوده.

پس حالا میای میگی که یه قید به مسئله اضافه میکنیم در عین این که میخوایم اصل بیشترین کاهش رو رعایت کنیم. و اون این قید هستش که در یک همسایگی از نقطه x_t باقی بمونم. حالا اینجا باید بیایم مفهوم همسایگی رو تعریف کنیم که منظورمون چیه؟
حالت پیش فرض چیه که همه بلدیم؟ بله، فاصله ی اقلیدسی. پس با فرض داشتن فضای اقلیدسی و اعمال اصل بیشترین کاهش می رسیم به الگوریتم gradient descent ولی همون طور که از متن برمیاد میتونیم فاصله ها و فضاهای دیگری رو در نظر بگیریم و به چیزای دیگه ای برسیم.

اینجاست که اسم natural gradient استفاده میشه. اگه به نظرتون این موارد جذابه حتما توصیه میکنم این بلاگ پست زیبا رو بخونید:
https://andrewcharlesjones.github.io/journal/natural-gradients.html#appendix

#note
@SingularThinker

نمی‌دونم هیچ وقت فک نکنم شده باشه که در مورد کانمن تو اینجا نوشته باشم اون موقع که فک کنم خیلی درگیرش بودم، تو این کانال فعال نبودم. یه تایمی تو ارشد من داشتم تزم رو در مسیر کارای این بزرگوار تعریف میکردم.

خلاصه که اگه نمیشناسیدش، برنده نوبل اقتصاد و از افراد برجسته در زمینه اقتصاد رفتاری و علم تصمیم‌گیری بود. این بنده خدا در مارچ ۲۰۲۴ می‌میره و اخیرا معلوم میشه که مرگش به صورت طبیعی نبوده و با خواست خودش و به کمک پزشکان در سوئیس در ۹۰ سالگی به عمر خودش پایان داده.

این قضیه خیلی جنجال برانگیز شده و عباس سیدین، یکی از جالب‌انگیزترین تولیدکنندگان محتوا از نظر من‌، تو قسمت آخر کانال یوتیوبش در مورد این ماجرا صحبت میکنه.
https://youtu.be/2HSwnOkiyt4?si=Fg4exl8XesCy02c8


@SingularThinker

آرش افراز یکی از جالب‌ترین آدم‌هاییه که من تو زندگیم شناختم. شاید با همون ویدیوی چندقیقه‌ای صحبتش درباره اراده آزاد که از BBC منتشر شد بشناسیدش.

خودش تو بخشی از معرفیش می‌نویسه:
[ از کودکی علاقۀ دوگانه‌ام به علوم تجربی و علوم انسانی مرا زیر فشار انتخاب گذاشت – انتخابی که همچنان آن را انکار می‌کنم. علوم تجربی را دوست داشتم چون دقیق و عینی (objective) بودند. علوم انسانی را دوست داشتم چون به تجربۀ انسانی مربوط بودند، که بنا به تعریف موضوعی ذهنی‌ست (subjective). از دانشکده پزشکی دانشگاه تهران دکترای طب گرفتم امّا طبابت خرسندم نکرد، که اگرچه راجع به عینیت انسان بود، در آن از ذهنیت خبری نبود. در نهایت علوم اعصاب‌ (neuroscience) را محل تقاطع علایقم یافتم: مغز موجودیتی عینی‌ست که ذهن می‌زاید، پس زندگی را بر سر فهمیدنش گذاشتم. در تمام این سالیان،‌ کشف و شهود علمی را نه ناقض، بل مکمل علایقم در تاریخ و ادبیات یافتم. برای من، تاریخ به ادبیات همان نسبتی را دارد که پزشکی به روانشناسی: اولی عینی‌ست و دومی ذهنی و یکی بدون دیگری قابل درک نیست...]

این رو از این جهت گفتم که به تازگی اولین رمانشون رو به اسم "مات پروانه" منتشر کردن که دریافتش برای ایرانیان داخل کشور رایگانه و می‌تونید از طریق سایت انتشارات نوگام دانلود کنید.

https://www.nogaam.com/book/2475/

حکایت «ماتِ پروانه» از زبان یک دانشجوی پزشکی روایت می‌شود که از مسألۀ مرگ آدمی دغدغه‌­ای وسواس‌­گونه­ دارد. او نسخۀ خطی کهنسالی را از عمویش هدیه می‌گیرد و در آن، رمز و راز آیینی را می‌­یابد که به «تسخیر موکل اسرار» راه می­‌برد – جادویی که به او اجازه می‌دهد گذارهایی از زندگی گذشتگان را تجربه کند. راوی که در پی سوال‌هایش در مورد معنای مرگ و زندگی، به معمای مرگ امیر معین‌الدین پروانه، وزیر نیرومند سلاجقهٔ روم و حامی نامدار مولانا جلال‌الدین رومی، علاقه‌مند شده، موکلِ اسرارِ پروانه را تسخیر می‌کند تا سر از کار او در بیاورد. از اینجا خط زمانی داستان دو شاخه می‌شود و وقایع زمان حال و گذشتۀ تسخیر شده، در دو لایۀ زمانی موازی به سوی پایان داستان حرکت می‌کنند.

فایل رمان دکتر آرش افراز،
مات پروانه
#neurobooks
@Sourceofneuroscience

چرا نمونه گیری از توزیع گیبس سخت است؟
1/n

برای جواب به این سوال من اول فک کردم که خب چرا نمونه گیری از بقیه توزیع ها آسونه اصن؟‌یعنی مثلا اگه من یه توزیع گوسی داشته باشم چطوری میتونم نمونه های مستقل تولید کنم؟

برای جواب به این سوال، سلطان Agora اینجا اشاره میکنه که ما در عمل چطوری با استفاده از یک فرآیند deterministic میایم و یه عدد تصادفی تولید میکنیم به طوری که یه نمونه مستقل از توزیع یکنواخت بین صفر و یک باشه.
اگه میخواید فرآیندش رو هم ببینید یه همچین چیزیه :
X_{n+1} = (aX_n + c) mod m

که آخرش عدد بدست آمده رو تقسیم بر m میکنیم و بدین صورت یک نمونه از توزیع یکنواخت بین صفر (بسته) و یک (باز) بهمون تحویل میده.
این قطعی بودن فرآیند این فایده رو داره که وقتی seed که درواقع همون مقدار اولیه این فرآیند هست رو ثابت در نظر بگیریم هر بار به یک عدد یکسان میرسیم و از طرفی زمانی که خودمون این نقطه اولیه رو به عنوان ورودی نمیدیم کامپیوتر میاد و اون رو از جایی میخونه که دسترسی بهش آسون نباشه و به این طریق عدد تولیدی رو غیرقابل پیش بینی میکنه که در واقع به همین خاطر بهش میگن pseudo-random.

خب خلاصه به هر تقدیر ما یه نمونه تصادفی از توزیع یکنواخت بین صفر تا یک تولید میکنیم، حالا کاری که میمونه انجام بدیم اینه که بیایم و اون رو تبدیلش کنیم به یه نمونه از توزیع گوسی استاندارد. این کار به طور کلی با دونستن تابع وارون CDF انجام پذیره.

X = F^{-1}(U)

بدین صورت که اگه شما بدونی تابع F در واقع CDF گوسی استاندارد هست و U یک نمونه از توزیع یکنواخت بین صفر تا یک میدونی که X یک نمونه از توزیع گوسی استاندارد خواهد بود. بعد از اون، شما میتونی با یه ضرب و تقسیم از هر توزیع گوسی با میانگین و واریانس دلخواه نمونه داشته باشی.

ولی حالا مشکل اینجاست که چون CDF گوسی تابع error function داره که ما دقیق نمیدونیم چی به چیه، وارونش که دیگه اصلا نمیدونیم چیه ولی به صورت عددی در هر صورت میشه یه کاریش کرد و کار رو جلو برد، تازه راه های بهتری هم وجود داره که یکی از این روش ها Box-Muller Transform هست که کاری باهاش نداریم.

خب پس تا اینجا یه ایده کلی بدستمون رسید که اگه CDF وارون یا حتی خود CDF رو داشته باشیم میتونیم با ایجاد یک عدد تصادفی از توزیع یکنواخت از هر توزیع دلخواهی نمونه تولید کنیم.
به این روش میگن Inverse Transform Sampling.

خب مشکل تابع گیبس اینه که حساب کردن CDF به این راحتی نیست. در واقع حتی حساب کردن PDF به طور دقیق هم کار راحتی نیست. اصن توزیع گیبس چه شکلیه؟
P(x) = e^{-\beta E(x)} / Z
اینجا beta در واقع وارون دما هست و E هم تابع انرژی در نظر بگیرید. حالا Z چیه؟
Z = \sum_{x} e^{-\beta E(x)} or
Z = \int e^{-\beta E(x)} dx
که بهش تابع افراز گفته میشه و در واقع نقش normalization رو بازی میکنه تا تابع P بشه یه pdf که جمع یا انتگرال روی x بشه یک. و مشکل اینجاست که پیدا کردن یه فرم تحلیلی براش در حالت کلی سخت و مشکله. پس اینجا ظاهرا به بن بست رسیدیم و به روش های دیگه ای احتیاج داریم که بتونیم از توزیع گیبس نمونه برداریم.


#notes
@SingularThinker