میدونم توضیح دادن ریاضی با متن کار خیلی جالبی نیست ولی صرفا چون این PAC-Bayes boundsها به نظرم خیلی موضوع جالبی بود و یه دید باحالی به مسائل میداد خواستم یه تیزر طور برم و توصیه کنم که User-friendly introduction to PAC-Bayes bounds
از آقا Pierre Alquier رو بخونید و لذتشو ببرید. (حداقل فصل اولش رو)

یه مشکلی که من موقع تحصیل ارشدم داشتم این بود که کسایی که یادگیری ماشین تدریس میکردن مفاهیم نظری رو مسلط نبودن و بنابراین خوب هم تدریسش نمیکردن و اصن من نمیدونستم که این چیزا چین و برای همین کلی سوال داشتم که اصن نمیدونستم باید کجا دنبال جوابش بگردم.
تو شریف فک کنم کمی اوضاع بهتر باشه و یه سری درس تئوری تدریس بشه هنوز.
خلاصه هدف این بود که سر نخ کنجکاوی بدم و گرنه میدونم خیلی سخته دنبال کردن یه متن برای فهمیدن یه سری معادله.

داشتم میدیدم این چیزایی که دیشب نوشتم واقعا مدیوم و مدل انتقالش user-friendly نبود اصلا😂 تبدیلشون کردم به user-unfriendly :)))

Please RT - Open PhD position in my group at the Donders Center for Neuroscience, Radboud University.

We're looking for a PhD candidate interested in developing theories of learning in neural networks.

Applications are open until October 20th.

Info: https://www.ru.nl/en/working-at/job-opportunities/phd-position-theory-of-learning-in-artificial-and-biologically-inspired-neural-networks

🔗 Alessandro Ingrosso (@ai_ngrosso)

#phd_position
@SingularThinker

دیسلایک راجع به این پوزیشن خاصه که گذاشتم یا اعتراض به اینکه چرا پوزیشن میذارم؟🤔چون من نمیشناختم طرفو ولی دیدم توییت کرده ددلاینشم ۸ روز دیگه است گفتم بفرستم.
پ.ن: خلاصه اگه چیزی میدونید به ما هم بگید. من دوست دارم بازخورد بگیرم از شمایی که براتون مهمه و ری‌اکت میذارید. اگه خواستید لینک ناشناسم هست به هر حال.

https://youtu.be/hT-dD56TN9Y
#video
@SingularThinker

Internship in AI @ MPI
——————————————
🌍 Ready for a transformative summer in Germany? Apply NOW for the CaCTüS Internship! 🇩🇪🌞

CaCTüS (Computation & Cognition Tübingen Summer Internship) is a fully funded, 3-month research internship taking place in summer 2026, hosted by the Max Planck Institute for Biological Cybernetics, the Tübingen AI Center and us.

🌱 Why CaCTüS? You’ll dive into groundbreaking projects in hashtag#MachineLearning, hashtag#TheoreticalNeuroscience, hashtag#BehavioralExperiments, and hashtag#DataAnalysis, surrounded by experts in hashtag#Tübingen and hashtag#Stuttgart, Germany.

https://www.projects.tuebingen.mpg.de/

تا حالا به این فک کردید که الگوریتم Gradient Descent از کجا اومده؟

از یه طرف میشه که فک کرد که این الگوریتم محصول گسسته سازی gradient flow عه ولی ازین نگاه من خیلی intuition ای نمیگیرم(اگه شما ولی دید خاصی دارید بگید حتما بهم) ولی از یه طرف دیگه میشه اون رو یک حالت خاص از اصل steepest descent دونست.

یعنی چی؟ ‌یعنی وقتی که شما اگه در لحظه t هستی، مقدار متغییرت در لحظه t+1 رو طوری انتخاب می کنی که بیشترین میزان کاهش در تابع هدفت داشته باشی. این رو بهش میگیم اصل بیشترین کاهش. حالا اگه بیای بسط تیلور رو تا مرتبه اول برای تابع هدفت حول نقطه x_t بنویسی و بخوای طبق اصل بیشترین کاهش پیش بری باید یه قدم فیلی(با طول بینهایت) در راستای معکوس گرادیان ورداری که چنین چیزی مناسب نیست چون تقریب مرتبه اولت فقط در همسایگی نقطه x_t ات درست بوده.

پس حالا میای میگی که یه قید به مسئله اضافه میکنیم در عین این که میخوایم اصل بیشترین کاهش رو رعایت کنیم. و اون این قید هستش که در یک همسایگی از نقطه x_t باقی بمونم. حالا اینجا باید بیایم مفهوم همسایگی رو تعریف کنیم که منظورمون چیه؟
حالت پیش فرض چیه که همه بلدیم؟ بله، فاصله ی اقلیدسی. پس با فرض داشتن فضای اقلیدسی و اعمال اصل بیشترین کاهش می رسیم به الگوریتم gradient descent ولی همون طور که از متن برمیاد میتونیم فاصله ها و فضاهای دیگری رو در نظر بگیریم و به چیزای دیگه ای برسیم.

اینجاست که اسم natural gradient استفاده میشه. اگه به نظرتون این موارد جذابه حتما توصیه میکنم این بلاگ پست زیبا رو بخونید:
https://andrewcharlesjones.github.io/journal/natural-gradients.html#appendix

#note
@SingularThinker

نمی‌دونم هیچ وقت فک نکنم شده باشه که در مورد کانمن تو اینجا نوشته باشم اون موقع که فک کنم خیلی درگیرش بودم، تو این کانال فعال نبودم. یه تایمی تو ارشد من داشتم تزم رو در مسیر کارای این بزرگوار تعریف میکردم.

خلاصه که اگه نمیشناسیدش، برنده نوبل اقتصاد و از افراد برجسته در زمینه اقتصاد رفتاری و علم تصمیم‌گیری بود. این بنده خدا در مارچ ۲۰۲۴ می‌میره و اخیرا معلوم میشه که مرگش به صورت طبیعی نبوده و با خواست خودش و به کمک پزشکان در سوئیس در ۹۰ سالگی به عمر خودش پایان داده.

این قضیه خیلی جنجال برانگیز شده و عباس سیدین، یکی از جالب‌انگیزترین تولیدکنندگان محتوا از نظر من‌، تو قسمت آخر کانال یوتیوبش در مورد این ماجرا صحبت میکنه.
https://youtu.be/2HSwnOkiyt4?si=Fg4exl8XesCy02c8


@SingularThinker

آرش افراز یکی از جالب‌ترین آدم‌هاییه که من تو زندگیم شناختم. شاید با همون ویدیوی چندقیقه‌ای صحبتش درباره اراده آزاد که از BBC منتشر شد بشناسیدش.

خودش تو بخشی از معرفیش می‌نویسه:
[ از کودکی علاقۀ دوگانه‌ام به علوم تجربی و علوم انسانی مرا زیر فشار انتخاب گذاشت – انتخابی که همچنان آن را انکار می‌کنم. علوم تجربی را دوست داشتم چون دقیق و عینی (objective) بودند. علوم انسانی را دوست داشتم چون به تجربۀ انسانی مربوط بودند، که بنا به تعریف موضوعی ذهنی‌ست (subjective). از دانشکده پزشکی دانشگاه تهران دکترای طب گرفتم امّا طبابت خرسندم نکرد، که اگرچه راجع به عینیت انسان بود، در آن از ذهنیت خبری نبود. در نهایت علوم اعصاب‌ (neuroscience) را محل تقاطع علایقم یافتم: مغز موجودیتی عینی‌ست که ذهن می‌زاید، پس زندگی را بر سر فهمیدنش گذاشتم. در تمام این سالیان،‌ کشف و شهود علمی را نه ناقض، بل مکمل علایقم در تاریخ و ادبیات یافتم. برای من، تاریخ به ادبیات همان نسبتی را دارد که پزشکی به روانشناسی: اولی عینی‌ست و دومی ذهنی و یکی بدون دیگری قابل درک نیست...]

این رو از این جهت گفتم که به تازگی اولین رمانشون رو به اسم "مات پروانه" منتشر کردن که دریافتش برای ایرانیان داخل کشور رایگانه و می‌تونید از طریق سایت انتشارات نوگام دانلود کنید.

https://www.nogaam.com/book/2475/

حکایت «ماتِ پروانه» از زبان یک دانشجوی پزشکی روایت می‌شود که از مسألۀ مرگ آدمی دغدغه‌­ای وسواس‌­گونه­ دارد. او نسخۀ خطی کهنسالی را از عمویش هدیه می‌گیرد و در آن، رمز و راز آیینی را می‌­یابد که به «تسخیر موکل اسرار» راه می­‌برد – جادویی که به او اجازه می‌دهد گذارهایی از زندگی گذشتگان را تجربه کند. راوی که در پی سوال‌هایش در مورد معنای مرگ و زندگی، به معمای مرگ امیر معین‌الدین پروانه، وزیر نیرومند سلاجقهٔ روم و حامی نامدار مولانا جلال‌الدین رومی، علاقه‌مند شده، موکلِ اسرارِ پروانه را تسخیر می‌کند تا سر از کار او در بیاورد. از اینجا خط زمانی داستان دو شاخه می‌شود و وقایع زمان حال و گذشتۀ تسخیر شده، در دو لایۀ زمانی موازی به سوی پایان داستان حرکت می‌کنند.

فایل رمان دکتر آرش افراز،
مات پروانه
#neurobooks
@Sourceofneuroscience

چرا نمونه گیری از توزیع گیبس سخت است؟
1/n

برای جواب به این سوال من اول فک کردم که خب چرا نمونه گیری از بقیه توزیع ها آسونه اصن؟‌یعنی مثلا اگه من یه توزیع گوسی داشته باشم چطوری میتونم نمونه های مستقل تولید کنم؟

برای جواب به این سوال، سلطان Agora اینجا اشاره میکنه که ما در عمل چطوری با استفاده از یک فرآیند deterministic میایم و یه عدد تصادفی تولید میکنیم به طوری که یه نمونه مستقل از توزیع یکنواخت بین صفر و یک باشه.
اگه میخواید فرآیندش رو هم ببینید یه همچین چیزیه :
X_{n+1} = (aX_n + c) mod m

که آخرش عدد بدست آمده رو تقسیم بر m میکنیم و بدین صورت یک نمونه از توزیع یکنواخت بین صفر (بسته) و یک (باز) بهمون تحویل میده.
این قطعی بودن فرآیند این فایده رو داره که وقتی seed که درواقع همون مقدار اولیه این فرآیند هست رو ثابت در نظر بگیریم هر بار به یک عدد یکسان میرسیم و از طرفی زمانی که خودمون این نقطه اولیه رو به عنوان ورودی نمیدیم کامپیوتر میاد و اون رو از جایی میخونه که دسترسی بهش آسون نباشه و به این طریق عدد تولیدی رو غیرقابل پیش بینی میکنه که در واقع به همین خاطر بهش میگن pseudo-random.

خب خلاصه به هر تقدیر ما یه نمونه تصادفی از توزیع یکنواخت بین صفر تا یک تولید میکنیم، حالا کاری که میمونه انجام بدیم اینه که بیایم و اون رو تبدیلش کنیم به یه نمونه از توزیع گوسی استاندارد. این کار به طور کلی با دونستن تابع وارون CDF انجام پذیره.

X = F^{-1}(U)

بدین صورت که اگه شما بدونی تابع F در واقع CDF گوسی استاندارد هست و U یک نمونه از توزیع یکنواخت بین صفر تا یک میدونی که X یک نمونه از توزیع گوسی استاندارد خواهد بود. بعد از اون، شما میتونی با یه ضرب و تقسیم از هر توزیع گوسی با میانگین و واریانس دلخواه نمونه داشته باشی.

ولی حالا مشکل اینجاست که چون CDF گوسی تابع error function داره که ما دقیق نمیدونیم چی به چیه، وارونش که دیگه اصلا نمیدونیم چیه ولی به صورت عددی در هر صورت میشه یه کاریش کرد و کار رو جلو برد، تازه راه های بهتری هم وجود داره که یکی از این روش ها Box-Muller Transform هست که کاری باهاش نداریم.

خب پس تا اینجا یه ایده کلی بدستمون رسید که اگه CDF وارون یا حتی خود CDF رو داشته باشیم میتونیم با ایجاد یک عدد تصادفی از توزیع یکنواخت از هر توزیع دلخواهی نمونه تولید کنیم.
به این روش میگن Inverse Transform Sampling.

خب مشکل تابع گیبس اینه که حساب کردن CDF به این راحتی نیست. در واقع حتی حساب کردن PDF به طور دقیق هم کار راحتی نیست. اصن توزیع گیبس چه شکلیه؟
P(x) = e^{-\beta E(x)} / Z
اینجا beta در واقع وارون دما هست و E هم تابع انرژی در نظر بگیرید. حالا Z چیه؟
Z = \sum_{x} e^{-\beta E(x)} or
Z = \int e^{-\beta E(x)} dx
که بهش تابع افراز گفته میشه و در واقع نقش normalization رو بازی میکنه تا تابع P بشه یه pdf که جمع یا انتگرال روی x بشه یک. و مشکل اینجاست که پیدا کردن یه فرم تحلیلی براش در حالت کلی سخت و مشکله. پس اینجا ظاهرا به بن بست رسیدیم و به روش های دیگه ای احتیاج داریم که بتونیم از توزیع گیبس نمونه برداریم.


#notes
@SingularThinker

اصل بر برائته!
#off_topic

این پرونده پژمان از همون دقیقه اولی که خوندمش منو مجذوب کرد‌، انگار یه چیزی اون ته وجودم دوباره زنده شد. همون حسی که با ذوق از اپیزودی به اپیزود بعدی کتاب صوتی جنایت مکافات میکشوندم. همون سوالِ جواب داده نشده که کی میتونه در مورد چنین پرونده‌ای قضاوت کنه؟ بر اساس چه شواهد و ادله‌ای؟ عدالت یعنی چی؟
همه اینا با توجه به قوانین فوق پیشرفته قضایی مملکت که حکم چنین اتهامی اعدامه و بی‌بازگشت، آدم رو بیشتر به فکر فرو میبره.

تو این بین شروع کردم با دوستام حرف زدن از جمله توی گروه فوتبالی که یکی پزشکه و اون یکی کارشناس امور قضایی. اول این که کارشناس قضایی میگه که بازپرس شواهد قوی‌ای داشته که قرار بازداشت صادر کرده و نه قرار وثیقه. همین الان احتمالا وکیلای پژمان به حکم بازداشت اعتراض کردن و رفته تجدید نظر و اگه حکم برنگرده یعنی شواهد قوی‌ترم هست‌. دوستم اخباری شنیده مبنی بر اینکه از برج ۲ این داستان شروع شده و کلی مکاتبه کردن با پزشکی قانونی و اینکه "تقریبا" تجاوز ثابت شده است. من همچنان ولی نمیفهمم که چطوری میشه تجاوز رو "ثابت" کرد حتی تقریبا؟
اون پزشکه میگه شواهد پزشکی قانونی هست؛ جراحت واژن، کبودی، اثرات زیر ناخن و فلان.

میگم اگه role play یا BDSM بوده باشه چی؟ دوست قاضیم میگه در تجاوز مفعول(مرد یا زن) معمولا دست و پا میزنه، کبودی‌ها و زخم‌های دور گردن و اطراف باسن و غیره بوجود میاد.

میپرسم خب اگه چنین شواهدی نباشه چی؟ میگه حکم سنگینه اگه شواهد کافی نباشه قرارِ منع تعقیب صادر میشه و متهم تبرئه میشه و آزاده. میگه خیلی از تجاوزها به دلیل نبود دلایل کافی اثبات نمیشه. میگه راستی یه پرونده‌ای بوده که بعدا از رو پیامک‌ها مشخص شد شاکی سکس خشن دوست داشته🤯

بهش گفتم عجب کار سختیه پسر قضاوت، خداقوت. به همه چی باید شک کنی، حتی هر حقیقتی ممکنه گمراه کننده و به قصد پنهان کردن حقیقت بزرگتری باشه. پزشکه میگه بعد یه سوال این شک وارد زندگی شخصیت نمیشه؟ اصن تو میتونی در تعاملات روزمره‌ات به همون راحتی با بقیه ارتباط برقرار کنی اصن؟

بحث ادامه داره میگه واسم سواله که چرا اصن پژمان فرار نکرده؟ یعنی اصن فک نمیکرده ممکنه ثابت بشه چیزی علیه‌‌اش؟

میگم خب ممکنه در اون لحظه حالت طبیعی نداشته تحت تاثیر دارو یا مواد بوده باشه. اوضاع بدتر میشه میپرسه اگه کسی در حالت غیرطبیعی تجاوز کنه حکمش چیه؟

به طور موازی با صحبتای این گروه دارم با دوستای دیگه‌ام هم صحبت میکنم. اون یکی باور کرده داستان تجاوز رو و میگه امین فردین گفته بود این جمشیدی اصن معتاده میگم بابا خود امین فردین چاه رذالته تو به حرف اون استناد میکنی؟
بعد یه ویدیو تو اینستا میفرسته که جمشیدی مشغول تودماغیه که معلوم نیست راستکیه یا فیکه. بنظر تصمیمشو گرفته متهم گناهکاره، اعدامش کنید ولی با این همه، بحثای جالبی داشتیم. میگه به هر حال حتی اگه تبرئه بشه و بیارنش بیرون زندگی حرفه‌ایش به عنوان بازیگر تموم شده. این یعنی ازون طرف حتی پرونده دارای مجازات بی‌بازگشتیه، این دفعه اما نه براساس قوانین اسلامی و قاضی بلکه بر اساس قضاوت ما مردم.

با خانواده‌ام صحبت میکنم داداشم استوری دوستای پژمان رو میفرستن که این خانوم اصن رفت و آمد داشته به اپارتمان و فیلماش هست و این چیزا. ما رفتیم شهادت دادیم و پژمان زود میاد بیرون. اون یکی میگه من که از اول گفتم دختره خودش خواسته بره خونه‌اش چطوری میشه به زور برده باشدش؟

میگم بیا فرض بگیم که این طوره، چی میشه نتیجه گرفت ازین اصلا؟ میگه پس لابد میخواسته که باهاش سکس کنه دیگه‌. جوش میارم، یه نفیس عمیق میکشم و سعی میکنم به سوهانی که روحم رو خراش میده بی‌توجهی کنم؛ ادامه میدم یعنی هر کی هر جا میره مهمونی معناش اینه که با سکس با صاب خونه راضیه؟ میگه نه ولی مطمئن باش اون دختره بوده. اینکه از کجا باید مطمئن باشم، مشخص نیست ولی دیگه ادامه نمیدم.

قضاوت سریع آدما خسته‌‌ام میکنه ولی از اون طرف این رو هم میفهم که ریسک این هم هست که مته به خشخاش گذاشتن آدمایی مثل من سیستم قضایی رو به بی‌عملی بکشونه و بشه همون حرفی که دوستم میزد بسیاری از تجاوزها در ایران به دلیل عدم شواهد کافی اثبات نمیشن و متجاوز راست راست میچرخه.

انگار ته این اقیانوس پر آشوب میرسی به یه چیز که اصل بر برائته مگر اینکه خلافش "ثابت" شود و اینجاست که برمیگردیم به سوال اول چطوری میشه چیزها رو در خارج از ریاضی "ثابت" کرد؟
نقطه سر خط.

مرسی که خوندید. مخلص❤️
@SingularThinker