Please RT - Open PhD position in my group at the Donders Center for Neuroscience, Radboud University.

We're looking for a PhD candidate interested in developing theories of learning in neural networks.

Applications are open until October 20th.

Info: https://www.ru.nl/en/working-at/job-opportunities/phd-position-theory-of-learning-in-artificial-and-biologically-inspired-neural-networks

🔗 Alessandro Ingrosso (@ai_ngrosso)

#phd_position
@SingularThinker

دیسلایک راجع به این پوزیشن خاصه که گذاشتم یا اعتراض به اینکه چرا پوزیشن میذارم؟🤔چون من نمیشناختم طرفو ولی دیدم توییت کرده ددلاینشم ۸ روز دیگه است گفتم بفرستم.
پ.ن: خلاصه اگه چیزی میدونید به ما هم بگید. من دوست دارم بازخورد بگیرم از شمایی که براتون مهمه و ری‌اکت میذارید. اگه خواستید لینک ناشناسم هست به هر حال.

https://youtu.be/hT-dD56TN9Y
#video
@SingularThinker

Internship in AI @ MPI
——————————————
🌍 Ready for a transformative summer in Germany? Apply NOW for the CaCTüS Internship! 🇩🇪🌞

CaCTüS (Computation & Cognition Tübingen Summer Internship) is a fully funded, 3-month research internship taking place in summer 2026, hosted by the Max Planck Institute for Biological Cybernetics, the Tübingen AI Center and us.

🌱 Why CaCTüS? You’ll dive into groundbreaking projects in hashtag#MachineLearning, hashtag#TheoreticalNeuroscience, hashtag#BehavioralExperiments, and hashtag#DataAnalysis, surrounded by experts in hashtag#Tübingen and hashtag#Stuttgart, Germany.

https://www.projects.tuebingen.mpg.de/

تا حالا به این فک کردید که الگوریتم Gradient Descent از کجا اومده؟

از یه طرف میشه که فک کرد که این الگوریتم محصول گسسته سازی gradient flow عه ولی ازین نگاه من خیلی intuition ای نمیگیرم(اگه شما ولی دید خاصی دارید بگید حتما بهم) ولی از یه طرف دیگه میشه اون رو یک حالت خاص از اصل steepest descent دونست.

یعنی چی؟ ‌یعنی وقتی که شما اگه در لحظه t هستی، مقدار متغییرت در لحظه t+1 رو طوری انتخاب می کنی که بیشترین میزان کاهش در تابع هدفت داشته باشی. این رو بهش میگیم اصل بیشترین کاهش. حالا اگه بیای بسط تیلور رو تا مرتبه اول برای تابع هدفت حول نقطه x_t بنویسی و بخوای طبق اصل بیشترین کاهش پیش بری باید یه قدم فیلی(با طول بینهایت) در راستای معکوس گرادیان ورداری که چنین چیزی مناسب نیست چون تقریب مرتبه اولت فقط در همسایگی نقطه x_t ات درست بوده.

پس حالا میای میگی که یه قید به مسئله اضافه میکنیم در عین این که میخوایم اصل بیشترین کاهش رو رعایت کنیم. و اون این قید هستش که در یک همسایگی از نقطه x_t باقی بمونم. حالا اینجا باید بیایم مفهوم همسایگی رو تعریف کنیم که منظورمون چیه؟
حالت پیش فرض چیه که همه بلدیم؟ بله، فاصله ی اقلیدسی. پس با فرض داشتن فضای اقلیدسی و اعمال اصل بیشترین کاهش می رسیم به الگوریتم gradient descent ولی همون طور که از متن برمیاد میتونیم فاصله ها و فضاهای دیگری رو در نظر بگیریم و به چیزای دیگه ای برسیم.

اینجاست که اسم natural gradient استفاده میشه. اگه به نظرتون این موارد جذابه حتما توصیه میکنم این بلاگ پست زیبا رو بخونید:
https://andrewcharlesjones.github.io/journal/natural-gradients.html#appendix

#note
@SingularThinker

نمی‌دونم هیچ وقت فک نکنم شده باشه که در مورد کانمن تو اینجا نوشته باشم اون موقع که فک کنم خیلی درگیرش بودم، تو این کانال فعال نبودم. یه تایمی تو ارشد من داشتم تزم رو در مسیر کارای این بزرگوار تعریف میکردم.

خلاصه که اگه نمیشناسیدش، برنده نوبل اقتصاد و از افراد برجسته در زمینه اقتصاد رفتاری و علم تصمیم‌گیری بود. این بنده خدا در مارچ ۲۰۲۴ می‌میره و اخیرا معلوم میشه که مرگش به صورت طبیعی نبوده و با خواست خودش و به کمک پزشکان در سوئیس در ۹۰ سالگی به عمر خودش پایان داده.

این قضیه خیلی جنجال برانگیز شده و عباس سیدین، یکی از جالب‌انگیزترین تولیدکنندگان محتوا از نظر من‌، تو قسمت آخر کانال یوتیوبش در مورد این ماجرا صحبت میکنه.
https://youtu.be/2HSwnOkiyt4?si=Fg4exl8XesCy02c8


@SingularThinker

آرش افراز یکی از جالب‌ترین آدم‌هاییه که من تو زندگیم شناختم. شاید با همون ویدیوی چندقیقه‌ای صحبتش درباره اراده آزاد که از BBC منتشر شد بشناسیدش.

خودش تو بخشی از معرفیش می‌نویسه:
[ از کودکی علاقۀ دوگانه‌ام به علوم تجربی و علوم انسانی مرا زیر فشار انتخاب گذاشت – انتخابی که همچنان آن را انکار می‌کنم. علوم تجربی را دوست داشتم چون دقیق و عینی (objective) بودند. علوم انسانی را دوست داشتم چون به تجربۀ انسانی مربوط بودند، که بنا به تعریف موضوعی ذهنی‌ست (subjective). از دانشکده پزشکی دانشگاه تهران دکترای طب گرفتم امّا طبابت خرسندم نکرد، که اگرچه راجع به عینیت انسان بود، در آن از ذهنیت خبری نبود. در نهایت علوم اعصاب‌ (neuroscience) را محل تقاطع علایقم یافتم: مغز موجودیتی عینی‌ست که ذهن می‌زاید، پس زندگی را بر سر فهمیدنش گذاشتم. در تمام این سالیان،‌ کشف و شهود علمی را نه ناقض، بل مکمل علایقم در تاریخ و ادبیات یافتم. برای من، تاریخ به ادبیات همان نسبتی را دارد که پزشکی به روانشناسی: اولی عینی‌ست و دومی ذهنی و یکی بدون دیگری قابل درک نیست...]

این رو از این جهت گفتم که به تازگی اولین رمانشون رو به اسم "مات پروانه" منتشر کردن که دریافتش برای ایرانیان داخل کشور رایگانه و می‌تونید از طریق سایت انتشارات نوگام دانلود کنید.

https://www.nogaam.com/book/2475/

حکایت «ماتِ پروانه» از زبان یک دانشجوی پزشکی روایت می‌شود که از مسألۀ مرگ آدمی دغدغه‌­ای وسواس‌­گونه­ دارد. او نسخۀ خطی کهنسالی را از عمویش هدیه می‌گیرد و در آن، رمز و راز آیینی را می‌­یابد که به «تسخیر موکل اسرار» راه می­‌برد – جادویی که به او اجازه می‌دهد گذارهایی از زندگی گذشتگان را تجربه کند. راوی که در پی سوال‌هایش در مورد معنای مرگ و زندگی، به معمای مرگ امیر معین‌الدین پروانه، وزیر نیرومند سلاجقهٔ روم و حامی نامدار مولانا جلال‌الدین رومی، علاقه‌مند شده، موکلِ اسرارِ پروانه را تسخیر می‌کند تا سر از کار او در بیاورد. از اینجا خط زمانی داستان دو شاخه می‌شود و وقایع زمان حال و گذشتۀ تسخیر شده، در دو لایۀ زمانی موازی به سوی پایان داستان حرکت می‌کنند.

فایل رمان دکتر آرش افراز،
مات پروانه
#neurobooks
@Sourceofneuroscience

چرا نمونه گیری از توزیع گیبس سخت است؟
1/n

برای جواب به این سوال من اول فک کردم که خب چرا نمونه گیری از بقیه توزیع ها آسونه اصن؟‌یعنی مثلا اگه من یه توزیع گوسی داشته باشم چطوری میتونم نمونه های مستقل تولید کنم؟

برای جواب به این سوال، سلطان Agora اینجا اشاره میکنه که ما در عمل چطوری با استفاده از یک فرآیند deterministic میایم و یه عدد تصادفی تولید میکنیم به طوری که یه نمونه مستقل از توزیع یکنواخت بین صفر و یک باشه.
اگه میخواید فرآیندش رو هم ببینید یه همچین چیزیه :
X_{n+1} = (aX_n + c) mod m

که آخرش عدد بدست آمده رو تقسیم بر m میکنیم و بدین صورت یک نمونه از توزیع یکنواخت بین صفر (بسته) و یک (باز) بهمون تحویل میده.
این قطعی بودن فرآیند این فایده رو داره که وقتی seed که درواقع همون مقدار اولیه این فرآیند هست رو ثابت در نظر بگیریم هر بار به یک عدد یکسان میرسیم و از طرفی زمانی که خودمون این نقطه اولیه رو به عنوان ورودی نمیدیم کامپیوتر میاد و اون رو از جایی میخونه که دسترسی بهش آسون نباشه و به این طریق عدد تولیدی رو غیرقابل پیش بینی میکنه که در واقع به همین خاطر بهش میگن pseudo-random.

خب خلاصه به هر تقدیر ما یه نمونه تصادفی از توزیع یکنواخت بین صفر تا یک تولید میکنیم، حالا کاری که میمونه انجام بدیم اینه که بیایم و اون رو تبدیلش کنیم به یه نمونه از توزیع گوسی استاندارد. این کار به طور کلی با دونستن تابع وارون CDF انجام پذیره.

X = F^{-1}(U)

بدین صورت که اگه شما بدونی تابع F در واقع CDF گوسی استاندارد هست و U یک نمونه از توزیع یکنواخت بین صفر تا یک میدونی که X یک نمونه از توزیع گوسی استاندارد خواهد بود. بعد از اون، شما میتونی با یه ضرب و تقسیم از هر توزیع گوسی با میانگین و واریانس دلخواه نمونه داشته باشی.

ولی حالا مشکل اینجاست که چون CDF گوسی تابع error function داره که ما دقیق نمیدونیم چی به چیه، وارونش که دیگه اصلا نمیدونیم چیه ولی به صورت عددی در هر صورت میشه یه کاریش کرد و کار رو جلو برد، تازه راه های بهتری هم وجود داره که یکی از این روش ها Box-Muller Transform هست که کاری باهاش نداریم.

خب پس تا اینجا یه ایده کلی بدستمون رسید که اگه CDF وارون یا حتی خود CDF رو داشته باشیم میتونیم با ایجاد یک عدد تصادفی از توزیع یکنواخت از هر توزیع دلخواهی نمونه تولید کنیم.
به این روش میگن Inverse Transform Sampling.

خب مشکل تابع گیبس اینه که حساب کردن CDF به این راحتی نیست. در واقع حتی حساب کردن PDF به طور دقیق هم کار راحتی نیست. اصن توزیع گیبس چه شکلیه؟
P(x) = e^{-\beta E(x)} / Z
اینجا beta در واقع وارون دما هست و E هم تابع انرژی در نظر بگیرید. حالا Z چیه؟
Z = \sum_{x} e^{-\beta E(x)} or
Z = \int e^{-\beta E(x)} dx
که بهش تابع افراز گفته میشه و در واقع نقش normalization رو بازی میکنه تا تابع P بشه یه pdf که جمع یا انتگرال روی x بشه یک. و مشکل اینجاست که پیدا کردن یه فرم تحلیلی براش در حالت کلی سخت و مشکله. پس اینجا ظاهرا به بن بست رسیدیم و به روش های دیگه ای احتیاج داریم که بتونیم از توزیع گیبس نمونه برداریم.


#notes
@SingularThinker

اصل بر برائته!
#off_topic

این پرونده پژمان از همون دقیقه اولی که خوندمش منو مجذوب کرد‌، انگار یه چیزی اون ته وجودم دوباره زنده شد. همون حسی که با ذوق از اپیزودی به اپیزود بعدی کتاب صوتی جنایت مکافات میکشوندم. همون سوالِ جواب داده نشده که کی میتونه در مورد چنین پرونده‌ای قضاوت کنه؟ بر اساس چه شواهد و ادله‌ای؟ عدالت یعنی چی؟
همه اینا با توجه به قوانین فوق پیشرفته قضایی مملکت که حکم چنین اتهامی اعدامه و بی‌بازگشت، آدم رو بیشتر به فکر فرو میبره.

تو این بین شروع کردم با دوستام حرف زدن از جمله توی گروه فوتبالی که یکی پزشکه و اون یکی کارشناس امور قضایی. اول این که کارشناس قضایی میگه که بازپرس شواهد قوی‌ای داشته که قرار بازداشت صادر کرده و نه قرار وثیقه. همین الان احتمالا وکیلای پژمان به حکم بازداشت اعتراض کردن و رفته تجدید نظر و اگه حکم برنگرده یعنی شواهد قوی‌ترم هست‌. دوستم اخباری شنیده مبنی بر اینکه از برج ۲ این داستان شروع شده و کلی مکاتبه کردن با پزشکی قانونی و اینکه "تقریبا" تجاوز ثابت شده است. من همچنان ولی نمیفهمم که چطوری میشه تجاوز رو "ثابت" کرد حتی تقریبا؟
اون پزشکه میگه شواهد پزشکی قانونی هست؛ جراحت واژن، کبودی، اثرات زیر ناخن و فلان.

میگم اگه role play یا BDSM بوده باشه چی؟ دوست قاضیم میگه در تجاوز مفعول(مرد یا زن) معمولا دست و پا میزنه، کبودی‌ها و زخم‌های دور گردن و اطراف باسن و غیره بوجود میاد.

میپرسم خب اگه چنین شواهدی نباشه چی؟ میگه حکم سنگینه اگه شواهد کافی نباشه قرارِ منع تعقیب صادر میشه و متهم تبرئه میشه و آزاده. میگه خیلی از تجاوزها به دلیل نبود دلایل کافی اثبات نمیشه. میگه راستی یه پرونده‌ای بوده که بعدا از رو پیامک‌ها مشخص شد شاکی سکس خشن دوست داشته🤯

بهش گفتم عجب کار سختیه پسر قضاوت، خداقوت. به همه چی باید شک کنی، حتی هر حقیقتی ممکنه گمراه کننده و به قصد پنهان کردن حقیقت بزرگتری باشه. پزشکه میگه بعد یه سوال این شک وارد زندگی شخصیت نمیشه؟ اصن تو میتونی در تعاملات روزمره‌ات به همون راحتی با بقیه ارتباط برقرار کنی اصن؟

بحث ادامه داره میگه واسم سواله که چرا اصن پژمان فرار نکرده؟ یعنی اصن فک نمیکرده ممکنه ثابت بشه چیزی علیه‌‌اش؟

میگم خب ممکنه در اون لحظه حالت طبیعی نداشته تحت تاثیر دارو یا مواد بوده باشه. اوضاع بدتر میشه میپرسه اگه کسی در حالت غیرطبیعی تجاوز کنه حکمش چیه؟

به طور موازی با صحبتای این گروه دارم با دوستای دیگه‌ام هم صحبت میکنم. اون یکی باور کرده داستان تجاوز رو و میگه امین فردین گفته بود این جمشیدی اصن معتاده میگم بابا خود امین فردین چاه رذالته تو به حرف اون استناد میکنی؟
بعد یه ویدیو تو اینستا میفرسته که جمشیدی مشغول تودماغیه که معلوم نیست راستکیه یا فیکه. بنظر تصمیمشو گرفته متهم گناهکاره، اعدامش کنید ولی با این همه، بحثای جالبی داشتیم. میگه به هر حال حتی اگه تبرئه بشه و بیارنش بیرون زندگی حرفه‌ایش به عنوان بازیگر تموم شده. این یعنی ازون طرف حتی پرونده دارای مجازات بی‌بازگشتیه، این دفعه اما نه براساس قوانین اسلامی و قاضی بلکه بر اساس قضاوت ما مردم.

با خانواده‌ام صحبت میکنم داداشم استوری دوستای پژمان رو میفرستن که این خانوم اصن رفت و آمد داشته به اپارتمان و فیلماش هست و این چیزا. ما رفتیم شهادت دادیم و پژمان زود میاد بیرون. اون یکی میگه من که از اول گفتم دختره خودش خواسته بره خونه‌اش چطوری میشه به زور برده باشدش؟

میگم بیا فرض بگیم که این طوره، چی میشه نتیجه گرفت ازین اصلا؟ میگه پس لابد میخواسته که باهاش سکس کنه دیگه‌. جوش میارم، یه نفیس عمیق میکشم و سعی میکنم به سوهانی که روحم رو خراش میده بی‌توجهی کنم؛ ادامه میدم یعنی هر کی هر جا میره مهمونی معناش اینه که با سکس با صاب خونه راضیه؟ میگه نه ولی مطمئن باش اون دختره بوده. اینکه از کجا باید مطمئن باشم، مشخص نیست ولی دیگه ادامه نمیدم.

قضاوت سریع آدما خسته‌‌ام میکنه ولی از اون طرف این رو هم میفهم که ریسک این هم هست که مته به خشخاش گذاشتن آدمایی مثل من سیستم قضایی رو به بی‌عملی بکشونه و بشه همون حرفی که دوستم میزد بسیاری از تجاوزها در ایران به دلیل عدم شواهد کافی اثبات نمیشن و متجاوز راست راست میچرخه.

انگار ته این اقیانوس پر آشوب میرسی به یه چیز که اصل بر برائته مگر اینکه خلافش "ثابت" شود و اینجاست که برمیگردیم به سوال اول چطوری میشه چیزها رو در خارج از ریاضی "ثابت" کرد؟
نقطه سر خط.

مرسی که خوندید. مخلص❤️
@SingularThinker

کاش میشد یه سری verification برای استدلال های آدم ها در دادگاه هم نوشت.
من که چیزی ازین چیزا سر در نمیارم متاسفانه ولی ایشالا KC و بقیه بعد برنامه های کامپیوتری یه فکری به حال این هم بکنن.

بچه‌ها من فقط دوباره یه تاکیدی بکنم در مورد این فایلی که گذاشتم، اینکه خودشون این فایل رو برای ایرانیان داخل کشور رایگان گذاشتن، طبعا شما اگه خارج از کشورید میتونید برید از وبسایتشون خریداری کنید.

چرا نمونه گیری از توزیع گیبس سخت است؟
2/n

خب تا اینجای قصه رو پیش اومدیم که چطوری میتونیم از یک توزیع یکنواخت نمونه های شبه تصادفی تولید کنیم و بعد با استفاده از دونستن وارون تابع CDF میتونیم از یک توزیع گوسی دلخواه هم نمونه برداری کنیم ولی مشکل اینجا بود که برای بعضی از تابع توزیع ها مثل Gibbs/Boltzmann نمیتونیم این کار رو بکنیم چون خود تابع CDF مشخص نیست که چیه چه برسه به وارونش . سختی کار هم در محاسبه ضریب نرمالیزاسیون هستش که در فیزیک آماری بهش میگن partition function.

در علم آمار، Markov Chain Monte Carlo یا به طور خلاصه MCMC به دسته ای از الگوریتم ها میگن که
ما اجازه میده از هر توزیع دلخواهی نمونه برداری کنیم.
اصل کار به این صورت هستش که ما میایم و یک Markov chain درست میکنیم که توزیع تعادلیش توزیع مدنظر ما باشه. بنابراین با جلو رفتن تو Markov chain ما قدم به قدم به یک نمونه از توزیع دلخواه مون آشنا تر میشیم.(اینجا قطعا کلی جزئیات ریاضیاتی هست که تضمین میکنه از هر توزیع اولیه ای برای نقطه اولیه زنجیره مون شروع کنیم با گذشت زمان اطلاعات اولیه رو فراموشش میکنیم یعنی mixing اتفاق میفته و از طرف دیگه چون فرآیندمون ergodic هست میتونیم امید ریاضی و غیره رو به راحتی حساب کنیم. من یکم سعی کرده بودم که تو این پست راجع به مفهوم mixing توضیح بدم و یک گیف هم آوردم در ادامه اش تا شاید کار رو بهتر در بیاره.)

روش های بسیار متنوع و معروفی ذیل روش های MCMC قرار میگیرن که شاید بشه گفت معروف ترینش الگوریتم Metropolis-Hastings باشه که روش بسیار جالب و زیباییه به نظرم چون به شدت وسیعه ولی متاسفانه این روش هم مثل خیلی از روش های دیگه دچار نفرین ابعاد curse of dimensionality هست و در ابعاد بالا خیلی خوب کار نمیکنه.

اما الان میخوام صرفا رو یه دسته ی خاصی از الگوریتم های MCMC هستن که بهشون میگن Langevin-based. در واقع در اینجا اون فرآیند تصادفی اصلی که پشت Markov chain هست میشه Langevin dynamics. چرا این دسته از فرآیندهای تصادفی جالبن؟‌ چون اولا دوباره خود این فرآیند به عنوان یک مدل برای توضیح حرکت ذرات کوچک در یک سیال استفاده شده اما به نظر میرسه باهاش میشه چیزهای مختلفی رو باهاش مدل کرد؛ از مکانیک کوانتوم و دینامیک مولکولی گرفته تا اقتصاد و علوم اعصاب و حتی مدل های مولد مثل diffusion.

برای اینکه بتونی از این روش استفاده بکنی حتی لازم نیست که تابع توزیعی که میخوای ازش نمونه بگیری، p(x)، رو کامل بدونی کافیه فقط گرادیان log p(x) رو بدونی. بنابراین از یک نقطه تصادفی شروع میکنی و براساس فرآیند Langevin تو هر مرحله بردارت رو بروزرسانی میکنی و در نهایت (با فرض کوچیک بودن step size) به یک نمونه از توزیع مدنظر میرسی. حالا این بروزرسانی که در واقع نسخه ی گستته سازی شده فرآیند اصلیه چطوریه؟
x_new = x_old - step_size * grad(log p(x)) + sqrt(step_size)* noise

که نمیدونم بهش دقت کردید یا نه به شدت شبیه Gradient Descent عه فقط یه نویز گوسی استاندارد هم بهش اضافه شده که این نویز قراره کمک کنه و ما رو از گیر
افتادن تو local extermum ها نجات بده.

حالا یه سری مشکلات سر راه این الگوریتم معمولا پیش میاد که یکی از اون ها مسئله ی بعد بالاست باز هم ولی یکی دیگه وقتی که ما فرآیندی داریم که به اصطلاح slowly mixing عه. یعنی نقطه هایی که کنار هم بودن در اول کار همین طوری با جلو رفتن زمان نزدیک به هم باقی میمونه و دیر فراموش میکنن(کینه شتری دارن و حافظه sheldon cooper)برای همین در این جور مواقع ما عملا گیر میکنیم.

چون که حس میکنم تا همینجاش کلی مفاهیم سخت رو به صورت متن دارم منتقل میکنم و عملا از حوصله شاید خارج شده باشم متوقف میشم و بهتون این بلاگ پست جالب رو توصیه میکنم که اگه دوست داشتید بیشتر بخونید میتونید برید و این رو بخونید و از دیدن گیف هاش لذت ببرید:
https://friedmanroy.github.io/blog/2022/Langevin/

@Singularthinker

خب در نهایت سعی کردم یه توضیحاتی در مورد این تیکه بدم و بگم که چرا چنین چیزی داریم و چطوری کار میکنه. نمیدونم تونستم خوب توضیح بدم یا نه ولی اره بلاخره که این طوری.