Mushroom Man
Photo
What is the "dumbed down summary" of your Master's/PhD thesis?
Forwarded from a pessimistic researcher (Kc)
یه آفر دیگه،
هر ایرانی در هر تایم زونی، یک قدم به تفسیر فلسفی کارای گودل نزدیک بشه، و دو قدم از AGI نامیدن هر لاطائلاتی فاصله بگیره.
هر ایرانی در هر تایم زونی، یک قدم به تفسیر فلسفی کارای گودل نزدیک بشه، و دو قدم از AGI نامیدن هر لاطائلاتی فاصله بگیره.
👍3👎1
Forwarded from a pessimistic researcher (Kc)
تو مقاله بعدی تعارف شابدوالعظیمی یاد LLM بدید و Ultra AGI رو خلق کنید
🔥6
Interested in a #PhD in machine learning & theoretical neuroscience?
Applications for 2026 entry to the Gatsby Unit PhD programme are now open!
💰 Fully-funded 4-year programme
🤝 Close links to @SWC_Neuro & @uclcsml
ℹ️ http://www.ucl.ac.uk/life-sciences/gatsby/study-and-work/gatsby-unit-phd-programme
🔗 Gatsby Computational Neuroscience Unit (@GatsbyUCL)
#phd_position
@SingularThinker
Applications for 2026 entry to the Gatsby Unit PhD programme are now open!
💰 Fully-funded 4-year programme
🤝 Close links to @SWC_Neuro & @uclcsml
ℹ️ http://www.ucl.ac.uk/life-sciences/gatsby/study-and-work/gatsby-unit-phd-programme
🔗 Gatsby Computational Neuroscience Unit (@GatsbyUCL)
#phd_position
@SingularThinker
🔥2
ELLIS PhD Program: Call for Applications 2025 and Info Session
The ELLIS PhD Program is now open for applications for 2026! The program offers joint supervision with advisors in different European countries, including at least six months of exchange, and connects students with both academic and industry mentors. Interested candidates should apply online through the ELLIS application portal by October 31, 2025, 23:59 AoE.
Virtual info session:
On October 1st, there will be an information session for prospective PhD students providing an overview of the ELLIS PhD program, the call for applications, and the expected application material to provide.
📍 Virtual
📅 October 1, 2025
🕓 16:00 CET
🔗 Register to join info session
#phd_position
@SingularThinker
The ELLIS PhD Program is now open for applications for 2026! The program offers joint supervision with advisors in different European countries, including at least six months of exchange, and connects students with both academic and industry mentors. Interested candidates should apply online through the ELLIS application portal by October 31, 2025, 23:59 AoE.
Virtual info session:
On October 1st, there will be an information session for prospective PhD students providing an overview of the ELLIS PhD program, the call for applications, and the expected application material to provide.
📍 Virtual
📅 October 1, 2025
🕓 16:00 CET
🔗 Register to join info session
#phd_position
@SingularThinker
Forwarded from a pessimistic researcher (Kc)
PhD in Learning Systems @ Max Planck & ETH
——————————————————————
این یک پورگرام جوینت هست بین eth و mpi بدین صورت که شما یه استاد از هر دو سمت خواهید داشت و متناسب با برنامهریزی استادا، یک تایمی از سال رو mpi هستید و باقیش رو eth. ددلاینش هم ۵ نوامبر هستش.
📢 Apply now to join the doctoral program of the Max Planck ETH Center for Learning Systems (CLS) in 2026.
🇨🇭 🇩🇪 ✨ In our highly competitive CLS doctoral training program, fellows are co-supervised by one advisor from ETH Zürich and one from the Max Planck Institute for Intelligent Systems in Stuttgart / Tübingen, the Max Planck Institute for Informatics in Saarbrücken or the ELLIS Institute Tübingen. Each CLS fellow has a primary location (chosen based on interests and match) and conducts a mandatory 12-month exchange at the other location. Upon successful completion, the doctoral degree is awarded by ETH Zurich.
💡 Research fields covered include: Bio-inspired /Bio-hybrid Robotics, Biomechanics, Causal Inference, Computational Biology, Computer Graphics, Computer Vision, Control Systems, Deep Learning, Digital Humans, Earth Observation, Educational Technology, Efficient AI, Explainable AI, Graph Representation Learning, Haptics, Human-Computer Interaction, Human-Robot Interaction, Imaging Technology, Machine Learning, Medical Informatics, Medical Robotics, Natural Language Processing, Neuroinformatics, Optimization, Perceptual Inference, Probabilistic Models, Reinforcement Learning, Robotics, Safety, Security and Privacy, Scientific Machine Learning, Smart Materials, Social Questions, Soft Robotics, Statistical Learning Theory, Visual Analytics.
📅 Application deadline: November 05, 2025
🔗 Apply here: https://learning-systems.org/apply
——————————————————————
این یک پورگرام جوینت هست بین eth و mpi بدین صورت که شما یه استاد از هر دو سمت خواهید داشت و متناسب با برنامهریزی استادا، یک تایمی از سال رو mpi هستید و باقیش رو eth. ددلاینش هم ۵ نوامبر هستش.
📢 Apply now to join the doctoral program of the Max Planck ETH Center for Learning Systems (CLS) in 2026.
🇨🇭 🇩🇪 ✨ In our highly competitive CLS doctoral training program, fellows are co-supervised by one advisor from ETH Zürich and one from the Max Planck Institute for Intelligent Systems in Stuttgart / Tübingen, the Max Planck Institute for Informatics in Saarbrücken or the ELLIS Institute Tübingen. Each CLS fellow has a primary location (chosen based on interests and match) and conducts a mandatory 12-month exchange at the other location. Upon successful completion, the doctoral degree is awarded by ETH Zurich.
💡 Research fields covered include: Bio-inspired /Bio-hybrid Robotics, Biomechanics, Causal Inference, Computational Biology, Computer Graphics, Computer Vision, Control Systems, Deep Learning, Digital Humans, Earth Observation, Educational Technology, Efficient AI, Explainable AI, Graph Representation Learning, Haptics, Human-Computer Interaction, Human-Robot Interaction, Imaging Technology, Machine Learning, Medical Informatics, Medical Robotics, Natural Language Processing, Neuroinformatics, Optimization, Perceptual Inference, Probabilistic Models, Reinforcement Learning, Robotics, Safety, Security and Privacy, Scientific Machine Learning, Smart Materials, Social Questions, Soft Robotics, Statistical Learning Theory, Visual Analytics.
📅 Application deadline: November 05, 2025
🔗 Apply here: https://learning-systems.org/apply
❤2
Forwarded from a pessimistic researcher (Kc)
PhD in AI/ML + X @ Max Planck Society
——————————————————
دوستان این پروگرامی که میخوام معرفی کنم جدیده و برای اولین بار توسط مکس پلانک داره اجرا میشه. جامعه مکس پلانک قصد داره که یک موسسه تو حوزه AI بزنه و تا رسیدن به اون مرحله داره یک سری کارای مقدماتی میکنه. یکی از این کارها راه اندازی یک نتورک تو حوزه AI بین موسسههای خودشه. اسم این نتورک هستش Max Planck Artificial Intelligence Network (MP-AIX) که بین جامعهی مکس پلانک و ELLIS شکل گرفته. طی اولین اقدام این نتورک قراره که تحت یک پروگرام، دانشجوی دکتری بگیرن و اون دانشجو در صورت قبولی با دو سوپروایزر کار میکنه. اولی متخصص حوزهی AI/ML خواهد بود و دیگری متخصص هر حوزهای که شما بخواید که اسمش رو میذاریم X. این اساتید میتونن از بین تمام موسسات MPG مثل MPI-SWS, MPI-INf, MPI-IS, MPI-SP و کلا هر MPI ای که شما دلتون بخواد انتخاب بشن. علاوه بر اساتید MPI با استادای ELLIS هم میتونید کار کنید. پورتال این پروگرام از ۱ اکتبر باز میشه و ددلاینش هم ۳۱ اکتبر هستش. حتما حتما با دقت تمام بخونید بخش application اش رو و اون چیزایی که ازتون خواسته رو توی sop داشته باشید.
اینجا توضیحات دربارهی پروگرام و ساختارش رو نوشته. اینجا هم پورتال اپلایشون هستش.
با آرزوی موفقیت برای دوستان
——————————————————
دوستان این پروگرامی که میخوام معرفی کنم جدیده و برای اولین بار توسط مکس پلانک داره اجرا میشه. جامعه مکس پلانک قصد داره که یک موسسه تو حوزه AI بزنه و تا رسیدن به اون مرحله داره یک سری کارای مقدماتی میکنه. یکی از این کارها راه اندازی یک نتورک تو حوزه AI بین موسسههای خودشه. اسم این نتورک هستش Max Planck Artificial Intelligence Network (MP-AIX) که بین جامعهی مکس پلانک و ELLIS شکل گرفته. طی اولین اقدام این نتورک قراره که تحت یک پروگرام، دانشجوی دکتری بگیرن و اون دانشجو در صورت قبولی با دو سوپروایزر کار میکنه. اولی متخصص حوزهی AI/ML خواهد بود و دیگری متخصص هر حوزهای که شما بخواید که اسمش رو میذاریم X. این اساتید میتونن از بین تمام موسسات MPG مثل MPI-SWS, MPI-INf, MPI-IS, MPI-SP و کلا هر MPI ای که شما دلتون بخواد انتخاب بشن. علاوه بر اساتید MPI با استادای ELLIS هم میتونید کار کنید. پورتال این پروگرام از ۱ اکتبر باز میشه و ددلاینش هم ۳۱ اکتبر هستش. حتما حتما با دقت تمام بخونید بخش application اش رو و اون چیزایی که ازتون خواسته رو توی sop داشته باشید.
اینجا توضیحات دربارهی پروگرام و ساختارش رو نوشته. اینجا هم پورتال اپلایشون هستش.
با آرزوی موفقیت برای دوستان
❤6
Singular Thinker
آیا میدونستید که lemmata جمع lemma است؟ تا رندوم فکت های دیگه قبل ددلاین خدانگهدار.
ازونجایی که دوباره مریض شدم و در خانه محبوس میپرسم:
شما چند سالتون بود که فهمیدید "y که بهش میگفتیم "وای زگوند" در واقع همون وای second عه ؟
شما چند سالتون بود که فهمیدید "y که بهش میگفتیم "وای زگوند" در واقع همون وای second عه ؟
👍4
Mathematical Musings
این هم هست: 'y که می گفتیم y پریم در واقع prime بوده.
جالبه که همه تلفظا رو هم نزدیک به فرانسوی میگیم. نمیگیم پرایم میگیم پریم.
همین واسه عنتگرال و ... برقراره.
البته اونقدر تعجب نداره هم زبان دوم فرانسوی بوده تو ایران هم سیستم آموزشی رو از فرانسه الهام گرفته بودن. فک کنم از نظر تاریخ ریاضیاتم هنوز سیستم آمریکایی انقدر محبوب نبوده.
بعد ما سوال میکنیم چرا انقدر جوانان ما شیفته چپ بودن اون زمان😂😅
همین واسه عنتگرال و ... برقراره.
البته اونقدر تعجب نداره هم زبان دوم فرانسوی بوده تو ایران هم سیستم آموزشی رو از فرانسه الهام گرفته بودن. فک کنم از نظر تاریخ ریاضیاتم هنوز سیستم آمریکایی انقدر محبوب نبوده.
بعد ما سوال میکنیم چرا انقدر جوانان ما شیفته چپ بودن اون زمان😂😅
1👍8❤1
خب بلاخره پیپرمون رو گذاشتیم رو آرکایو و میتونم در موردش صحبت کنم😍
خیلی برام جالب و عجیبه این کاره و هنوز خیلی چیزا هست که نمیفهمیم ولی تا اینجا هر چیزی رو که تست کردیم جواب داده.
خیلی برام جالب و عجیبه این کاره و هنوز خیلی چیزا هست که نمیفهمیم ولی تا اینجا هر چیزی رو که تست کردیم جواب داده.
1❤13🔥4👍2
Singular Thinker
خب بلاخره پیپرمون رو گذاشتیم رو آرکایو و میتونم در موردش صحبت کنم😍 خیلی برام جالب و عجیبه این کاره و هنوز خیلی چیزا هست که نمیفهمیم ولی تا اینجا هر چیزی رو که تست کردیم جواب داده.
Thermodynamics Reveals the Generalization in the Interpolation Regime
1/n
🔗 Link of the paper: https://arxiv.org/abs/2510.06028
In the realm of overparameterized NNs, one can achieve almost zero training error on any data, even random labels, that yield massive test errors.
So, how can we tell when such a model truly generalizes? 🤔
In the figure above from the famous paper, the same model achieves nearly zero training error on both random and true labels. Therefore, the key to generalization must lie within the structure of the data itself.
https://arxiv.org/abs/1611.03530
#neural_networks
#learning_theory
1/n
🔗 Link of the paper: https://arxiv.org/abs/2510.06028
In the realm of overparameterized NNs, one can achieve almost zero training error on any data, even random labels, that yield massive test errors.
So, how can we tell when such a model truly generalizes? 🤔
In the figure above from the famous paper, the same model achieves nearly zero training error on both random and true labels. Therefore, the key to generalization must lie within the structure of the data itself.
https://arxiv.org/abs/1611.03530
#neural_networks
#learning_theory
1❤5
Singular Thinker
Thermodynamics Reveals the Generalization in the Interpolation Regime 1/n 🔗 Link of the paper: https://arxiv.org/abs/2510.06028 In the realm of overparameterized NNs, one can achieve almost zero training error on any data, even random labels, that yield…
Thermodynamics Reveals the Generalization in the Interpolation Regime
2/n
To probe this question, we turn to randomized predictors rather than deterministic ones.
Here, predictors are sampled from a prescribed probability distribution, allowing us to apply PAC-Bayesian theory to study their generalization properties.
This leads naturally to the Gibbs posterior, which assigns higher probabilities to hypotheses with smaller training errors (exponentially decaying with loss).
Then comes our first contribution:
✅ We derive high-probability, data-dependent bounds on the test error for hypotheses sampled from the Gibbs posterior (for the first time in the low-temperature regime β > n).
2/n
To probe this question, we turn to randomized predictors rather than deterministic ones.
Here, predictors are sampled from a prescribed probability distribution, allowing us to apply PAC-Bayesian theory to study their generalization properties.
This leads naturally to the Gibbs posterior, which assigns higher probabilities to hypotheses with smaller training errors (exponentially decaying with loss).
Then comes our first contribution:
✅ We derive high-probability, data-dependent bounds on the test error for hypotheses sampled from the Gibbs posterior (for the first time in the low-temperature regime β > n).
Singular Thinker
Thermodynamics Reveals the Generalization in the Interpolation Regime 2/n To probe this question, we turn to randomized predictors rather than deterministic ones. Here, predictors are sampled from a prescribed probability distribution, allowing us to apply…
Thermodynamics Reveals the Generalization in the Interpolation Regime
3/n
Sampling from the Gibbs posterior is, however, typically difficult.
We show that it can be effectively approximated via Langevin Monte Carlo (LMC) algorithms, such as Stochastic Gradient Langevin Dynamics (SGLD), and crucially,
📎 Our bounds remain stable under this approximation (in both total variation and W₂ distance).
3/n
Sampling from the Gibbs posterior is, however, typically difficult.
We show that it can be effectively approximated via Langevin Monte Carlo (LMC) algorithms, such as Stochastic Gradient Langevin Dynamics (SGLD), and crucially,
📎 Our bounds remain stable under this approximation (in both total variation and W₂ distance).
Singular Thinker
Thermodynamics Reveals the Generalization in the Interpolation Regime 3/n Sampling from the Gibbs posterior is, however, typically difficult. We show that it can be effectively approximated via Langevin Monte Carlo (LMC) algorithms, such as Stochastic Gradient…
Thermodynamics Reveals the Generalization in the Interpolation Regime
4/n
Empirical results on MNIST and CIFAR-10 show:
1) Non-trivial upper bounds on test error for both true and random labels
2) Meaningful distinction between structure-rich and structure-poor datasets
The figures: Binary classification with FCNNs using SGLD using 8k MNIST images for random (top) and true (bottom) labels.
4/n
Empirical results on MNIST and CIFAR-10 show:
1) Non-trivial upper bounds on test error for both true and random labels
2) Meaningful distinction between structure-rich and structure-poor datasets
The figures: Binary classification with FCNNs using SGLD using 8k MNIST images for random (top) and true (bottom) labels.
Singular Thinker
Thermodynamics Reveals the Generalization in the Interpolation Regime 4/n Empirical results on MNIST and CIFAR-10 show: 1) Non-trivial upper bounds on test error for both true and random labels 2) Meaningful distinction between structure-rich and structure…
Thermodynamics Reveals the Generalization in the Interpolation Regime
5/n
🙀 One surprising insight: Generalization in the under-regularized low-temperature regime (β > n) is already signaled by small training errors in the over-regularized high-temperature regime.
😱 A second, equally striking factor: by applying a single scalar calibration factor computed from the data, the resulting upper bounds become not only tighter for true labels but also better aligned with the test error curve.
If you’re curious about the intersection of statistical learning theory, sampling-based optimization, generalization in deep learning, and PAC-Bayesian analysis, check out our paper:
https://arxiv.org/abs/2510.06028
We’d love to hear your thoughts, feedback, or questions. If you spot interesting connections to your work, let’s chat! 🙌
5/n
🙀 One surprising insight: Generalization in the under-regularized low-temperature regime (β > n) is already signaled by small training errors in the over-regularized high-temperature regime.
😱 A second, equally striking factor: by applying a single scalar calibration factor computed from the data, the resulting upper bounds become not only tighter for true labels but also better aligned with the test error curve.
If you’re curious about the intersection of statistical learning theory, sampling-based optimization, generalization in deep learning, and PAC-Bayesian analysis, check out our paper:
https://arxiv.org/abs/2510.06028
We’d love to hear your thoughts, feedback, or questions. If you spot interesting connections to your work, let’s chat! 🙌
arXiv.org
Generalization of Gibbs and Langevin Monte Carlo Algorithms in the...
The paper provides data-dependent bounds on the test error of the Gibbs algorithm in the overparameterized interpolation regime, where low training errors are also obtained for impossible data,...
Singular Thinker
Thermodynamics Reveals the Generalization in the Interpolation Regime 4/n Empirical results on MNIST and CIFAR-10 show: 1) Non-trivial upper bounds on test error for both true and random labels 2) Meaningful distinction between structure-rich and structure…
نمیدونم موفق بودم که پیام اصلی کار رو بدون وارد شدن به جزئیات ارائه کنم یا نه ولی این طوری در نظر بگیرید که برای فهمیدن اینکه آیا داده شما ساختارمند هست یا نه و به طور بالقوه میتونه Generalization خوبی داشته باشه یا نه ایده آندره اس این بود که بیایم ببینیم رفتار اون مدل با مقادیر متفاوت رگولاریزیشن(نویز) چطوریه و بر اساس رفتار خطای داده ی آموزش با استفاده از PAC-Bayes Bound بتونیم یه حد بالا برای خطای داده ی تست بتونیم ارائه کنیم.
یعنی شما نگاه میکنی به خط مشکی ها تو این تصاویر و میبینی که با چه نرخی دارن کاهش پیدا میکنن و بر اساس اون میتونی یه حد بالا برای خطای داده تست پیدا بکنی.
این کار در ابتدا چیزی شبیه معجزه به نظر میرسه ولی نکته جالب اینه که گویا کار میکنه :)
قطعا نیازه که تا حد خوبی ریاضیات پشت شو بفهمید اگه بخوایم وارد بحث تکنیکالش بشیم که اصلا ریاضیات سختی نداره کلا فقط یکم آمار و احتمال احتیاجه (بدون نظریه اندازه) ولی ایده اصلی کار یه همچین چیزی بوده و بنظرم من جالبه که چرا همچین چیزی کار میکنه.
ولی اگه رفتید و خوندید و هر سوال یا ایده ای داشتید حتما به من بگید مخصوصا اگر ایده ای دارید که چطوری میتونیم این کشف تجربی در مورد Calibration factor رو دقیق ترش بکنیم و justify اش بکنیم. ما خودمون دو بار در هفته داریم فرضیه تولید میکنیم که شاید بخاطر اینه شاید بخاطر اونه شما هم اگه فرضیه ای داشتید بگید ما امتحان میکنیم خلاصه.
یعنی شما نگاه میکنی به خط مشکی ها تو این تصاویر و میبینی که با چه نرخی دارن کاهش پیدا میکنن و بر اساس اون میتونی یه حد بالا برای خطای داده تست پیدا بکنی.
این کار در ابتدا چیزی شبیه معجزه به نظر میرسه ولی نکته جالب اینه که گویا کار میکنه :)
قطعا نیازه که تا حد خوبی ریاضیات پشت شو بفهمید اگه بخوایم وارد بحث تکنیکالش بشیم که اصلا ریاضیات سختی نداره کلا فقط یکم آمار و احتمال احتیاجه (بدون نظریه اندازه) ولی ایده اصلی کار یه همچین چیزی بوده و بنظرم من جالبه که چرا همچین چیزی کار میکنه.
ولی اگه رفتید و خوندید و هر سوال یا ایده ای داشتید حتما به من بگید مخصوصا اگر ایده ای دارید که چطوری میتونیم این کشف تجربی در مورد Calibration factor رو دقیق ترش بکنیم و justify اش بکنیم. ما خودمون دو بار در هفته داریم فرضیه تولید میکنیم که شاید بخاطر اینه شاید بخاطر اونه شما هم اگه فرضیه ای داشتید بگید ما امتحان میکنیم خلاصه.
❤7👍2