تا حالا به این فک کردید که الگوریتم Gradient Descent از کجا اومده؟

از یه طرف میشه که فک کرد که این الگوریتم محصول گسسته سازی gradient flow عه ولی ازین نگاه من خیلی intuition ای نمیگیرم(اگه شما ولی دید خاصی دارید بگید حتما بهم) ولی از یه طرف دیگه میشه اون رو یک حالت خاص از اصل steepest descent دونست.

یعنی چی؟ ‌یعنی وقتی که شما اگه در لحظه t هستی، مقدار متغییرت در لحظه t+1 رو طوری انتخاب می کنی که بیشترین میزان کاهش در تابع هدفت داشته باشی. این رو بهش میگیم اصل بیشترین کاهش. حالا اگه بیای بسط تیلور رو تا مرتبه اول برای تابع هدفت حول نقطه x_t بنویسی و بخوای طبق اصل بیشترین کاهش پیش بری باید یه قدم فیلی(با طول بینهایت) در راستای معکوس گرادیان ورداری که چنین چیزی مناسب نیست چون تقریب مرتبه اولت فقط در همسایگی نقطه x_t ات درست بوده.

پس حالا میای میگی که یه قید به مسئله اضافه میکنیم در عین این که میخوایم اصل بیشترین کاهش رو رعایت کنیم. و اون این قید هستش که در یک همسایگی از نقطه x_t باقی بمونم. حالا اینجا باید بیایم مفهوم همسایگی رو تعریف کنیم که منظورمون چیه؟
حالت پیش فرض چیه که همه بلدیم؟ بله، فاصله ی اقلیدسی. پس با فرض داشتن فضای اقلیدسی و اعمال اصل بیشترین کاهش می رسیم به الگوریتم gradient descent ولی همون طور که از متن برمیاد میتونیم فاصله ها و فضاهای دیگری رو در نظر بگیریم و به چیزای دیگه ای برسیم.

اینجاست که اسم natural gradient استفاده میشه. اگه به نظرتون این موارد جذابه حتما توصیه میکنم این بلاگ پست زیبا رو بخونید:
https://andrewcharlesjones.github.io/journal/natural-gradients.html#appendix

#note
@SingularThinker

اینجا توی این مقاله می گه اینقدر تاکید کردند روی درک مفهومی ریاضیات که گند زدند به نمرات بچه های مردم. می گه دیگه کسی دنبال حفظ کردن نیست، کسی دنبال جواب نهایی سوال نیست. فقط می گند فرآیند رو یاد بگیری اکیه، محاسبه نمی خواد.

می گه معلم ها بیشترشون نمی دونند مغز چطور کار می کنه و این خودش اوضاع رو بدتر کرده. یه بخش مغز به ما کمک می کنه چیزی رو توضیح بدیم و یه بخشش با تمرین و تکرار و تشخیص الگو ورزیده می شه. می گه سیستم های جدید از فنلاند تا نیوزلند تا تایوان فقط تاکید کردند روی اولی و با اینکه زمانی الگو بودند برای بقیه کشورها الان سقوط کردند.

می گه توی این سیستم ها بچه ها فرآیندها رو توضیح می دند ولی توی ساده ترین محاسبات می مونند.

در کل می گه اینقدر تاکید کردند روی درک مفهومی و حفظ کردنی ها و تمرین و تکرار رو گذاشتند کنار که گند زدند به همه چیز!
می گه افسانه اینکه ما نیاز نداریم چیزی رو حفظ کنیم، ما AI داریم، چرته.
https://www.seattletimes.com/opinion/wa-math-education-is-in-crisis-heres-what-could-help/

There exists a “sphere” in 3D space that is topologically a standard sphere, but its embedding is so twisted that the space outside it is not simply connected!

Alexander horned sphere

اینجا جناب Alain Connes درباره زندگی و کارهای Grothendieck می گه.
برنامه ای از radiofrance. طبیعتا به فرانسوی هست.
یکی ببینه چی می گند؟
یه جا به سالوادور دالی هم اشاره می کنه!
لینک مربوط
اون عکس کنار گروتندیک البته Connes نیست، یکی از استادهای راهنمای گروتندیک هست:
Laurent Schwartz

ظاهرا اینم هست:
https://youtu.be/pOv-ygSynRI?si=iK4Eo3XLu_lQR72Y

استاد ریاضی: یک عدد اول نام ببر.
نسل زد: 67
گروتندیک: 57
فرد بیسواد: 1
تیلور سویفت: 13
مرسن: ‎2⁸²⁵⁸⁹⁹³³−1

proof without words
log(ab)=log(a)+log(b)

بیایم یه کم دقیق تر نگاه کنیم چه اتفاقی افتاده؟
این مساله شماره ۱۰۴۳در سال ۱۹۵۸ توسط اردوش و رفقا مطرح شد. البته به عنوان یه مساله باز عمر زیادی نداشت و سه سال بعد توسط یه ریاضیدان حل شد، یعنی یه مثال نقض براش پیدا کرد و تمام!
حالا چی شده بود؟ توی اون مقاله اون ریاضیدان چندتا مساله دیگه رو هم حل می کنه ولی توی تمام این سال ها کسی حواسش نبوده که یکی از اون ها همین مساله بازی هست که در تصویر می بینید. حتی یه سری مسائل دیگه از همین سایت به اون مقاله ارجاع می دند ولی هیچ کس توجهی به ارتباط اون مقاله و این مساله نمی کنه. مثال نقض طوری وسط های مقاله بیان شده که فقط کسی که با دقت زیاد مقاله رو بخونه متوجه موضوع می شه. شاید در همون سال ها کسی همچین مقاله ای رو با دقت بالا می خوند ولی الان و این روزها خیلی بعید بود که کسی یه مقاله واسه ۶۰ سال پیش رو با چنان دقتی بخونه که متوجه ارتباط اون با یه مساله از مجموعه erdosproblems.com بشه.
بازهم جالب تر:
برای فهم اون مثال و اثباتش به یه مقاله دیگه ارجاع شده که مال همون نویسنده است و اون مقاله به زبان آلمانی نوشته شده!
در واقع ChatGPT رفته اون مقاله رو هم ترجمه کرده و ارتباط بین این ها رو متوجه شده.

البته این موضوع اون اول کمی بد مطرح می شه و ظاهرا این طور عنوان می شه از طرف بعضی ها که ChatGPT خودش یه سری مساله رو حل کرده، در صورتی که مرور ادبیات انجام داده و کاری که از عهده انسان خارج بوده(یا خیلی زمان بر) انجام داده. بعد که معلوم شد مساله ها رو خودش حل نکرده یه سری از کسانی که مخالف استفاده از این روش ها در ریاضیات هستند شروع کردند به مسخره و حمله کردن، که دیدید هنوز دوران
human-driven mathematics
تموم نشده و از این حرف ها.
به هر حال به نظر میاد، نقش هوش مصنوعی دست کم در مرور این حجم زیاد دانش موجود غیر قابل انکار هست.

#دانستنی های_ به درد_نخور ۳۸
می دونستید یه شرکت ژاپنی به اسم
Hagoromo
بوده که گچ تولید می کرده و در دنیا خیلی معروف بوده و حتی در بین ریاضیدان ها محبوبیت زیادی داشته؟
در سال ۱۹۳۲ تاسیس شد و به دلیل کیفیت معرکه و دوام بالایی که داشت بین دانشگاهیان و حتی ریاضیدان های معروف محبوب شد. یه ریاضیدان در موردش گفته بود:

With Hagoromo chalk, the math practically writes itself.

اون قدر کیفیت کارشون خوب بوده که به رولز-رویس گچ سازان معروف بودند. در سال ۲۰۱۴ به خاطر کاهش استفاده از تخته سیاه گفتند می خوایم جمع کنیم و همین کار رو هم کردند، امتیازش رو دادند به یه شرکت کره ای(البته جنوبی). هر چند می گند دیگه اون کیفیت سابق رو نداره.
خیلی ها اعتقاد دارند استفاده از گچ مدرس رو مجبور می کنه کندتر بنویسه، که به فرآیند یادگیری بیشتر کمک می کنه.
تصویر هم جناب David Eisenbud هستند ریاضیدان آمریکایی، با یکی از گچ های
Hagoromo.

درباره معلمی که به شاگردش می گه اسکل چی می شه گفت؟ نتیجه سیستم آموزشی ایی که به جای عقل و منطق فقط زورگویی رو ترویج کرده. دانش آموز اگر اشتباه کنه، تحقیر می شه و اگر سوال بپرسه سرکوب.
این اگر خودش چند تا ویدئو در یوتیوب دیده بود می دونست که همین اشتباه رو چطور می تونه بدون توهین و تحقیر به یه موقعیت طنز تبدیل کنه.
شاید هم می خواسته با مزه باشه و شوخی کنه که لازمه اش یا شوخ طبعی ذاتی هست یا مطالعه زیاد که این ظاهرا هیچ کدوم رو نداره!

مثل خالکوبی این رو هم به نظرم سمتش نرید، ولی اگر رفتید زیاده روی نکنید!

مساله برای فکر کردن
این رو اگر کسی بخواد براش جایزه تعیین کنه، به نظرم ۱۰۰ دلار معقوله.

ادوارد ویتن درباره wormholes صحبت کرده، طبیعتا من چیزی سر در نمیارم، شاید به کار کسی بیاد. ولی این حقش بوده فیلدز بگیره، بخش عمده اش به مفاهیم پیشرفته ریاضی وابسته است.
https://youtu.be/3pR8XA7QR-w?si=ugkmanl39gLvOfVU

صبح امروز را با یگانه مسئله‌ی حقیقی فلسفی آغاز کنیم...

این اصلیه به نظرم

یه مساله باز در زمینه
convex optimization
رو دادند به ChatGPT(کلا در زمینه
convex optimization
ظاهرا خوب عمل می کنه)
کلا ۱۲ ساعت کار برده که طی سه روز انجامش دادند. البته که با یه
single prompt
کار جمع نشده و خیلی کار interactive ایی بوده. بحث های زیادی اتفاق افتاده که خیلی هاش غلط بوده و ریاضیدان مجبور بوده کار رو هدایت کنه. نکنه جالب اینه که اشاره می کنند که باید در بحث ها به موقع move on کنید! نتیجه رو می خواند در یه ژورنال خوب چاپ کنند، می فرمایند هم fun بود هم productive.
لینک سوال و جواب با ChatGPT:
https://chatgpt.com/share/68f805f2-b8fc-8010-8df6-20a46bc1df44

این فکر کنم بزرگترین ماتریسی باشه که توی یه کتاب نوشته شده.

بیشتر ماتریس ها در کاربردهای واقعی اصطلاحا
sparse
هستند، یعنی بیشتر درآیه هاشون صفر هست.
در مسائل واقعی معمولا ابعاد مساله خیلی زیاد می شه و این موضوع دردسرهای خودش رو ایجاد می کنه:
curse of dimensionality
ولی از اون طرف معمولا بیشتر اون درآیه ها صفر هستند و این باعث صرفه جویی در حافظه و زمان محاسبه می شه:
the blessing of sparsity

دیروز تولد مارتین گاردنر بود. گاردنر عاشق نوار موبیوس بود، یه کار جالب هم با نوار موبیوس طراحی کرده که لینکش رو می ذارم.
خود نوار موبیوس رو یه فردی به اسم
Guido Weichold
نامگذاری کرد، شاگرد فلیکس کلاین بود و بعد از یه سنی هیچ اثری ازش نیست و معلوم نیست چی شده.
https://www.gathering4gardner.org/wp-content/uploads/2021/03/martin-gardners-mobius-surprise.pdf