خب تا توی این پست یه کوت از فان نیومن گذاشتم و اینجا هم گفتم چرا انقدر شخصیتش برام جالبه و خیلی تصادفی یه کتاب بیوگرافی ایشون و در واقع روایت زیبای کسری علیشاهی از این کتاب برخوردم و پش‌فاکینگ‌مام حقیقتا.

مسیر این زندگی آدم واقعا حیرت‌انگیزه. دست‌کم چندین فیلم سینمایی میشه ازش در آورد.

🔗 لینک پادکست فارکست - خلاصه کتاب مردی از آینده در کست باکس

⚠️اسپویلر الرت(به نظرم شنیدنش از زبون کسری جالبه ولی اگه خواستید یه تیزر طور این پایین برم براتون):
فان نیومن کار علمی‌اش رو در دوره دکتری در تلاش برای حل بحران در مبانی ریاضیات شروع میکنه بعد انقدر جذاب بوده که دیوید هیلبرت میگه تو بیا پیش خودم ازم دور نباش. بعد به فرمالیسم نظریه کوانتوم میپردازه و نشون میده که در واقع هر دو فرمالیسم هایزنبرگ که از ماتریس‌های بی‌نهایت استفاده میکرده و فرمالیسم شرودینگر که از معادلات دیفرانسیل پاره‌ای تصادفی یک چیزه صرفا در دو فضای هیلبرت متفاوت تا پروژه منهتن،عضویت در تیم محرمانه تصمیم‌گیرنده در مورد پرتاب بمب، مبدع ایده ساخت بمب هیدروژنی، نظریه‌بازی‌ها و معماری کامپیوتر‌های امروزی، اولین برنامه‌های پیش‌بینی هوا، پیش‌بینی کردن مسئله گرمایش جهانی و کارهایی در باب سلولار اتوماتا و ارتباط بین مغز و کامپیوتر که سرطان فرصت نداد، همه‌ی این‌ها در ۵۳ سال. چه حیف که این تلاش‌های آخرش در مورد ارتباط مغز و کامپیوتر رو نتونست کامل کنه واقعا حیف.

پ.ن: تازه یادم اومد کسری شایدم کتاب به نقش فان نیومن در ergodic theory اشاره نمیکنه. من یکمی مقدمه در موردش گفتم اینجا ولی خیلی ابتداییه(دارم میخونم ایشالا بیشتر بفهمم میگم براتون).
#podcast
@SingularThinker

کمپرسور؛ یه ابزار جالب!

یه اکانت جالب رو توی توییتر دنبال میکنم یه چند وقتی هست که خلاصه مقالاتی رو که میخونه منتشر میکنه. امروز متوجه یه ابزار خیلی کارا و مفید توسعه داده که به کمک اون لیست تمام مقاله‌های پذیرفته‌شده تو کنفرانس‌های معتبر ml به همراه یه دو سه جمله خلاصه رو منتشر میکنه.

اگر دنبال مقاله‌های بروز و خوب در مورد یه موضوع خاصی تو ml گشته باشید، دیدید که چقدر این کار سردرده و این ابزار خیلی کمک میکنه. من الان یه چندتا کار مرتبط با کار خودم پیدا کردم به کمک cntrl + f عزیز😁

- NeurIPS 2023
- ICLR 2024
- ICML 2024

#research_stuff
@SingularThinker

arXiv -> alphaXiv

Students at Stanford have built alphaXiv, an open discussion forum for arXiv papers.

You can post questions and comments directly on top of any arXiv paper by changing arXiv to alphaXiv in any URL!

🔗 Stanford AI Lab (@StanfordAILab)

پ.ن: این پست رو گذاشتم چون جایی ندیدم در مورد این صحبت کنه و به نظرم خیلی میتونه کمک باشه. چون آدما خیلی وقتا سوالایی خوبی دارن ولی نمیپرسن. فقط یه نکته این باید url pdf مقاله رو عوض کنید نه وقتی دارید abstract رو میخونید.
#tweet #research_stuff
@SingularThinker

برشی از این مصاحبه که برام جاالب بود:

Rocco Gaudenzi:

Where do you think that physics-inspired computational neuroscience will head to in the future? Are there some physics concepts and tools that have not (yet) been
implemented into it?

Larry Abbott:

It is wise for the reader to keep in mind that the physics to which I have been comparing theoretical neuroscience is the physics of 40 years ago. This is not just because of my age, but also because this is the version of physics that seems to be in people’s minds, even younger people, when they make such comparisons. But physics has changed. Much of what used to be particle physics now involves speculations about theories for which we have no experimental evidence, except in so far as it is negative. This should not serve as a model for neuroscience or, probably, any other type of research. My advice is to stop looking at physics, either the physics of the present or of the past. The tools of physics are the tools of applying mathematics to nature. We have a huge bag of such tools, probably, if you dig around deep enough, a sufficient number to carry us far into the future.
What we need is the art of finding the right level of abstraction (all models are abstractions) to experimental data obtained at the right level of detail, with “right” defined, not by philosophical considerations, but by the question being asked. Thus, in the end, it all comes down to asking the right question.

@SingularThinker

بیاین با هم بریم به دنیای RKHSها
قسمت اول: ‌kernel trick

درسته شبیه ولاگ‌ها شروع کردم ولی این یه بلاگه اونم راجع به Reproducing Kernel Hilbert Sapceها. اگه با من تو سفر ساختن یه فضای هیلبرت از ابتدا پیش اومدید(قسمت ۱ و ۲) و قبلترش چرا اصن فضای هیلبرت مهمه که اینجا در موردش حرف زدم، پیش اومدید بریم امروز ببینیم این فضای هیلبرت از نوع reproducing kernel چی هست. اگر هم فایل‌های قبلی رو ندیدید، توصیه میکنم با این شروع کنید دنیا رو چه دیدی شاید شما هم مشتری شدید.

اولش بگم که من خودم یه مدتی هست که بخاطر کاری که میکنیم با این کلمه‌ها و مفاهیم زیاد سر و کار دارم ولی بخاطر یه سوتفاهم (خدا نگذره ازت خانوم luxburg) نمیتونستم تفاوت بین kernel و reproducing kernel و در نتیجه فضای هیلبرت عادی و RKHS رو بفهمم. خلاصه امروز نشستم از اول و از چندتا منبع همه چیز رو خوندم و برام روشن شد. البته بحثایی که با علی‌ک کرده بودیم هم راهگشا بود. ولی قبل از اینکه بریم ببینیم دو به دو فرق این اسامی بالا و همینطور ارتباطشون با هم چیه بذارید اول بگم که به چه دردی میخورن اصن؟

فک کنم تقریبا همه‌ی ما یه درس آزمایشگاه تو دانشگاه داشتیم که یه سری داده رو اندازه گرفتیم و خواستیم بهترین رابطه خطی بین اون دو تا متغییری که مشاهده کردیم رو پیدا کنیم. این کار یعنی همون linear regression یکی از پایه ای ترین روش هاست در آمار و یادگیری ماشین/آماری. این روش خیلی خوبه دیگه چون با کمک جبرخطی و یه ماشین حساب مهندسی یا اکسل ساده میشه حلش کرد و تازه میشه به راحتی فهمید که چرا این خط انتخاب شده و ... . حالا بد روزگار اونجاست که رابطه بین هر دو متغییری که ما تو آزمایشگاه مشاهده میکنیم که خطی نیست که بیایم یه خط بهش برازش بکنیم. پس نیاز به مدلهای پیچیده‌تر داریم مثلا میتونیم یه سهمی برازش کنیم یا مثلا یه چند جمله ای از درجه سه با بیشتر🧐. ولی
ازون طرف وقتی مدلمون رو پیچیده کنیم پیدا کردن ضرایب اون چندجمله ای که بهترین برازش رو برای داده ما داره هم سخت‌تر میشه. پس چیکار کنیم؟ اینجور موقع‌ها میگن فضاتو عوض کن. یعنی صرفا به جای این که بخوایم y(متغییر مدنظر) رو برحسب یه عدد (x) پیدا کنیم میایم یه بردار میسازیم متشکل [x, x^2] بعد حالا y رو براساس این بردار جدید پیدا میکنیم. پس الان نقاط ما تو دستگاه سه بعدی هستن که یه بعدش x عه یکی x^2 و اون یکی y. یعنی داریم دنبال یه صفحه، y=ax^2+bx+c(در اصل دنبال ضرایبش) میگردیم انگار که به بهترین نحو به داده ما برازش میشه ولی اگه برگردیم به همون مختصات دو بعدی y بر حسب x میبینیم که یه سهمی داریم حالا. درست شد؟

حالا دقیقا از همین روش‌ها در دنیای روزمره برای پیش‌بینی قیمت خونه و ...بر اساس داده های موجود میتونیم استفاده کنیم ولی سوال این جاست که کدوم درجه برای مدلسازی ما مناسب‌تره؟ چه میدونیم تا حالا برازش نکردیم که (به قول دوست اردبیلی‌مون). مگر اینکه دقیقا فرمول ریاضی بین متغییرها رو بهمون گفته باشن که در اغلب موارد این طوری نیست. ولی خب حالا جدا الان که دارید میخونید حدسی ندارید که بهتره مثلا از یه چندجمله‌ای درجه بالا استفاده کنیم یا پایین؟

آره آفرین درجه بالا در نظر میگیریم فوقش اینه که اون ضرایب درجه های بالا صفر در میاد دیگه. خب سوال بعدی رو اگه ناراحت نشی بپرسم بالا یعنی چقدر؟ ۱۰ الان بالاست یا ۱۰۰ یا هزار یا یک میلیارد؟

خب هر چی بیشتر بهتر اصن. بینهایت چی نظرته؟ اع وایسا تو گفته بودی هر جا به بینهایت رسیدی مکث کن. اولا که برحسب کوییز آخر وقتی درجه چند جمله‌ای بی نهایت بشه که دیگه چندجمله‌ای نیست. آفرین دقیقا و برای همین پس میتونیم هر تابعی که دلمون میخواد رو باهاش تخمین بزنیم. ولی وایسا دفعه قبلی که درجه ۲ انتخاب کردیم تو یه بردار تو تو فضای R^2 درنظر گرفتی الان درجه رو بی‌نهایت گرفتی یعنی باید تو یه فضایی با بعد بینهایت کار کنیم؟‌اره دیگه برای همین اسم این بلاگ هیلبرته.

یعنی تو داری که میگی که من بیام تو ماشین حسابم یا اکسل یه سری بردار به طول بینهایت نگه دارم بعد اینا رو تازه وارون و ضرب و اینا هم بکنم؟
نه بابا اینکه نمیشه که اصن. خب د همین پس چطوری؟‌
خب سوال خوبی پرسیدی. راستش اینجا یه تردستی هست که بهش میگن kernel trick. به طرز جالبی تو محاسبه های مدل خطی مثلا برای رگرسیون و همچنین SVM ما نیازی نداریم که خود بردارهای با طول بینهایت رو داشته باشیم و تنها ضرب داخلی بین دو تا بردار رو نیاز داریم که یه عدد میشه و خبر خوب اینه که با توجه به قضیه های ریاضی که در سال ۱۹۵۰ توسط Nachman Aronszajn که یه ریاضیدان لهستانی/آمریکایی پیدا شده بوده میدونیم که میشه این ضرب داخلی دو بردار در RKHSرو به صورت ریاضی پیدا کنیم. چطوریش رو تو متن بعدی توضیح میدم.

مرسی که خوندی سوالی/نظری داشتی تو کامنت بگو.

#note #math
@SingularThinker

دنیای RKHSها
قسمت ۲: RKHS نگو کرنل بگو

خب تو متن قبلی تا اینجا صحبت شد که با یه روش تردستی میتونیم حاصل ضرب داخلی دو بردار با طول بینهایت رو پیدا کنیم. اما دقیقا چطوری؟

خب اون مثال آزمایشگاه رو یادتون هست که متغییر x رو از ℝ به ℝ^2 بردیم؟ یادتونه به چه صورت این کارو انجام دادیم؟ به اون نگاشتی که استفاده کردیم برای این کار میگن feature map و با phi نشونش میدن. اگه دقت کنید میشد به روشهای مختلف اینکار رو انجام داد مثلا میشد [x, x^2+5x+6] رو به عنوان نگاشت phi درنظر گرفت.

حالا در آخر متن اشاره کردیم که با کمک kernel trick میتونیم feature mapای رو در نظر بگیریم که فضای ورودی رو به یه فضای هیلبرت خاصی نگاشت میکنه و تو اون فضای هیلبرت خاص به جای ضرب داخلی بین دو بردار که ممکنه طولشون بینهایت باشه یه تابعی وجود داره به اسم کرنل که میشه دو نقطه ورودی رو مستقیم داد بهش و مقدار ضرب داخلی بردار نگاشت شده هر کدوم از نقطه‌های ورودی توسط phi رو به ما برگردونه. جالب شد نه؟

اما اصلا تابع کرنل، k، چی هست اصلا؟ به صورت دقیق به تابعی میگیم کرنل که دو عضو از فضای ورودی دریافت میکنه و یک عدد حقیقی رو به عنوان خروجی برمیگردونه اگر این تابع متقارن(k(x,y)=k(y,x)) و مثبت معین(هر ماتریس gram/گرامی که با مقداردهی در n نقطه دلخواه بدست میاد مثبت معین باشه) باشه رو بهش میگیم تابع کرنل.

حالا شاید بپرسید که این تابع کرنل داره چی رو اندازه میگیره؟ در واقع این تابع داره اندازه میگیره که این دو بردار x و y چقدر در اون فضای هیلبرت بهم شباهت دارن. چرا؟ چون ضرب داخلی، اگه یادتون باشه، قرار بود مفهوم زاویه بین دو بردار رو تعمیم بده. زاویه هم در واقع سنجه‌ای از جهت دو بردار فارغ از اندازه‌شون بود دیگه.

حالا نکته جالب اینجاست که تناظر کاملا یک به یک بین کرنل ها و فضای هیلبرت خاصی که بالاتر اشاره کردم و در واقع اسمش RKHS عه وجود داره.
این فضای RKHS یه فضای هیلبرتی هست که شامل تابع‌هایی حقیقی بر روی فضای ورودی داده ماست اگر که این خاصیت رو داشته باشن. و اون خاصیت اینه که تمام تابعک های دیراک/Dirac functionals رو اون فضای هیلبرت پیوسته باشند.
هاااا ای که گفتی یعنی چَه؟
خب بذار الان میگم. گفتم که فضای هیلبرتمون توش پر از تابع هست که دامنه شون همون فضای داده‌های ورودی‌مونه و بردش هم ℝ هست. حالا این تابعک‌های دیراک یه عضو از این فضای هیلبرت رو میگیره مثلا f و تو یه نقطه دلخواه مثلا x مقداردهی‌اش میکنه. یعنی خود این تابعک یه تابعی هست که یه f میگیره و اون رو تو نقطه دلخواه x مقداردهی میکنه پس f(x) رو برمیگردونه.
اوه سخت شد که!! آره ولی اگه نگرفتی که چی شد مهم نیست. چون اصلا مهم نیست که RKHS دقیقا چیه.

شاهکار تئوری آقای Aronszajn اینجاست که تو وقتی یه تابع کرنل داشته باشی مطمئنی که یه RKHS یکتایی وجود داره که اگه داده هات رو ببری تو اون فضا که بعدش بینهایت هم هست میتونی اونجا مدل‌های خطی‌ات رو یاد بگیری و در عین حال بتونی خیلی تابع‌های پیچیده‌ای رو تو فضای اصلی درست کنی. پس از این به بعد ما فقط به این فکر میکنیم که از چه تابع کرنلی استفاده کنیم و کدوم کرنل برای چه مسئله ای بهتره.
در نهایت اینکه RKHS رو به چشم یک تغییر فضا ببینید که ممکنه حل مسئله تون رو راحت‌تر کنه مثل تبدیل Laplace و یا Fourier. این‌ تغییر فضا هم از طریق انتخاب تابع کرنل انجام میشه. این ایده پیدا کردن فضای مناسب شاید بشه گفت ابر ایده‌ایه که تو هزاران مقاله ml میشه دید که همه دارن واسه مسئله خودشون دنبالش میگردن.

دو تا نکته تکمیلی بگم و بریم. یکی اینکه تو متن قبلی گفتم هر چی درجه مدلی که برازش میکنیم بیشتر باشه بهتر چون مدل پیچیده تری میتونه درست بکنه. این لزوما میتونه درست نباشه و مدل ما رو دچار بیش برازش بکنه ولی در استفاده از kernel methodها معمولا با تنظیم کردن پارامتر kernel میشه از این مسئله جلوگیری کرد و تنظیمش کرد. نکته دیگه اینکه من گفتم با توجه به نوع فرمول بندی SVM و رگرسیون خطی به صورت تصادفی فقط ضرب داخلی ظاهر میشه و بنابراین نیاز به کار کردن به بردارهای بینهایت نداریم که اینجا باید اضافه کنم که البته به لطف قضیه representer که یکی از پایه های تئوری یادگیری آماری هست میدونیم که هر تابعی در RKHS که کمینه کننده ی یک empirical risk هستش رو میشه برحسب یه ترکیب خطی تابع کرنل مقداردهی شده در داده ها نوشت. پس حالا کلا بر پایه ی تردستی و جادو و اینا پیش نمیریم و درسته که اینها خروجیشون بعضا اعجاب برانگیزه ولی حداقل مدلهای سنتی ml پایه های ریاضیاتی خیلی قوی‌ای دارن. منتها موقعی که میخوان توضیح بدن اکثرا اشاره خاصی نمیکنن چون ریاضیات نسبتا سطح بالایی برای تحلیل شون نیاز هست البته اگه Kc (ادمین کانال a pessimistic researcher) ناراحت نمیشه.

#note #math
@SingularThinker

خب متن تموم شدم و من راجع به خیلی چیزها از جمله تعریف reproducing kernel و ... صحبت نکردم. چون هم حس کردم لزوما نیازی نیست واسه منتقل کردن ایده اصلی پشت RKHS و هم اینکه اینجا جای خیلی مناسب نیست براش. در عوض میخوام بهتون یه رفرنسی رو معرفی کنم که اگه خواستید به طور دقیق تعاریف هر کدوم از این چیزا رو بدونید، خیلی خوبه. من خیلی لکچرنوت و اسلاید و این چیزا در مورد RKHS دیدم ولی فصل چهارم کتاب Support Vector Machines از Steinwart وChristmann واقعا خوب و با دقت ریاضی بالایی توضیح داده این چیزا رو.

بازم ممنون که خوندید نظر/سوالی داشتید حتما بهم بگید.

How to prepare a presentation

عنوان واقعا مشخص کننده است و تو ویدیو هم کامل توضیح میده پس الکی سرتونو درد نیارم.
چون دیروز داشتم ارائه میدادم و کمک کرد گفتم اینجا هم بفرستم. البته ۱۰۰ درصد حرفاشو موافق نیستم و همیشه اون دید شخصی تون رو تو کار بیارید به نظرم خیلی جذابترش میکنه.
خلاصه که Hope it helps.

#research_stuff
@SingularThinker