ز مژگان سیاه تو

شعر از فروغی بسطامی، آواز از شجریان و موسیقی از Arnalds چنین چیزی رو ساخته. اون تیکه که ناله می‌کنه "چاره کن چاره کن درد کسی کز همه ناچارتر است".

و شب به خیر

فیزیک‌: کل هوش واس ماس

خبر شوکه کننده امروز،‌ اهدای جایزه نوبل فیزیک ۲۰۲۴ به دو دانشمند حوزه هوش مصنوعی، جفری هینتون و جان هاپفیلد بود. سه نکته در این خصوص به ذهنم می‌رسه:

یک- فیزیکی‌ها آدم‌های عجیبی هستند. فیزیکی‌های زیادی رو چه در خارج ایران و چه در داخل ایران می‌شناسم که از فیزیک به سمت یادگیری عمیق مهاجرت کردند. در بدترین دیدگاه شاید چون آدم‌های باهوشی‌اند ولی در فیزیک نه فضا و نه پول لازم برای درخشش را ندارند. در دیدگاه میانه شاید چون فیزیک و یادگیری عمیق شباهت‌های به هم دارند (مخصوصا کامپلکس فیزیک). در دیدگاه خیلی خوش‌بینانه شاید چون فهمیده‌اند آن چیزی که فیزیک در پی آن است و به عقیده من یافتن inductive bias‌های جهان است، کاری است که نهایت هوش مصنوعی است و فهمیده‌اند که مسیر از این ور می‌گذرد. خلاصه که قضیه نوبل فیزیک دادن به هینتون را نباید بدون چنین مقدمه‌ای دید.

دو- با وجود نکته قبلی،‌ اما این اقدام نوبل‌ فیزیک دادن به هینتون، با توجه به توضیحاتی که کمیته داده‌اند، بسیار عجیب و غیرمنطقی است. عنوانی که برای این دلیل نوشته‌اند دقیقا چنین چیزی است:
They trained artificial neural networks using physics
باور می‌کنید؟! اگر این گونه باشد باید یک نوبل ریاضی نیز به این بندگان خدا داد چرا که با ریاضی شبکه‌ها را آموزش داده‌اند. انگار که می‌خواسته‌اند فوری، سریع و انقلابی (دلم برای رئیسی تنگ شده) هوش مصنوعی را شاخه‌ای از فیزیک معرفی کنند. شاید شاید شاید هم قصدشان این بوده که توجه کامیونیتی فیزیک را به یادگیری عمیق جلب کنند. شاید فهمیده‌اند که اکتشافات عظیم بعدی در فیزیک جز از دست یادگیری عمیق برنمی‌آید.

سه- فارغ از همه این‌ها ولی به نظرم اتفاقاتی جالبی در طی چند دهه بعدی در علوم رخ خواهد داد. تا به حال مسیر این گونه بوده که در طول تاریخ ما علوم را شاخه شاخه و تخصصی‌تر کرده‌ایم. اما به نظر هوش مصنوعی این روند را به زودی برعکس خواهد کرد. به زودی هوش مصنوعی خواهیم داشت که در همه علوم متخصص است و در همه علوم می‌تواند نظر بدهد و مرزهای آن را گسترش دهد. دیگر ریاضی و فیزیک و شیمی معنایی ندارند، چرا که یک هوش مصنوعی داریم که در همه آن‌ها اظهار نظر می‌کند. حتی حتی حتی این روند به زودی به ادبیات و علوم دینی و حقوق و سیاست هم خواهد کشید. نوبل شیمی، نوبل صلح، پولیتزر و حتی جایزه تورینگ قطعا روزی به یک هوش مصنوعی خواهند رسید. در آن روز معنی زندگی انسان‌ها نه به توانایی و دانسته‌ها که بیشتر به اراده‌هایشان خواهد بود.

نصف نوبل شیمی ۲۰۲۴ هم به Jumper و Hassabis بابت alphaFold2 رسید. باز این یکی منطقی‌ بود نسبت به نوبل فیزیک.

https://www.nobelprize.org/prizes/chemistry/2024/press-release/

من برم گرم کنم برای نوبل ادبیات

انتخاب‌کردن و انتخاب‌شدن:‌ در مورد استاد راهنما و هم‌سفر‌هایی فراتر از آن

هر سال همین موقع‌ها، وقتی از جلوی جلسه معارفه دانشجویان جدید ارشد رد می‌شوم یاد پاییز سال ۹۷ می‌افتم. بازه‌ای که هر وقت به پس ذهنم می‌آيد، اعصابم خراب می‌شود. من یک جوان ۲۱ ساله بودم که تازه ارشد شریف قبول شده بودم و باید استاد انتخاب می‌کردم. آن زمان این شکلی بود که جلسه معارفه و این جور مکانیزم‌ها هم نبود و کسی هم نبود که به ما این تجارب را انتقال دهد. من هم که خجالتی‌تر و نرم‌تر از امروز بودم، فکر می‌کردم مثلا زشت است که با چند استاد همزمان صحبت کنم و یا مثلا جلوی استاد خودم را بیش از آن چه هستم، پرزنت کنم. نتیجتا این شکلی شد که در یک زنجیره به هر استادی که پیام می‌دادم بعد از چند روز می‌گفت ظرفیت ندارد و سر همین کلی اتفاق بر من افتاد. البته امروز گویا وضع بهتر است و از سال بعد از ما، جلسه معارفه گذاشتند و چندی بعد هم مکانیزم انتخاب اولویت استاد و اینها را اضافه کردند و ... به هر صورت اما تجاربی هست که هر سال وقتی دانشجوی ارشدی جدیدی به من پیام می‌دهد آن‌ها را مو به مو برایش توضیح می‌دهم. چند نکته اینجا می‌گذارم که بماند. به درد انتخاب استاد هم نخورند شاید به درد ازدواج می‌خورند:

۱- پیگیر باشید. طرف مقابل اگر از شما شناخت نداشته باشند، چطور می‌خواهد بین شما دست به انتخاب بزنند؟ در چنین شرایطی معمولا یکی از فاکتورهای در ذهن، میزان پیگیر و مشتاق بودن شخص مقابل است. پس مرتبا پیگیر باشید و خودتان را مشتاق به استاد مقابل نشان دهید. از این هم نترسید که طرف مقابل به شما در ذهن خودش برچسب سیریش بودن بزند. یا در نهایت قسمتتان می‌شود و فیضش را برده‌اید یا قسمتتان نمی‌شود و در آن صورت دیگر عذاب وجدانی ندارید. پیگیری و پینگ‌کردن اصل همیشگی‌اند.

۲- با همه صحبت کنید. سرچ اسپیستان را محدود به گزینه‌های که می‌شناسید یا حتی بقیه می‌شناسند نکنید. مطمئن شوید کل سرچ اسپیس را خوب گشته‌اید. اطلاعات در دنیای امروز مزیت نیست، ضرورت است. خجالتی هم نباشید، نهایت با چهار تا استاد بیشتر آشنا می‌شوید.

۳- متریک‌های مهمی غیر از آن چه در ذهن شما هستند، هم وجود دارند. شما تا وقتی در آب نیافتاده باشید نمی‌توانید بفهمید متریک‌های یک عینک شنای خوب چیست. برای مثال خیلی‌ها فکر می‌کنند که متریک‌ها صرفا یک چیزهای عینی و همگانی هستند. در حالی که بعضی متریک‌های دیگر هستند که خیلی به شخصیت شما وابسته هستند و ذهنی هستند. این که طرف مقابل چه جور شخصیتی دارد و آیا با شما جور در می‌آید یا نه، چیزی نیست که سلیقه اکثریت دیگران بتواند به شما پاسخ دهد. برای فهمیدن متریک‌های مهم،‌ بشینید خروجی‌هایی که از این پروداکت می‌خواهید را لیست کنید. خودتان را قضاوت کنید و ببینید به چه نیاز دارید. برای فهمیدن این که استاد مقابلتان آیا این متریک‌ها را دارد یا نه آن گاه می‌توانید یا از صحبت با خودش و البته از صحبت با دانشجوهایش ماجرا را کشف کنید. موضوع دیگر هم درباره موضوعی است که می‌خواهید روی آن ریسرچ کنید. دانشجوی نوارشد معمولا شناخت خوبی از حوزه‌های مختلف ندارند و ممکن است بعد از مدتی به حالتی برسند که دو سال ملال‌انگیز را با صرفا سنگینی یک برند دانشجوی ارشد بگذارنند. مهم است که بفهمید آیا این موضوع و این آزمایشگاه و این استاد چیزی هست که من بخواهم به خاطرش سختی‌ها و اضطراب را حفظ کنم یا این که نه، بعد از مدتی به حالتی ملال‌آور می‌رسم که مجبورم خودم را به زور شلاق به سمت خط پایان بدوانم. (البته که یکی از مشکلات بزرگ زندگی شاید این است که ما خوب نمی‌فهمیم چه می‌خواهیم)

۴- هیچ کس به اندازه خودتان نگران آینده شما نیست. برای خودتان دل بسوزانید،‌ وقت و انرژی بگذارید، آبرو خرج کنید و .... جوری زندگی کنید که حتی اگر مردید هم در نهایت در آخرین لحظه بتوانید بگویید من هر آن چه در توان داشتم، انجام دادم. بردن یا باختن دست شما نیست ولی زیبا باختن دست شماست. دیگر نمی‌دانم چه جمله انگیزشی بسازم. خلاصه برای خودتان از موضع بالا وارد عمل شوید.

۵- اگر نهایتا آن چیزی که می‌خواستید، در تقدیر نوشته نشده بود (وقتی آدم شکست می‌خورد مجبور است جبرگرا شود تا زنده بماند. حداقل برای موقعیت بعدی بتواند دهن روزگار را مورد عنایت قرار دهد)، خیلی افسرده نشوید. این مطلب از کجا معلوم را بخوانید. فکر کنید حالا خودتان برای خودتان چه کار می‌توانید بکنید.

پی‌نوشت: ممنون از آقایان حسنی و بهرامی بابت نظر در مورد متن

پی‌نوشت ۲: به طرز دراماتیکی، متن‌هایی که می‌نویسم روی خودم تاثیر و فایده‌ای ندارند.

#تجارب

گزارش سال ۲۰۲۴ stateof.ai

یکبار دیگه اکتبر و یکبار دیگه گزارش اتفاقاتی که در طول سال گذشته در هوش مصنوعی رخ دادند. امسال هم گزارش خوبی تهیه کردند و اگه آدم حوصله داشته باشه این ۲۰۰ تا اسلاید رو بخونه، یک تصویر کلی خوبی در ذهنش شکل می‌گیره. عمده بحث‌های امسال که در گزارش می‌شه:

۱- داغ‌شدن رقابت و نزدیک‌شدن بقیه بازیگر‌ها به openai
۲- تمرکز هوش مصنوعی رو مساله planning و reasoning
۳- گسترش foundation model‌ها به حوزه‌های فراتر از text
۴- کم‌اثربودن اقدامات آمریکا بر توانایی‌های هوش مصنوعی چین
۵- رشد ارزش شرکت‌های هوش مصنوعی اعم از شرکت‌ها سازنده foundation model‌ها و استارتاپ‌های سوارشده روی اونها
۶- و البته کودتا بر علیه سم آلتمن و سپس کودتای آلتمن بر علیه سایرین

لینک:
https://www.stateof.ai/

ثمر پیدا نیست

نخلم از گریه در آب است و ثمر پیدا نیست
تا فلک آتش آه است و اثر پیدا نیست

وعده دل را به دعاهای سحر می دادم
وه چه سازم که شب هجر، سحر پیدا نیست

خط اگر بود، دلم پی به دهانش می برد
خضر راه من تفسیده جگر پیدا نیست

مو شکافان جهان در تب و تابند تمام
در خم زلف تو آن موی کمر پیدا نیست

دل و دین رفت در اوّل نگه از دست حزین
به کجا تا بکشدکار نظر، پیدا نیست

حزین لاهیجی

در ستایش ژوگه لیانگ، در ستایش وفاداری

۸ اکتبر که گذشت، به روایتی ۱۷۹۰ امین سالروز درگذشت مرحوم ژوگه لیانگ بود (این که روایت چه قدر صحیح باشد،‌ احتمالش به ۱/۳۶۵ میل می‌کند ولی هر چه که هست بیشتر بهانه‌ای است برای یادکردن،‌ به مانند سایر روایت‌های تاریخی، حقیقت آن‌قدرها به قدر برداشت مهم نیست). بله می‌گفتم. فکر کنم کلاس دوم یا سوم راهنمایی بودم که اولین بار، یک آخر شبی از شبکه یک، فیلم صخره سرخ را دیدم و از آن روز شیفته فردی شدم که بدون انداختن یک تیر، صدهزار تیر از سپاه خصم گرفت (به این فکر کنید که چین چگونه با سرمایه‌گذاری فرهنگی، هزاران کیلومتر این طرف‌تر، چنین اثرگذار بوده) بعدها دیگر هر مدیایی که روی سه امپراطوری تولید شده بود اعم از انیمه و سریال و ... را دیدم. صفحه ویکی‌پدیای فارسی ژوگه لیانگ را خودم از صفحه انگلیسی‌اش ترجمه کردم و چند سالی هم هست که ردیت‌های مرتبطش را می‌خوانم.

چرا ژوگه لیانگ شخصیت جذابی است؟ آن اوایل به خاطر هوشش و استراتژی‌هایش دوستش داشتم. بعدها وقتی پایان داستان را دیدم، به خاطر ناکامی تراژدیکی که متحمل شد، احساس هم‌دردی‌ام را برانگیخت. به هر صورت بتی بود برایم. سنم که زیاد شد و از شروع کار ژوگه لیانگ گذشت اما خشکیدم. دیگر اثری از غبطه به هوش او نبود یا همدلی با ناکامی‌اش، اکنون به‌خاطر داشتن لیوبی به او رشک می‌برم. عنصر سوم داستان ژوگه لیانگ، در کنار هوش و تراژدی، وفاداری او به لیوبی است. بچه‌تر که بودم،‌ نمی‌فهمیدم این که ژوگه لیانگ را به خاطر وفاداریش به لیوبی ستایش می‌کنند یعنی چه. بعدتر، من هم ستایشش کردم و امروز حسرت دارم که کاش وفاداری به چیزی را در وجود خویش حس می‌کردم. بنابر داستان، روزی که لیوبی به دنبال ژوگه لیانگ آمد،‌ مجبور شد یک نیم روز صبر کند تا ژوگه لیانگ از خواب برخیزد و روزهای آخری که ژوگه لیانگ در بستر مرگ بود، در گیر و دار جنگ با سیمایی گویا به قدر کافی نمی‌خوابید. چیزی که این وسط تغییر کرده بود،‌ حس وفاداری ژوگه لیانگ به لیوبی بود. آن چیزی که از ژوگه لیانگ،‌ محبوبترین شخصیت سه امپراطوری را ساخت، همین حس وظیفه در او بود. همین احساس وابستگی به یک معنا

امشب در تراس با یکی از رفیقان نزدیک صحبت می‌کردم. من راجع به این که آدم‌ها تقریبا همگی دنبال هوا و هوس‌هایشان هستند و آن رفیق ما می‌گفت که آدم‌هایی هستند که این چنین نیستند و وفاداری را مثلا مثال زد. پر‌بی‌راه هم نمی‌گفت. وفاداری چیزی جدای از هوا و هوس است. ولی چیزی نیست که در آدم همین شکلی به وجود بیاید. من نمی‌توانم همینجوری به یک سیب آن هم از نوع خوب و منطقی‌اش مثلا احساس وفاداری کنم. عشق، ایمان و حس وفاداری به‌زور در کسی شعله‌ور نمی‌شوند. آدم نمی‌تواند خودش شعله‌ این‌ها را در دلش بیانگیزد. خیلی وقت است که در زندگیم اگر نگوییم بی‌معنایی، ولی احساس کم معنایی می‌کنم. صبح که بیدار می‌شوم نمی‌دانم چه کار می‌کنم تا آخر شب. می‌بینیم اکثر بقیه به کدام سمت می‌دوند من هم تقریبا همان را تقلید می‌کنم، شور و شوقی که آنان را به حرکت وامی‌دارد، در من نیست، برای همین تقلیدهایم هم بی‌کیفیتند. برگ بی‌درختی‌ام که به دست باد روزگار جا به جا می‌شود. ای کاش من نیز یک لیوبی داشتم. حداقل عمرم هرز و هدر نمی‌رفت.

#افکار_پریشان

ایده‌های جدید در صنعت بازی‌سازی به لطف دیفوژن‌

گاهی وقتا یک چیزی برای یک نیازی ابداع می‌شه ولی در ادامه نیاز دیگه‌ای رو پاسخ می‌ده که به ذهن آدم هم نمی‌رسیده از اول که به اون درد هم می‌خوره. حالا این شده قصه این پروژه جدیدی که با دیفوژن‌مدل‌ها یک بازی کامپیوتری رو سیمولیت می‌کنند. اگر اشتباه نکنم داستان به صورت خلاصه این شکلیه که میان داده‌های بازی رو جمع آوری می‌کنند و بعدش یک دیفوژن مدل رو بر حسب فریم‌های قبلی و اکشن‌های کاربر آموزشش می‌دن تا فریم بعدی بازی رو تولید کنه. بعدش، کاربر میشینه با این دیفوژن مدل تعامل می‌کنه و برحسب اکشن‌هایی که می‌زنه و فریم‌های قبلی، دیفوژن مدل فریم‌های بعدی رو براش تولید می‌کنه و به بیان دیگه دیفوژن مدل یک نوع جنریتور world model می‌شه. با این که خروجی‌های فعلی‌شون خیلی نرم و شبیه به بازی‌های عادی به نظر میاد هنوز البته جای کار داره و کلی مورد هست، مثلا چون مدل مموری نداره ممکنه شما در رو باز کنید برید توی یک اتاق بعد پشت سرتون رو برگردید نگاه کنید ببینید دری نیست:) (که البته از نظر من خیلی باحاله:)). با این حال ولی می‌شه متصور بود در عرض ۵ سال دیگه، با حضور LLM‌ها و دیفوژن‌ مدل‌ها، صنعت بازی‌سازی هم محتول بشه.

لینک پروژه:
https://diamond-wm.github.io/

امروز بکش چو می‌توان کشت

دشمنی ضعیف که در طاعت آید و دوستی نماید، مقصود وی جز آن نیست که دشمنی قوی گردد و گفته‌اند: بر دوستی دوستان اعتماد نیست تا به تملق دشمنان چه رسد و هر که دشمن کوچک را حقیر می‌دارد، بدان ماند که آتش اندک را مهمل می‌گذارد.

امروز بکش چو می‌توان کشت
کآتش چو بلند شد جهان سوخت

مگذار که زه کند کمان را
دشمن که به تیر می‌توان دوخت

گلستان سعدی، حکمت ۱۱ از باب هشتم

نکنه خودم یک سلولم؟

امروز این ویدئو رو با این کپشن در توییتر دیدم:

single cell trying to capture prey

و کلی ملت بودند که نوشته بودند چه قدر رفتار این سلول به نظر آگاهانه و هوشمندانه است. من هم ذهنم به همین درگیر شد که چه قدر تعاریف و تصورات ما بسته و عینیه. شاید این سلول هم در لول خودش چیزی مثل هوش و آگاهی براش تعریف می‌شه. نکته ترسناک‌تر اما این که ما خودمون از میلیاردها سلول ریز این چنینی تشکیل شدیم در حالی که هیچ کدوم از اینها نیستیم و هر کدوم از این سلول‌ها هم به وجود ما آگاهی ندارند (متناظرا خود این سلول هم شامل کلی مولکول هست در زیر خودش). در واقع خود من به عنوان یک انسان، حاصل فعالیت و بر هم نهی تعداد زیادی سلولم. و همین ناگهان چنین سوالی رو ایجاد می‌کنه که از کجا معلوم شاید هر کدوم از ما هم، سلولی از یک موجود بزرگتر باشیم که بهش آگاهی نداریم و در عین حال اون موجود بزرگ داره راجع به رفتارهای جالب ما از دید خودش توییت می‌زنه.

به قول مولوی:

هر ذره پر از فغان و ناله‌ست
اما چه کند زبان ندارد

رقص است زبان ذره زیرا
جز رقص دگر بیان ندارد

صبح مثل همیشه بیدار شدم. مثل همه صبح‌هایی که دلیلی برای زود از خواب بیدار شدن نداشتم. دل لک زده برای دوران مدرسه، برای شور بی‌تکلفش. برای صبح‌هایی که زنگ اول،‌ زنگ ورزش بود. برای صبح‌هایی که برف زمین را سفید کرده بود. برای صبح‌هایی که نمی‌خواستم بخوابم، می‌خواستم بیدار بمانم. صبح مثل همیشه بیدار شدم. فهمیدم که شب تمام شده مجبورم بیدار شوم. موبایل را برداشتم نگاه کنم ساعت چند است، دیدم شارژش تمام شده. موبایلی که کسی به آن زنگ نمی‌زند و صرفا در نقش 2FA است. روشن بودنش آن قدرها معنی ندارد. ساعت را نگاه کردم دیدم ۸:۳۰ است. چند لحظه فکر کردم دیدم می‌توانم باز هم بخوابم. بالش نرم و خنک، نسیم پاییز سردی که از سمت بالکن می‌آید و پتویی که می‌توانی روی خودت بندازی و بعد خیال کنی که دنیای بیرون به هیچ جایت نیست و در عین حال که بیرون سرد است اما تو زیر توی گرم هستی، تبدیل به یک لذت و فانتزی شده است. نهایتا اما واقعیات و استرس‌ها بر خواب می‌چربند. البته نور و روشنایی هم بی‌تاثیر نیستند. مدت‌هاست فکر می‌کنم چه می‌شد اگر می‌رفتم در یک اتاق بدون پنجره و ساعت زندگی می‌کردم. چه فرقی داشت؟

کار؟ تکرار مکررات. مثل همیشه. پدربزرگ‌ها ما هر روز چهارتا بیل بی‌فایده می‌زدند، ما هم هر روز بر کیبرد ضربه بی‌فایده می‌زنیم. آن‌ها گندم و برنج و میوه‌ها را از این ور به آن ور می‌بردند، ما دیتاها را از این جا به آن جا. آن‌ها ییلاق و قشلاق می‌کردند ما هم مهاجرت دیتا و زیرساخت و ... البته که شانس دیدن آدم‌های دیگر کمی تنوع است. وسط روز با همکارمان، حسن آقا، صحبت می‌کردیم، جمله‌ای گفت که به قدری تاثیرگذار بوده که تا الان در ذهنم بماند. گفت مگر چند سال می‌توانی زندگی کنی؟ هفتاد سال؟ چه کسری از کل دنیاست؟ نیک می‌گفت. شرکت هم به غایت امروز خلوت بود. آخر روز بچه‌ها پیشنهاد دادند، بازی کنیم. ما هم پیشنهاد دادیم بیاید spy بازی کنیم. مانند همیشه باختم. یک بار اسپای نشدم و مرا کشتند. یکبار هم اسپای شدم و باز هم مرا تشخیص دادند. یاد و خاطره آن روزی برایم زنده شد که با ملت آزمایشگاه و استادمان مافیا بازی کردیم و استادمان در همان روز اول گفت فلانی مافیاست. اصلا یادم نمی‌آید آخرین بار کی نقش منفی و بلوف‌زن به من افتاد و بردم. چند روزی است می‌خواهم راجع به فلوک پست بنویسم ولی فرصت و شاید جرئت نمی‌کنم.

شب خیابان‌ها خلوت بودند. میان راه بود که از روی تلویزیون مغازه‌ها یادم افتاد که بازی ایران و قطر است. یاد آن بازی آخر، در نیمه نهایی جام ملت‌ها، برایم زنده شد. هر کسی گوشه‌ای داشت می‌دید. با تاخیرهای متفاوت و غیرسینک. این ور داد می‌زدند، آن ور ده ثانیه بعد داد می‌زدند. من از استرس و هیجان از پشت شیشه‌ آن اتاق بزرگ می‌دیدم. آن توپ لعنتی جهانبخش که به تیرک خورد و گل نشد، ای کاش می‌شد. اگر می‌شد، اگر بازی به وقت اضافه می‌رفت. آن وقت شاید جور دیگری می‌شد. این که چه جور می‌شدش را فقط خودم می‌دانم. خانه که رسیدم دیدم بازی ۳-۱ است، گل چهارم را هم دیدم. ولی چه فایده که احمد نیست؟ (من احمدنوراللهی فنم، الان که فکر می‌کنم می‌بینم چه فایده؟ آیا احمد نور، فن من است؟ خب اگر این جور است من چرا اصلا احمد نور فنم؟ شما فکر می‌کنید این پاراگراف خیلی پخش و پلاست؟ اینطور نیست :)) آخر شبی یادم افتاد چه قدر کار اداری دارم که باید انجام دهم و چه قدر شوق کمی برای مایه گذاشتن دارم.

چند وقت اخیر که برای پیام‌دادن به ملت ریسکی هم از LLM‌ها کمک می‌گیرم، احساس کردم که نوشتنم ضعیف شده. دیگر دایره کلماتم متنوع نیستند. مثلا دیگر واژه‌هایی مثل التیام به ذهنم نمی‌آیند. چه می‌شود کرد. باید هر از گاهی بنویسم. شروع کردم به نوشتن که دیدم یک عده زیادی بحث در گروه‌های مختلف درگرفت. از هر دری و بابی. نیت بحث نداشتم واردشان نشدم. فکر کنم ویتگشنتاین می‌گوید برای درک چیزی که از کسی می‌شنوید باید نیت‌اش را هم بدانید. ما حرف می‌زنیم تا کاری انجام دهیم. لازم نیست هر جایی کاری انجام دهیم. آخر شبی خوابم نمی‌آید. خوابیدن آهم مثل مردن است. تا وقتی خوابی نمی‌خوابی بیدار شوی و وقتی بیداری نمی‌خواهی بخوابی. وقتی بیداری از خواب می‌گریزی و وقتی خوابی، از بیداری.

#روزمرگی

از لحد رقص کنان تا به قیامت بروم

تو مپندار کز این در به ملامت بروم
دلم اینجاست بده تا به سلامت بروم

ترک سر گفتم از آن پیش که بنهادم پای
نه به زرق آمده‌ام تا به ملامت بروم

من هوادار قدیمم بدهم جان عزیز
نو ارادت نه که از پیش غرامت بروم

گر رسد از تو به گوشم که بمیر ای سعدی
تا لب گور به اعزاز و کرامت بروم

ور بدانم به در مرگ که حشرم با توست
از لحد رقص کنان تا به قیامت بروم

سعدی

————-
دارم فکر می‌کنم گزینه خوبی برای روی قبره

هوش در لبه آشوب است

یک چیزی هست به نام اتوماتای سلولی ساده یا ECA. بدین صورت که یک آرایه یک بعدی از یک عده سلوله. هر سلول هم مقدارش می‌تونه صفر یا یک باشه و در طول گام‌های زمانی مقادیر این سلول‌ها بر حسب یک قاعده می‌تونن تغییر کنند که در ECA حالت بعدی برای هر سلولی صرفا قاعده‌ای از دقیقا دو خونه مجاور اون سلوله. بر همین حسب کلا ۲۵۶ تا قاعده می‌تونن وجود داشته باشند که البته ۸۸ تاشون فقط یونیک هستند. از طرف دیگه بر حسب این که این سلول‌ها با مقداردهی اولیه رندوم در طول زمان چه پترنی رو طی می‌کنن این قاعده‌ها رو چهار دسته کردند: اونایی که به یک حالت یکنواخت همگرا می‌شن، اونایی که به یک حالت ثابت یا حالت چرخه‌ای می‌رسن، اونایی که به یک حالت خاص نمی‌رسن و رفتار سیستم تصادفی می‌شه، و اونایی که به یک حالت پیچیده‌ای می‌رسن که بعضی نواحی‌شون استیبل و بعضی نواحشون پایداره ولی در کل یک سری ساختار توشون دیده می‌شه.

حالا یک پیپری اومده، از روند زمانی سلول‌های هر قاعده‌ای نمونه‌برداری کرده و دیتا درست کرده و یک معماری LLM طور با هدف Next Token Prediction رو روی این داده‌ها آموزش داده و انگار روی دادگان هر قاعده‌ای یک LLM جدا آموزش داده. در مرحله بعدی اوما هر کدوم از این LLM‌ها رو روی تسکای پایین دستی مثل زیرمجموعه‌ای از ARC و یک دیتاستی که توش هدف تشخیص حرکت بعدی شطرنج هست،‌ فاین تیون کرده و نشون داده که اون مدل‌هایی که روی دادگان کلاس چهارم آموزش دیدن عملکرد بهتری رو روی تسکای پایین دستی ARC و شطرنج داشتند. در نهایت هم این نتیجه‌گیری رو کرده که شاید نیازی نیست که مدل‌هامون رو روی داده‌های وسیع انسانی آموزش بدیم، بلکه شاید با آموزش دادن روی داده‌هایی با الگوهایی به قدر کافی پیچیده شاید بشه به هوش رسید (که از نظر من چرت می‌گه).

در کل دید و ایده جالبی داره و به همین بهانه ما رو با مفهوم Edge of Chaos هم آشنا کرد. مفهومی که انگار به یک حالتی از سیستم اشاره می‌کنه که در وضعی بین نظم و رندومنس قرار داره و در اون حالت پترن‌های پیچیده ولی با دوام پایین (حالا یا در بعد زمان یا در بعد مکان) تولید می‌شن. گویا این مفهوم در شبکه‌های پیچیده‌ای در حوزه‌های زیست‌شناسی و روانشناسی و سیاست و علوم اجتماعی هم وجود داره.

لینک پیپر:
https://arxiv.org/abs/2410.02536