Out of Distribution – Telegram
Out of Distribution
2.23K subscribers
451 photos
9 videos
8 files
256 links
Download Telegram
انتخاب‌کردن و انتخاب‌شدن:‌ در مورد استاد راهنما و هم‌سفر‌هایی فراتر از آن

هر سال همین موقع‌ها، وقتی از جلوی جلسه معارفه دانشجویان جدید ارشد رد می‌شوم یاد پاییز سال ۹۷ می‌افتم. بازه‌ای که هر وقت به پس ذهنم می‌آيد، اعصابم خراب می‌شود. من یک جوان ۲۱ ساله بودم که تازه ارشد شریف قبول شده بودم و باید استاد انتخاب می‌کردم. آن زمان این شکلی بود که جلسه معارفه و این جور مکانیزم‌ها هم نبود و کسی هم نبود که به ما این تجارب را انتقال دهد. من هم که خجالتی‌تر و نرم‌تر از امروز بودم، فکر می‌کردم مثلا زشت است که با چند استاد همزمان صحبت کنم و یا مثلا جلوی استاد خودم را بیش از آن چه هستم، پرزنت کنم. نتیجتا این شکلی شد که در یک زنجیره به هر استادی که پیام می‌دادم بعد از چند روز می‌گفت ظرفیت ندارد و سر همین کلی اتفاق بر من افتاد. البته امروز گویا وضع بهتر است و از سال بعد از ما، جلسه معارفه گذاشتند و چندی بعد هم مکانیزم انتخاب اولویت استاد و اینها را اضافه کردند و ... به هر صورت اما تجاربی هست که هر سال وقتی دانشجوی ارشدی جدیدی به من پیام می‌دهد آن‌ها را مو به مو برایش توضیح می‌دهم. چند نکته اینجا می‌گذارم که بماند. به درد انتخاب استاد هم نخورند شاید به درد ازدواج می‌خورند:

۱- پیگیر باشید. طرف مقابل اگر از شما شناخت نداشته باشند، چطور می‌خواهد بین شما دست به انتخاب بزنند؟ در چنین شرایطی معمولا یکی از فاکتورهای در ذهن، میزان پیگیر و مشتاق بودن شخص مقابل است. پس مرتبا پیگیر باشید و خودتان را مشتاق به استاد مقابل نشان دهید. از این هم نترسید که طرف مقابل به شما در ذهن خودش برچسب سیریش بودن بزند. یا در نهایت قسمتتان می‌شود و فیضش را برده‌اید یا قسمتتان نمی‌شود و در آن صورت دیگر عذاب وجدانی ندارید. پیگیری و پینگ‌کردن اصل همیشگی‌اند.

۲- با همه صحبت کنید. سرچ اسپیستان را محدود به گزینه‌های که می‌شناسید یا حتی بقیه می‌شناسند نکنید. مطمئن شوید کل سرچ اسپیس را خوب گشته‌اید. اطلاعات در دنیای امروز مزیت نیست، ضرورت است. خجالتی هم نباشید، نهایت با چهار تا استاد بیشتر آشنا می‌شوید.

۳- متریک‌های مهمی غیر از آن چه در ذهن شما هستند، هم وجود دارند. شما تا وقتی در آب نیافتاده باشید نمی‌توانید بفهمید متریک‌های یک عینک شنای خوب چیست. برای مثال خیلی‌ها فکر می‌کنند که متریک‌ها صرفا یک چیزهای عینی و همگانی هستند. در حالی که بعضی متریک‌های دیگر هستند که خیلی به شخصیت شما وابسته هستند و ذهنی هستند. این که طرف مقابل چه جور شخصیتی دارد و آیا با شما جور در می‌آید یا نه، چیزی نیست که سلیقه اکثریت دیگران بتواند به شما پاسخ دهد. برای فهمیدن متریک‌های مهم،‌ بشینید خروجی‌هایی که از این پروداکت می‌خواهید را لیست کنید. خودتان را قضاوت کنید و ببینید به چه نیاز دارید. برای فهمیدن این که استاد مقابلتان آیا این متریک‌ها را دارد یا نه آن گاه می‌توانید یا از صحبت با خودش و البته از صحبت با دانشجوهایش ماجرا را کشف کنید. موضوع دیگر هم درباره موضوعی است که می‌خواهید روی آن ریسرچ کنید. دانشجوی نوارشد معمولا شناخت خوبی از حوزه‌های مختلف ندارند و ممکن است بعد از مدتی به حالتی برسند که دو سال ملال‌انگیز را با صرفا سنگینی یک برند دانشجوی ارشد بگذارنند. مهم است که بفهمید آیا این موضوع و این آزمایشگاه و این استاد چیزی هست که من بخواهم به خاطرش سختی‌ها و اضطراب را حفظ کنم یا این که نه، بعد از مدتی به حالتی ملال‌آور می‌رسم که مجبورم خودم را به زور شلاق به سمت خط پایان بدوانم. (البته که یکی از مشکلات بزرگ زندگی شاید این است که ما خوب نمی‌فهمیم چه می‌خواهیم)

۴- هیچ کس به اندازه خودتان نگران آینده شما نیست. برای خودتان دل بسوزانید،‌ وقت و انرژی بگذارید، آبرو خرج کنید و .... جوری زندگی کنید که حتی اگر مردید هم در نهایت در آخرین لحظه بتوانید بگویید من هر آن چه در توان داشتم، انجام دادم. بردن یا باختن دست شما نیست ولی زیبا باختن دست شماست. دیگر نمی‌دانم چه جمله انگیزشی بسازم. خلاصه برای خودتان از موضع بالا وارد عمل شوید.

۵- اگر نهایتا آن چیزی که می‌خواستید، در تقدیر نوشته نشده بود (وقتی آدم شکست می‌خورد مجبور است جبرگرا شود تا زنده بماند. حداقل برای موقعیت بعدی بتواند دهن روزگار را مورد عنایت قرار دهد)، خیلی افسرده نشوید. این مطلب از کجا معلوم را بخوانید. فکر کنید حالا خودتان برای خودتان چه کار می‌توانید بکنید.

پی‌نوشت: ممنون از آقایان حسنی و بهرامی بابت نظر در مورد متن

پی‌نوشت ۲: به طرز دراماتیکی، متن‌هایی که می‌نویسم روی خودم تاثیر و فایده‌ای ندارند.

#تجارب
Out of Distribution
گزارش سال ۲۰۲۳ stateof.ai چند سالی هست (به طور دقیق از ۲۰۱۸) تعدادی آدم هستند که در اکتبر هر سال به بررسی وضعیت هوش مصنوعی در سالی که گذشت می‌پردازند. گزارش سال ۲۰۲۳ هم گویا دیروز منتشر شده. مطابق معمول اکثر چیزایی که تو قسمت research بود تقریبا به LLM‌ها…
گزارش سال ۲۰۲۴ stateof.ai

یکبار دیگه اکتبر و یکبار دیگه گزارش اتفاقاتی که در طول سال گذشته در هوش مصنوعی رخ دادند. امسال هم گزارش خوبی تهیه کردند و اگه آدم حوصله داشته باشه این ۲۰۰ تا اسلاید رو بخونه، یک تصویر کلی خوبی در ذهنش شکل می‌گیره. عمده بحث‌های امسال که در گزارش می‌شه:

۱- داغ‌شدن رقابت و نزدیک‌شدن بقیه بازیگر‌ها به openai
۲- تمرکز هوش مصنوعی رو مساله planning و reasoning
۳- گسترش foundation model‌ها به حوزه‌های فراتر از text
۴- کم‌اثربودن اقدامات آمریکا بر توانایی‌های هوش مصنوعی چین
۵- رشد ارزش شرکت‌های هوش مصنوعی اعم از شرکت‌ها سازنده foundation model‌ها و استارتاپ‌های سوارشده روی اونها
۶- و البته کودتا بر علیه سم آلتمن و سپس کودتای آلتمن بر علیه سایرین

لینک:
https://www.stateof.ai/
ثمر پیدا نیست

نخلم از گریه در آب است و ثمر پیدا نیست
تا فلک آتش آه است و اثر پیدا نیست

وعده دل را به دعاهای سحر می دادم
وه چه سازم که شب هجر، سحر پیدا نیست

خط اگر بود، دلم پی به دهانش می برد
خضر راه من تفسیده جگر پیدا نیست

مو شکافان جهان در تب و تابند تمام
در خم زلف تو آن موی کمر پیدا نیست

دل و دین رفت در اوّل نگه از دست حزین
به کجا تا بکشدکار نظر، پیدا نیست

حزین لاهیجی
در ستایش ژوگه لیانگ، در ستایش وفاداری

۸ اکتبر که گذشت، به روایتی ۱۷۹۰ امین سالروز درگذشت مرحوم ژوگه لیانگ بود (این که روایت چه قدر صحیح باشد،‌ احتمالش به ۱/۳۶۵ میل می‌کند ولی هر چه که هست بیشتر بهانه‌ای است برای یادکردن،‌ به مانند سایر روایت‌های تاریخی، حقیقت آن‌قدرها به قدر برداشت مهم نیست). بله می‌گفتم. فکر کنم کلاس دوم یا سوم راهنمایی بودم که اولین بار، یک آخر شبی از شبکه یک، فیلم صخره سرخ را دیدم و از آن روز شیفته فردی شدم که بدون انداختن یک تیر، صدهزار تیر از سپاه خصم گرفت (به این فکر کنید که چین چگونه با سرمایه‌گذاری فرهنگی، هزاران کیلومتر این طرف‌تر، چنین اثرگذار بوده) بعدها دیگر هر مدیایی که روی سه امپراطوری تولید شده بود اعم از انیمه و سریال و ... را دیدم. صفحه ویکی‌پدیای فارسی ژوگه لیانگ را خودم از صفحه انگلیسی‌اش ترجمه کردم و چند سالی هم هست که ردیت‌های مرتبطش را می‌خوانم.

چرا ژوگه لیانگ شخصیت جذابی است؟ آن اوایل به خاطر هوشش و استراتژی‌هایش دوستش داشتم. بعدها وقتی پایان داستان را دیدم، به خاطر ناکامی تراژدیکی که متحمل شد، احساس هم‌دردی‌ام را برانگیخت. به هر صورت بتی بود برایم. سنم که زیاد شد و از شروع کار ژوگه لیانگ گذشت اما خشکیدم. دیگر اثری از غبطه به هوش او نبود یا همدلی با ناکامی‌اش، اکنون به‌خاطر داشتن لیوبی به او رشک می‌برم. عنصر سوم داستان ژوگه لیانگ، در کنار هوش و تراژدی، وفاداری او به لیوبی است. بچه‌تر که بودم،‌ نمی‌فهمیدم این که ژوگه لیانگ را به خاطر وفاداریش به لیوبی ستایش می‌کنند یعنی چه. بعدتر، من هم ستایشش کردم و امروز حسرت دارم که کاش وفاداری به چیزی را در وجود خویش حس می‌کردم. بنابر داستان، روزی که لیوبی به دنبال ژوگه لیانگ آمد،‌ مجبور شد یک نیم روز صبر کند تا ژوگه لیانگ از خواب برخیزد و روزهای آخری که ژوگه لیانگ در بستر مرگ بود، در گیر و دار جنگ با سیمایی گویا به قدر کافی نمی‌خوابید. چیزی که این وسط تغییر کرده بود،‌ حس وفاداری ژوگه لیانگ به لیوبی بود. آن چیزی که از ژوگه لیانگ،‌ محبوبترین شخصیت سه امپراطوری را ساخت، همین حس وظیفه در او بود. همین احساس وابستگی به یک معنا

امشب در تراس با یکی از رفیقان نزدیک صحبت می‌کردم. من راجع به این که آدم‌ها تقریبا همگی دنبال هوا و هوس‌هایشان هستند و آن رفیق ما می‌گفت که آدم‌هایی هستند که این چنین نیستند و وفاداری را مثلا مثال زد. پر‌بی‌راه هم نمی‌گفت. وفاداری چیزی جدای از هوا و هوس است. ولی چیزی نیست که در آدم همین شکلی به وجود بیاید. من نمی‌توانم همینجوری به یک سیب آن هم از نوع خوب و منطقی‌اش مثلا احساس وفاداری کنم. عشق، ایمان و حس وفاداری به‌زور در کسی شعله‌ور نمی‌شوند. آدم نمی‌تواند خودش شعله‌ این‌ها را در دلش بیانگیزد. خیلی وقت است که در زندگیم اگر نگوییم بی‌معنایی، ولی احساس کم معنایی می‌کنم. صبح که بیدار می‌شوم نمی‌دانم چه کار می‌کنم تا آخر شب. می‌بینیم اکثر بقیه به کدام سمت می‌دوند من هم تقریبا همان را تقلید می‌کنم، شور و شوقی که آنان را به حرکت وامی‌دارد، در من نیست، برای همین تقلیدهایم هم بی‌کیفیتند. برگ بی‌درختی‌ام که به دست باد روزگار جا به جا می‌شود. ای کاش من نیز یک لیوبی داشتم. حداقل عمرم هرز و هدر نمی‌رفت.

#افکار_پریشان
بالاخره reasoning دارند یا ندارند؟

دیتاست GSM، دیتاستیه که شامل یک تعداد سوال ریاضیه (علی دو تا پرتقال داره چهار تا از حسن می‌گیره حالا علی چند تا پرتقال داره) و اغلب به عنوان بنچمارکی برای سنجیدن توانایی reasoning مدل‌های زبانی بزرگ استفاده می‌شه. حالا دوستانی از apple اومدند و روی این دیتاست تغییراتی دادند، از قبیل این که به جای متغیرها و مقادیرشون چیزای دیگه گذاشتند یا جمله بی‌ربط اضافه‌کردند و به عنوان GSM-Symbolic ارائه دادند. حالا دیدند که عملکرد مدل‌های زبانی حتی o1، روی این نسخه افت پیدا می‌کنه، شاهدی بر این که llm‌ها هنوز توانایی reasoning حتی در حد بچه ابتدایی ندارند.

یک چیز تو ذوق‌زن اما این جاست که کاربران در پاسخ به توییت توضیح این مقاله توسط نویسنده‌اش، نشون‌ دادند وقتی بعضی سمپل‌های داخل خود مقاله رو به مدل‌ o1 می‌دیم بر خلاف گزارش مقاله، مدل‌ جواب درستی برمی‌گردونه. این توییت رو ببینید:
https://x.com/MFarajtabar/status/1844456900290863569
Out of Distribution
Video
ایده‌های جدید در صنعت بازی‌سازی به لطف دیفوژن‌

گاهی وقتا یک چیزی برای یک نیازی ابداع می‌شه ولی در ادامه نیاز دیگه‌ای رو پاسخ می‌ده که به ذهن آدم هم نمی‌رسیده از اول که به اون درد هم می‌خوره. حالا این شده قصه این پروژه جدیدی که با دیفوژن‌مدل‌ها یک بازی کامپیوتری رو سیمولیت می‌کنند. اگر اشتباه نکنم داستان به صورت خلاصه این شکلیه که میان داده‌های بازی رو جمع آوری می‌کنند و بعدش یک دیفوژن مدل رو بر حسب فریم‌های قبلی و اکشن‌های کاربر آموزشش می‌دن تا فریم بعدی بازی رو تولید کنه. بعدش، کاربر میشینه با این دیفوژن مدل تعامل می‌کنه و برحسب اکشن‌هایی که می‌زنه و فریم‌های قبلی، دیفوژن مدل فریم‌های بعدی رو براش تولید می‌کنه و به بیان دیگه دیفوژن مدل یک نوع جنریتور world model می‌شه. با این که خروجی‌های فعلی‌شون خیلی نرم و شبیه به بازی‌های عادی به نظر میاد هنوز البته جای کار داره و کلی مورد هست، مثلا چون مدل مموری نداره ممکنه شما در رو باز کنید برید توی یک اتاق بعد پشت سرتون رو برگردید نگاه کنید ببینید دری نیست:) (که البته از نظر من خیلی باحاله:)). با این حال ولی می‌شه متصور بود در عرض ۵ سال دیگه، با حضور LLM‌ها و دیفوژن‌ مدل‌ها، صنعت بازی‌سازی هم محتول بشه.

لینک پروژه:
https://diamond-wm.github.io/
امروز بکش چو می‌توان کشت

دشمنی ضعیف که در طاعت آید و دوستی نماید، مقصود وی جز آن نیست که دشمنی قوی گردد و گفته‌اند: بر دوستی دوستان اعتماد نیست تا به تملق دشمنان چه رسد و هر که دشمن کوچک را حقیر می‌دارد، بدان ماند که آتش اندک را مهمل می‌گذارد.

امروز بکش چو می‌توان کشت
کآتش چو بلند شد جهان سوخت

مگذار که زه کند کمان را
دشمن که به تیر می‌توان دوخت

گلستان سعدی، حکمت ۱۱ از باب هشتم
This media is not supported in your browser
VIEW IN TELEGRAM
نکنه خودم یک سلولم؟

امروز این ویدئو رو با این کپشن در توییتر دیدم:

single cell trying to capture prey

و کلی ملت بودند که نوشته بودند چه قدر رفتار این سلول به نظر آگاهانه و هوشمندانه است. من هم ذهنم به همین درگیر شد که چه قدر تعاریف و تصورات ما بسته و عینیه. شاید این سلول هم در لول خودش چیزی مثل هوش و آگاهی براش تعریف می‌شه. نکته ترسناک‌تر اما این که ما خودمون از میلیاردها سلول ریز این چنینی تشکیل شدیم در حالی که هیچ کدوم از اینها نیستیم و هر کدوم از این سلول‌ها هم به وجود ما آگاهی ندارند (متناظرا خود این سلول هم شامل کلی مولکول هست در زیر خودش). در واقع خود من به عنوان یک انسان، حاصل فعالیت و بر هم نهی تعداد زیادی سلولم. و همین ناگهان چنین سوالی رو ایجاد می‌کنه که از کجا معلوم شاید هر کدوم از ما هم، سلولی از یک موجود بزرگتر باشیم که بهش آگاهی نداریم و در عین حال اون موجود بزرگ داره راجع به رفتارهای جالب ما از دید خودش توییت می‌زنه.

به قول مولوی:

هر ذره پر از فغان و ناله‌ست
اما چه کند زبان ندارد

رقص است زبان ذره زیرا
جز رقص دگر بیان ندارد
صبح مثل همیشه بیدار شدم. مثل همه صبح‌هایی که دلیلی برای زود از خواب بیدار شدن نداشتم. دل لک زده برای دوران مدرسه، برای شور بی‌تکلفش. برای صبح‌هایی که زنگ اول،‌ زنگ ورزش بود. برای صبح‌هایی که برف زمین را سفید کرده بود. برای صبح‌هایی که نمی‌خواستم بخوابم، می‌خواستم بیدار بمانم. صبح مثل همیشه بیدار شدم. فهمیدم که شب تمام شده مجبورم بیدار شوم. موبایل را برداشتم نگاه کنم ساعت چند است، دیدم شارژش تمام شده. موبایلی که کسی به آن زنگ نمی‌زند و صرفا در نقش 2FA است. روشن بودنش آن قدرها معنی ندارد. ساعت را نگاه کردم دیدم ۸:۳۰ است. چند لحظه فکر کردم دیدم می‌توانم باز هم بخوابم. بالش نرم و خنک، نسیم پاییز سردی که از سمت بالکن می‌آید و پتویی که می‌توانی روی خودت بندازی و بعد خیال کنی که دنیای بیرون به هیچ جایت نیست و در عین حال که بیرون سرد است اما تو زیر توی گرم هستی، تبدیل به یک لذت و فانتزی شده است. نهایتا اما واقعیات و استرس‌ها بر خواب می‌چربند. البته نور و روشنایی هم بی‌تاثیر نیستند. مدت‌هاست فکر می‌کنم چه می‌شد اگر می‌رفتم در یک اتاق بدون پنجره و ساعت زندگی می‌کردم. چه فرقی داشت؟

کار؟ تکرار مکررات. مثل همیشه. پدربزرگ‌ها ما هر روز چهارتا بیل بی‌فایده می‌زدند، ما هم هر روز بر کیبرد ضربه بی‌فایده می‌زنیم. آن‌ها گندم و برنج و میوه‌ها را از این ور به آن ور می‌بردند، ما دیتاها را از این جا به آن جا. آن‌ها ییلاق و قشلاق می‌کردند ما هم مهاجرت دیتا و زیرساخت و ... البته که شانس دیدن آدم‌های دیگر کمی تنوع است. وسط روز با همکارمان، حسن آقا، صحبت می‌کردیم، جمله‌ای گفت که به قدری تاثیرگذار بوده که تا الان در ذهنم بماند. گفت مگر چند سال می‌توانی زندگی کنی؟ هفتاد سال؟ چه کسری از کل دنیاست؟ نیک می‌گفت. شرکت هم به غایت امروز خلوت بود. آخر روز بچه‌ها پیشنهاد دادند، بازی کنیم. ما هم پیشنهاد دادیم بیاید spy بازی کنیم. مانند همیشه باختم. یک بار اسپای نشدم و مرا کشتند. یکبار هم اسپای شدم و باز هم مرا تشخیص دادند. یاد و خاطره آن روزی برایم زنده شد که با ملت آزمایشگاه و استادمان مافیا بازی کردیم و استادمان در همان روز اول گفت فلانی مافیاست. اصلا یادم نمی‌آید آخرین بار کی نقش منفی و بلوف‌زن به من افتاد و بردم. چند روزی است می‌خواهم راجع به فلوک پست بنویسم ولی فرصت و شاید جرئت نمی‌کنم.

شب خیابان‌ها خلوت بودند. میان راه بود که از روی تلویزیون مغازه‌ها یادم افتاد که بازی ایران و قطر است. یاد آن بازی آخر، در نیمه نهایی جام ملت‌ها، برایم زنده شد. هر کسی گوشه‌ای داشت می‌دید. با تاخیرهای متفاوت و غیرسینک. این ور داد می‌زدند، آن ور ده ثانیه بعد داد می‌زدند. من از استرس و هیجان از پشت شیشه‌ آن اتاق بزرگ می‌دیدم. آن توپ لعنتی جهانبخش که به تیرک خورد و گل نشد، ای کاش می‌شد. اگر می‌شد، اگر بازی به وقت اضافه می‌رفت. آن وقت شاید جور دیگری می‌شد. این که چه جور می‌شدش را فقط خودم می‌دانم. خانه که رسیدم دیدم بازی ۳-۱ است، گل چهارم را هم دیدم. ولی چه فایده که احمد نیست؟ (من احمدنوراللهی فنم، الان که فکر می‌کنم می‌بینم چه فایده؟ آیا احمد نور، فن من است؟ خب اگر این جور است من چرا اصلا احمد نور فنم؟ شما فکر می‌کنید این پاراگراف خیلی پخش و پلاست؟ اینطور نیست :)) آخر شبی یادم افتاد چه قدر کار اداری دارم که باید انجام دهم و چه قدر شوق کمی برای مایه گذاشتن دارم.

چند وقت اخیر که برای پیام‌دادن به ملت ریسکی هم از LLM‌ها کمک می‌گیرم، احساس کردم که نوشتنم ضعیف شده. دیگر دایره کلماتم متنوع نیستند. مثلا دیگر واژه‌هایی مثل التیام به ذهنم نمی‌آیند. چه می‌شود کرد. باید هر از گاهی بنویسم. شروع کردم به نوشتن که دیدم یک عده زیادی بحث در گروه‌های مختلف درگرفت. از هر دری و بابی. نیت بحث نداشتم واردشان نشدم. فکر کنم ویتگشنتاین می‌گوید برای درک چیزی که از کسی می‌شنوید باید نیت‌اش را هم بدانید. ما حرف می‌زنیم تا کاری انجام دهیم. لازم نیست هر جایی کاری انجام دهیم. آخر شبی خوابم نمی‌آید. خوابیدن آهم مثل مردن است. تا وقتی خوابی نمی‌خوابی بیدار شوی و وقتی بیداری نمی‌خواهی بخوابی. وقتی بیداری از خواب می‌گریزی و وقتی خوابی، از بیداری.

#روزمرگی
از لحد رقص کنان تا به قیامت بروم

تو مپندار کز این در به ملامت بروم
دلم اینجاست بده تا به سلامت بروم

ترک سر گفتم از آن پیش که بنهادم پای
نه به زرق آمده‌ام تا به ملامت بروم

من هوادار قدیمم بدهم جان عزیز
نو ارادت نه که از پیش غرامت بروم

گر رسد از تو به گوشم که بمیر ای سعدی
تا لب گور به اعزاز و کرامت بروم

ور بدانم به در مرگ که حشرم با توست
از لحد رقص کنان تا به قیامت بروم

سعدی

————-
دارم فکر می‌کنم گزینه خوبی برای روی قبره
هوش در لبه آشوب است

یک چیزی هست به نام اتوماتای سلولی ساده یا ECA. بدین صورت که یک آرایه یک بعدی از یک عده سلوله. هر سلول هم مقدارش می‌تونه صفر یا یک باشه و در طول گام‌های زمانی مقادیر این سلول‌ها بر حسب یک قاعده می‌تونن تغییر کنند که در ECA حالت بعدی برای هر سلولی صرفا قاعده‌ای از دقیقا دو خونه مجاور اون سلوله. بر همین حسب کلا ۲۵۶ تا قاعده می‌تونن وجود داشته باشند که البته ۸۸ تاشون فقط یونیک هستند. از طرف دیگه بر حسب این که این سلول‌ها با مقداردهی اولیه رندوم در طول زمان چه پترنی رو طی می‌کنن این قاعده‌ها رو چهار دسته کردند: اونایی که به یک حالت یکنواخت همگرا می‌شن، اونایی که به یک حالت ثابت یا حالت چرخه‌ای می‌رسن، اونایی که به یک حالت خاص نمی‌رسن و رفتار سیستم تصادفی می‌شه، و اونایی که به یک حالت پیچیده‌ای می‌رسن که بعضی نواحی‌شون استیبل و بعضی نواحشون پایداره ولی در کل یک سری ساختار توشون دیده می‌شه.

حالا یک پیپری اومده، از روند زمانی سلول‌های هر قاعده‌ای نمونه‌برداری کرده و دیتا درست کرده و یک معماری LLM طور با هدف Next Token Prediction رو روی این داده‌ها آموزش داده و انگار روی دادگان هر قاعده‌ای یک LLM جدا آموزش داده. در مرحله بعدی اوما هر کدوم از این LLM‌ها رو روی تسکای پایین دستی مثل زیرمجموعه‌ای از ARC و یک دیتاستی که توش هدف تشخیص حرکت بعدی شطرنج هست،‌ فاین تیون کرده و نشون داده که اون مدل‌هایی که روی دادگان کلاس چهارم آموزش دیدن عملکرد بهتری رو روی تسکای پایین دستی ARC و شطرنج داشتند. در نهایت هم این نتیجه‌گیری رو کرده که شاید نیازی نیست که مدل‌هامون رو روی داده‌های وسیع انسانی آموزش بدیم، بلکه شاید با آموزش دادن روی داده‌هایی با الگوهایی به قدر کافی پیچیده شاید بشه به هوش رسید (که از نظر من چرت می‌گه).

در کل دید و ایده جالبی داره و به همین بهانه ما رو با مفهوم Edge of Chaos هم آشنا کرد. مفهومی که انگار به یک حالتی از سیستم اشاره می‌کنه که در وضعی بین نظم و رندومنس قرار داره و در اون حالت پترن‌های پیچیده ولی با دوام پایین (حالا یا در بعد زمان یا در بعد مکان) تولید می‌شن. گویا این مفهوم در شبکه‌های پیچیده‌ای در حوزه‌های زیست‌شناسی و روانشناسی و سیاست و علوم اجتماعی هم وجود داره.

لینک پیپر:
https://arxiv.org/abs/2410.02536
رپویی برای آشنایی با سیستم‌۲

هوش مصنوعی در طول این ۴۰-۵۰ سال اخیر خودش، در هر بازه‌ای درگیر حل یک مساله‌ای بوده. مساله که اخیرا یکی از هات‌ترین موانع پیش روی هوش مصنوعی برای رسیدن به AGI (یا همون هوش جامع مصنوعی) هست، دسته مسائلیه که ازشون به عناوین reasoning یا system2 نام‌برده می‌شه. این مسائل، مسائلی هستند که حلشون گاها نیاز به تصمیم‌گیری‌های چند مرحله‌ای داره (در مقابل مسائل سیستم‌۱ که بیشتر مسائل شهودی هستند) و جزو محدوده‌ای هست که در اون هوش مصنوعی فعلی هنوز به قدرت پردازش انسانی نرسیده. دسته مسائلی مثل مثلا حل کردن سوالات ریاضی یا استدلال کردن از این دست هستند. البته که حوزه ریسرچ هوش مصنوعی هم در این سمت هنوز تعریف فرمالیزیشن درست و حسابی و بنچمارک‌های قاطع و مشخصی براش وجود نداره و یک سوال تقریبا باز محسوب میشه. چند وقت پیش دیدم که یک رپو در گیتهاب اومده سعی کرده کارهای مختلف (اعم از مقاله و کتاب و بلاگ پست و ورکشاپ‌ها) مربوط به این حوزه رو یک جا جمع کنه. چیز تمیز و کاملی نیست ولی یک نقطه شروع خوبه.

لینک:
https://github.com/open-thought/system-2-research
در مجموعه روزنامه شریف، یک خانم پیدا نمی‌شد که بعد از ۱۵ ساعت، این اشتباه رو کشف کنه؟

گذشته از اون ولی عجیب که شخصی که داشته متن رو می‌نوشته و شخصی که متن رو خونده تایید کرده تا پست بشه اصلا در ناخودآگاهشون نبوده که طرف غیر از آقای مهندس می‌توانسته چیز دیگری هم باشه.

لینک پست:
https://news.1rj.ru/str/sharifdaily/16450

پی‌نوشت:
در ساعت ۱۵:۳۷ سرانجام تغییرش دادند :)
Out of Distribution
Photo
قمارباز داستایفسکی

دیشب کتاب قمارباز داستایفسکی را بالاخره خواندم. قبل از صحبت در مورد خود قمارباز، داستان خود نوشتنش را باید شنید. ماجرا این است که گویا داستایفسکی که خودش معتاد به قمار بوده، تحت فشار مالی بوده و در همین اثنا با ناشر آثارش قمار می‌کند که ظرف ۲۶ روز، تا یک نوامبر، یک رمانی رو آماده کنه و اگر نه، حق انتشار تمام آثارش بدون هیچ گونه پرداختی به ناشرش برسه. داستایفسکی در همین ۲۶ روز کتاب رو به خانم آنا نامی که منشی‌اش بوده دیکته می‌کنه. در نهایت در روز ۳۰ اکتبر (که تولد داستایفسکی هم بوده) کار تقریر کتاب تموم می‌شه و داستایفسکی می‌ره کتاب رو به ناشر بده. اما ناشر گویا شهر رو ترک کرده بوده که داستا نتونه شرط رو ببره. داستا هم در نهایت کتاب رو به یک دفتر ثبت اسناد محلی می‌بره و اونجا ثبت می‌کنه و قمار رو می‌بره.

کتاب در کل جزو کتاب‌هاییه که با خوندنش آدم آن چنان گذر زمان رو حس نمی‌کنه (اگر چه جاهاییش دیالوگ‌های خیلی طولانی داره). ویژگی اصلیش اما شاید توانایی داستایفسکی در به تصویر کشیدن حس گناه قمار و القای اون به مخاطبه. طوری که خود شما هم حس اعتیاد به قمار رو می‌چشید. قبلا هم شنیده بودم که یکی از ویژگی‌های داستایفسکی اینه که در داستان‌هاش همه مریض‌اند و از اونور هم داستایفسکی به خوبی احساسات مریض اینها در مغز خواننده تزریق می‌کنه.

استعاره‌ای که در انتها در ذهن من شکل گرفت این بود که قمار فقط صرفا محدود به کازینو رولت و اینها نیست. قمار هر امیدی به تغییر سرنوشته.