حالا چرا این بحثش برام جالب بود چون که اخیرا دوباره تو یک سری از کانال‌های خبری و حتی کانال‌های هوش مصنوعی خبرهایی از این دست که کوت کردم می‌دیدم یا مثلا این خبر از euronews با این تیتر که "هوش مصنوعی گوگل یک کاربر را به مرگ تهدید کرد؛ «تو لکه ننگ این جهانی، لطفاً بمیر»" و واقعا خنده‌دار و احمقانه است چنین چیزهایی واقعا.

جالبی ماجرا اونجاست که این اولین بار نیست که چنین چیزی مد میشه و قبلا کلی دهن ما رو سرویس کرده بودن با هوش مصنوعی فیسبوک که به صورت کاملا اتفاقی یه زبان ساخته بودن و به اون زبان با هم حرف زدن و در ادامه فیسبوک برنامه رو مجبور شدن قطع کنن. مثلا این خبر از سکان آکادمی رو ببینید.

ولی داستان چیه؟ داستان اینه که مدل‌های هوش مصنوعی و به طور دقیق‌تر شبکه‌های عصبی عمیق تفسیرپذیری کمی داره یعنی چی؟ یعنی سخت میشه فهمید و توضیح داد که چرا مدل نسبت به این ورودی دقیقا این خروجی رو میده و مبنای این تصمیمش چیه؟ بنابراین این نکته کارو سخت میکنه و راه رو باز میکنه برای اینکه یه سری منابع خبری که اموراتشون از کلیک آدم‌ها میگذره سوار این قضیه بشن و شروع کنن خیال‌بافی و قصه‌سرایی برای آدم‌ها که به طور عادی خیلی توان بالایی داریم برای این که تو ابرها شکل‌های آشنا رو ببینیم و تو ماه عکس امام رو. (این قضیه اسمش pareidolia است و علی بندری تو چنل یوتیوب بی‌پلاس یه ویدیو خوب داره در موردش. اینجا میتونید ببینید.)

نکته جالب اینه که منبع این خبر جدید یه اسکرین شات که تو سایت گوگله که ادما هر چی تلاش کردن که اون پرامپت رو بدن و اون جوابی که تو اسکرین شات بوده رو بگیرن نتونستن. چرا؟ چون خب ما دقیقا نمیدونیم که قبل اون اسکرین شات دقیقا چه مکالماتی رد و بدل شده و خواسته که از gemini که چی بگه بهش؟

ما میدونیم که مدل‌های زبانی کلی سوتی دارن همچنان که میتونن چیزهای مختلف مثل رمز کرک ویندوز رو ازشون کشید بیرون که به این روش‌ها jailbreak میگن و قبلا مثلا تو کانال حرف زدیم. حرف اصلی اما اینه که قطعا ادمای دیگه این‌‌ها رو میدونن ولی برای دو تا کلیک بیشتر میان این حرفا رو مد میکنن و ما انسان‌ها هم که خوراکمون این چیزاست که باور کنیم دیگه. خلاصه بسههههه دیگه خسته شدیم.
#note
@SingularThinker

Students don't need a perfect teacher. Students need a happy teacher, who's gonna make them excited to come to school and grow a love for learning.

🔗 Prof. Feynman (@ProfFeynman)

#tweet
@SingularThinker

خب آقا با ما در شهر بمانید که قراره این سری از مطالب Language modeling رو شروع کنیم به زودی. چیزهایی جالبی پیدا کردم و فک کنم چیزهایی جالبی میشه گفت. احتمالا یه مدتی زمینه اصلی کانال این بمونه. شروع کنیم با هم به اشتراک گذاشتن چیزهای جالب در مورد این مدل‌ها و از نگاه‌های مختلف بررسی‌اش کنیم. و من بیشتر بگم چرا من فکر میکردم و میگفتم که این مدل‌ها هنوز کار دارن تا به AGI و مرحله خطرناک برسن.

اگه شما هم که دوست دارید که با ما تو این مسیر همراه باشید، اول این مطلب قبلی رو یه نگاهی بندازید. تو هفته آینده میریم سر قسمت بعدی. هدف کلی اینه که یه ذره دقیق‌تر از جاهای دیگه این مسئله رو پیگیری کنیم، تاریخچه داستان رو در نظر بگیریم و سعی کنیم یه شهودی پیدا کنیم در مورد عملکرد این مدل‌ها.

@SingularThinker