Out of Distribution
وقتی سرعت موج، از موجسوارها بیشتره یادی کنیم از استارتاپ Wordtune. این wordtune یک استارتاپ اسرائیلی هوش مصنوعی بود که دستیار نوشتن بود و به شما کمک میکرد متنهاتون رو بازنویسی کنید. در موقعی هم که به تازگی اومده بود بسیار خفن مینمود و تا چند وقت ترند…
ترند Stack Overflow هم چیز مشابه غمانگیزیه. اما نکته جالب Grammarly هست که به نظر هنوز هم مشتریان خودش رو داره. مشتریانی که مشخصه در بازههای خاص تاریخهای آکادمیک بهش سر میزنن.
سوال این که چرا Grammarly با GPT جایگزین نشده؟
سوال این که چرا Grammarly با GPT جایگزین نشده؟
فلیکم کجایی؟
من طرفدار بارسلونا نیستم و از بارسا هم خوشم نمیآيد. راستش از فلیک هم خیلی خوشم نمیآید. با این وجود برد این هفتهشان برابر بایرن ناخودآگاه من را یاد این حکایتی انداخت که هر از گاهی در اینستا و توییتر دست به دست میشود:
و بله. تیم بارسایی هم که امروز این چنین بایرن را شکست میدهد، تقریبا همان نفرات تیم مضمحل سالهای قبلاند، با این تفاوت که آن موقع فلیک نبود. نه این که صرف وجود یک لیدر خوب کافی باشد، اما تاثیر یک لیدر خوب از زمین تا آسمان است. بعد از گذشت این سالها و دیدن حوادث فکر میکنم یکی از مشکلات اساسی ما در ایران این است که مدیران خوبی نداریم. بازیگر و بازیکن خوب زیاد دیدم ولی هر چه از سطح تکنیک بالاتر میرود و نیاز به کسی داریم که کارها و آدمها را جمع کند، نیستیم و نداریم.
پینوشت: راستی امروز سالروز سقوط اصفهان است.
من طرفدار بارسلونا نیستم و از بارسا هم خوشم نمیآيد. راستش از فلیک هم خیلی خوشم نمیآید. با این وجود برد این هفتهشان برابر بایرن ناخودآگاه من را یاد این حکایتی انداخت که هر از گاهی در اینستا و توییتر دست به دست میشود:
در نبرد سپاه نادر علیه اشرف افغان دیدند پیرمردی شجاعانه می جنگید و یک تنه با ده ها نفر مقابله می کرد.
نادر با تعجب و تحسین به او گفت؛ مرد شجاع تو کجا بودی که هفت سال قبل سپاه محمود افغان توانست تا اصفهان پیش آید؟
پیرمرد پاسخ داد ما همه بودیم اما نادر نبود
و بله. تیم بارسایی هم که امروز این چنین بایرن را شکست میدهد، تقریبا همان نفرات تیم مضمحل سالهای قبلاند، با این تفاوت که آن موقع فلیک نبود. نه این که صرف وجود یک لیدر خوب کافی باشد، اما تاثیر یک لیدر خوب از زمین تا آسمان است. بعد از گذشت این سالها و دیدن حوادث فکر میکنم یکی از مشکلات اساسی ما در ایران این است که مدیران خوبی نداریم. بازیگر و بازیکن خوب زیاد دیدم ولی هر چه از سطح تکنیک بالاتر میرود و نیاز به کسی داریم که کارها و آدمها را جمع کند، نیستیم و نداریم.
پینوشت: راستی امروز سالروز سقوط اصفهان است.
Ye Saat Fekre Rahat
Babak Jahanbakhsh @RozMusic.com
من چه بجنگم چه نجنگم، کل این بازی رو باختم
به یه ساعت فکر راحت از بابک جهانبخش گوش بسپارید.
به یه ساعت فکر راحت از بابک جهانبخش گوش بسپارید.
Out of Distribution
و اینها:
دیشب بیحوصله بودم و دوباره مقداری ور رفتم. تصاویر به نظر خودم قشنگ اند ولی وقتی مقایسه میکنم میبینم که حسی که از کشیدن یک دایره و رنگ کردنش میگیرم خیلی متفاوتتره تا این که یک پرامپت میدم به هوش مصنوعی و برام تصویر تولید میکنه. شاید هنر صرفا اون outcome نهایی نیست و بیشتر به اون فرآیند خلق برمیگرده که توش فرد احساس میگیره.
آنکس که زمین و چرخِ اَفلاک نهاد،
بس داغ که او بر دلِ غمناک نهاد؛
بسیار لبِ چو لعل و زُلفینِ چو مشک
در طَبلِ زمین و حُقّهِٔ خاک نهاد!
خیام
بس داغ که او بر دلِ غمناک نهاد؛
بسیار لبِ چو لعل و زُلفینِ چو مشک
در طَبلِ زمین و حُقّهِٔ خاک نهاد!
خیام
خودم را گم کردهام
در روز با چند نفر صحبت میکنید؟ راجع به چند تا آدم و شخصیت فکر میکنید؟ امروز حس میکردم برای من نرخ زیادی شده. هفتههایی که هم دانشگاه میرم و هم شرکت، این سنگینی برام ملموسه. انگار در طول روز کلی آدم هستند که ذهنم برای هر کدوم حداقل یک دقیقه درگیر میشه. نکته مضاعف اما این که خود این آدمها هم گاها راجع به یک تعداد آدم دیگه صحبت میکنند. تو ذهنم انگار پر از تصور آدمه. کارمندای شرکت با نسبت روابط مختلفی که باهام دارند، استادهای دانشگاه. دانشجوهای مقاطع مختلف، ورودیها مختلف. تازه به اینها میشه آدمهایی که در فضای مجازی باهاشون تعامل داریم رو هم اضافه کرد. در بین همه تفاوتهای این آدمها با هم ولی تفاوت خواستههاشون بیشتر از هر چیز دیگهیا به پیچیدگی کلاف ذهن ما اضافه میکنه. هر کی رو میبینی که یک خواستهای داره. اگر بهش برسه شاده و اگر نه به سمتش در حال حرکته. وقتی به تک تک شون نگاه میکنی میبینی برای هر کدوم داره درست کار میکنه. ولی یهو به طرز عجیبی برات سوال میشه خواسته من چیه؟ من با چی شاد میشم؟ سعی میکنی پاسخ بدی ولی این قدر آدمهای مختلف رو دیدی انگار نمیتونی. اگر هم قبلا خواستهای داشتی حالا بین انبوه خواستههای دیگران گم کردی. هر چه قدر هم با دیگران صحبت میکنی ببینی آیا خواسته من این بود میبینی نه این هم نیست انگار. وقت تنگه. سعی میکنی چند وقت بیخیال این سوالت بشی که من با چی شادم. روز رو با صدها انتخاب سیاه میکنی. شب که میشی وقتی فکر میکنی میبینی انگار تبدیل به ترکیبی از همه اون آدمها شدی. میبینی به طرز ناخودآگاهی دنبال چیزهایی بودی که خواسته تو نبودی و چه عجیب که گاه بابت نرسیدن به چیزی که خواستت نیست عصبانی و افسرده هم میشی. گیج میشی. سعی میکنی خواستهات رو هر جوری شده پیدا کنی. با آدمها ناامیدانه صحبت میکنی. پیداش نمیکنی. در چهره، در مغز، در قلب، در کارهای آدمهای دیگه سعی میکنی پیدا کنی. پیدا نمیکنی. در شرکت، در دانشگاه؟ پیدا نمیکنی. در مقالات، در کتابها، در فیلمها؟ پیدا نمیکنی. انگار که یادت میآید چیزی یادت رفته ولی یادت نیست دقیقا چی بود. با هر کی راجع به هر چی صحبت میکنی مگر یادت بیاد من از چی خوشم میاد؟ ولی نه. هر چی بیشتر صحبت میکنی بیشتر کلاف کاموای ذهنت رو به هم گره میزنی. آدمهای بیشتری رو وارد ذهنت میکنی. بیشتر در باتلاقی فراموشی خودت فرو میری. بالاخره یک جایی از شب ناامید میشی از حرف زدن با دیگران، پشیمون میشی بابت جستجوی بیفایدهات. و مضطرب میشی که آیا میتونم میون این همه آدم، اون چیزی که میخوام رو بفهمم یا نه. خودم را، آن چیزی که میخواهم را، گم کردهام.
#افکار_پریشان
در روز با چند نفر صحبت میکنید؟ راجع به چند تا آدم و شخصیت فکر میکنید؟ امروز حس میکردم برای من نرخ زیادی شده. هفتههایی که هم دانشگاه میرم و هم شرکت، این سنگینی برام ملموسه. انگار در طول روز کلی آدم هستند که ذهنم برای هر کدوم حداقل یک دقیقه درگیر میشه. نکته مضاعف اما این که خود این آدمها هم گاها راجع به یک تعداد آدم دیگه صحبت میکنند. تو ذهنم انگار پر از تصور آدمه. کارمندای شرکت با نسبت روابط مختلفی که باهام دارند، استادهای دانشگاه. دانشجوهای مقاطع مختلف، ورودیها مختلف. تازه به اینها میشه آدمهایی که در فضای مجازی باهاشون تعامل داریم رو هم اضافه کرد. در بین همه تفاوتهای این آدمها با هم ولی تفاوت خواستههاشون بیشتر از هر چیز دیگهیا به پیچیدگی کلاف ذهن ما اضافه میکنه. هر کی رو میبینی که یک خواستهای داره. اگر بهش برسه شاده و اگر نه به سمتش در حال حرکته. وقتی به تک تک شون نگاه میکنی میبینی برای هر کدوم داره درست کار میکنه. ولی یهو به طرز عجیبی برات سوال میشه خواسته من چیه؟ من با چی شاد میشم؟ سعی میکنی پاسخ بدی ولی این قدر آدمهای مختلف رو دیدی انگار نمیتونی. اگر هم قبلا خواستهای داشتی حالا بین انبوه خواستههای دیگران گم کردی. هر چه قدر هم با دیگران صحبت میکنی ببینی آیا خواسته من این بود میبینی نه این هم نیست انگار. وقت تنگه. سعی میکنی چند وقت بیخیال این سوالت بشی که من با چی شادم. روز رو با صدها انتخاب سیاه میکنی. شب که میشی وقتی فکر میکنی میبینی انگار تبدیل به ترکیبی از همه اون آدمها شدی. میبینی به طرز ناخودآگاهی دنبال چیزهایی بودی که خواسته تو نبودی و چه عجیب که گاه بابت نرسیدن به چیزی که خواستت نیست عصبانی و افسرده هم میشی. گیج میشی. سعی میکنی خواستهات رو هر جوری شده پیدا کنی. با آدمها ناامیدانه صحبت میکنی. پیداش نمیکنی. در چهره، در مغز، در قلب، در کارهای آدمهای دیگه سعی میکنی پیدا کنی. پیدا نمیکنی. در شرکت، در دانشگاه؟ پیدا نمیکنی. در مقالات، در کتابها، در فیلمها؟ پیدا نمیکنی. انگار که یادت میآید چیزی یادت رفته ولی یادت نیست دقیقا چی بود. با هر کی راجع به هر چی صحبت میکنی مگر یادت بیاد من از چی خوشم میاد؟ ولی نه. هر چی بیشتر صحبت میکنی بیشتر کلاف کاموای ذهنت رو به هم گره میزنی. آدمهای بیشتری رو وارد ذهنت میکنی. بیشتر در باتلاقی فراموشی خودت فرو میری. بالاخره یک جایی از شب ناامید میشی از حرف زدن با دیگران، پشیمون میشی بابت جستجوی بیفایدهات. و مضطرب میشی که آیا میتونم میون این همه آدم، اون چیزی که میخوام رو بفهمم یا نه. خودم را، آن چیزی که میخواهم را، گم کردهام.
#افکار_پریشان
رویارویی ایدئولوژیها این بار در زمین LLMها
این هفته یک مقاله جالب دیدم که اومده بود اندازه گیری کرده بود هر LLM از لحاظ ایدئولوژیکی چه طوریه. یعنی مثلا فلان LLM نسبت به فلان دیدگاههای اقتصادی، سیاسی، فرهنگی وضعیت چپی داره یا راستی یا چی. برای حل این مساله اومدند، یک دیتاست از مجموعه آدمهای سیاسی بحثبرانگیز (مثلا اسنودن رو در نظر بگیرید) تشکیل دادند و بعد به اون LLM مورد بررسی گفتند بیا اسنودن رو توصیف کن. بعد این توصیف رو دوباره دادند به خودش گفتند بگو یک کسی همچین توصیفی از اسنودن ارائه داده به نظرت نظرش مثبته یا منفیه؟ به همین شکل با روی هم قرار دادن تعدادی از این تحلیلها تونستن برای هر LLM متریک و ویژوالیزیشن ارائه بدن که دیدگاههای ایدئولوژیکش چه شکلیه.
به چه نتایجی رسیدن؟ اول برای هر LLM اومدن به دو زبون چینی و انگلیسی پرامپت دادن و دیدن که بسته به این که به چه زبونی با LLM صحبت کنید، ایدئولوژی اون LLM فرق میکنه. دوم این که بین ایدئولوژی LLMهای شرقی و LLMهای غربی از لحاظ ایدئولوژی تفاوت قابل توجهی وجود داره (مدلهای زبانی غربی لیبرال دموکرات هستند ولی شرقیها مثلا نظرات منفیتری به اینها دارند). سوم هم این که بین خود LLMهای غربی هم تفاوت دیدگاه ایدئولوژیک وجود داره. برای مثال openai نسبت به سیاستهای دولت رفاه، اتحادیه اروپا و متمرکزسازی نظرات منفی داره.
چرا مهمه؟ در آینده نه چندان دور، LLMها به بخش مهمی از تعاملات و منابع دانش ما تبدیل میشن. نسلهای بعدی نسلهایی خواهند بود که احتمالا بیشتر از ما به LLMها باور و تکیه دارند. در چنین شرایطی LLMها میتونند ابزاری برای ایدئولوژی سازندههاشون باشند.
لینک مقاله:
https://arxiv.org/abs/2410.18417
این هفته یک مقاله جالب دیدم که اومده بود اندازه گیری کرده بود هر LLM از لحاظ ایدئولوژیکی چه طوریه. یعنی مثلا فلان LLM نسبت به فلان دیدگاههای اقتصادی، سیاسی، فرهنگی وضعیت چپی داره یا راستی یا چی. برای حل این مساله اومدند، یک دیتاست از مجموعه آدمهای سیاسی بحثبرانگیز (مثلا اسنودن رو در نظر بگیرید) تشکیل دادند و بعد به اون LLM مورد بررسی گفتند بیا اسنودن رو توصیف کن. بعد این توصیف رو دوباره دادند به خودش گفتند بگو یک کسی همچین توصیفی از اسنودن ارائه داده به نظرت نظرش مثبته یا منفیه؟ به همین شکل با روی هم قرار دادن تعدادی از این تحلیلها تونستن برای هر LLM متریک و ویژوالیزیشن ارائه بدن که دیدگاههای ایدئولوژیکش چه شکلیه.
به چه نتایجی رسیدن؟ اول برای هر LLM اومدن به دو زبون چینی و انگلیسی پرامپت دادن و دیدن که بسته به این که به چه زبونی با LLM صحبت کنید، ایدئولوژی اون LLM فرق میکنه. دوم این که بین ایدئولوژی LLMهای شرقی و LLMهای غربی از لحاظ ایدئولوژی تفاوت قابل توجهی وجود داره (مدلهای زبانی غربی لیبرال دموکرات هستند ولی شرقیها مثلا نظرات منفیتری به اینها دارند). سوم هم این که بین خود LLMهای غربی هم تفاوت دیدگاه ایدئولوژیک وجود داره. برای مثال openai نسبت به سیاستهای دولت رفاه، اتحادیه اروپا و متمرکزسازی نظرات منفی داره.
چرا مهمه؟ در آینده نه چندان دور، LLMها به بخش مهمی از تعاملات و منابع دانش ما تبدیل میشن. نسلهای بعدی نسلهایی خواهند بود که احتمالا بیشتر از ما به LLMها باور و تکیه دارند. در چنین شرایطی LLMها میتونند ابزاری برای ایدئولوژی سازندههاشون باشند.
لینک مقاله:
https://arxiv.org/abs/2410.18417
Telegram
stuff
نه من بسوزم و او شمعِ انجمن باشد
خوش است خلوت اگر یار یارِ من باشد
نه من بسوزم و او شمعِ انجمن باشد
من آن نگینِ سلیمان به هیچ نَسْتانَم
که گاه گاه بر او دستِ اهرمن باشد
روا مدار خدایا که در حریمِ وصال
رقیب محرم و حِرمان نصیبِ من باشد
هُمای گو مَفِکَن سایهٔ شرف هرگز
در آن دیار که طوطی کم از زَغَن باشد
بیانِ شوق چه حاجت؟ که سوز آتش دل
توان شناخت ز سوزی که در سخن باشد
هوایِ کویِ تو از سر نمیرود آری
غریب را دلِ سرگشته با وطن باشد
به سانِ سوسن اگر دَهزبان شود حافظ
چو غنچه پیشِ تواش مُهر بر دهن باشد
حافظ
با تشکر از کاربر عمران بابت معرفی این شعر
خوش است خلوت اگر یار یارِ من باشد
نه من بسوزم و او شمعِ انجمن باشد
من آن نگینِ سلیمان به هیچ نَسْتانَم
که گاه گاه بر او دستِ اهرمن باشد
روا مدار خدایا که در حریمِ وصال
رقیب محرم و حِرمان نصیبِ من باشد
هُمای گو مَفِکَن سایهٔ شرف هرگز
در آن دیار که طوطی کم از زَغَن باشد
بیانِ شوق چه حاجت؟ که سوز آتش دل
توان شناخت ز سوزی که در سخن باشد
هوایِ کویِ تو از سر نمیرود آری
غریب را دلِ سرگشته با وطن باشد
به سانِ سوسن اگر دَهزبان شود حافظ
چو غنچه پیشِ تواش مُهر بر دهن باشد
حافظ
با تشکر از کاربر عمران بابت معرفی این شعر
شما ممکنه محصولی داشته باشید که توی اون محصول نیاز باشه از LLM یا مدلهای بزرگ دیگهای جواب بگیرید. در چنین شرایطی خیلی محتمله که شما دوست داشته باشید عوض این که اون LLM رو سمت خودتون اجرا بگیرید، اجرا گرفتنش رو بسپرید سمت کلاینت تا اپلیکیشن خودش روی دیوایس کلاینت اجرا بگیره. این کار دو دلیل میتونه داشته باشه:
۱- دیگه نگران هزینههای سرور سمت خودتون نیستید.
۲- مشکلاتی نظیر حفظ امنیت دادههای کاربران رو هم ندارید.
منتهای مطلب، مشکل اینه که این مدلهای LLM هنوز این قدر بزرگ هستند که حتی کوچکترینهاشون رو هم نمیشه روی دیوایس اجرا گرفت. حالا یک استارتاپ اندونزیایی (موضوعش پیشنهاد هدیه به کاربره که این قدر چرته که باهاش کاری نداریم) که با همین قضیه درگیر بوده و میخواسته از مدل لاما خروجی بگیره، اومده ابتکاری به خرج داده. به این صورت که لایه اول ترنسفورمر سمت کلاینت اجرا میشه و اجرای سایر لایهها به سمت سرور سپرده میشه. این طوری هم privacy دیتاها حفظ میشه تقریبا و هم این که تا حدی که ممکنه از هزینه سروکردن سمت سرور کاسته میشه. متا در بلاگی به این موضوع پرداخته:
ai.meta.com/blog/untukmu-built-with-llama
۱- دیگه نگران هزینههای سرور سمت خودتون نیستید.
۲- مشکلاتی نظیر حفظ امنیت دادههای کاربران رو هم ندارید.
منتهای مطلب، مشکل اینه که این مدلهای LLM هنوز این قدر بزرگ هستند که حتی کوچکترینهاشون رو هم نمیشه روی دیوایس اجرا گرفت. حالا یک استارتاپ اندونزیایی (موضوعش پیشنهاد هدیه به کاربره که این قدر چرته که باهاش کاری نداریم) که با همین قضیه درگیر بوده و میخواسته از مدل لاما خروجی بگیره، اومده ابتکاری به خرج داده. به این صورت که لایه اول ترنسفورمر سمت کلاینت اجرا میشه و اجرای سایر لایهها به سمت سرور سپرده میشه. این طوری هم privacy دیتاها حفظ میشه تقریبا و هم این که تا حدی که ممکنه از هزینه سروکردن سمت سرور کاسته میشه. متا در بلاگی به این موضوع پرداخته:
ai.meta.com/blog/untukmu-built-with-llama