برای اینکه بفهمید توی این کوئری چه اتفاقی می‌افته این صفحه ویکی پدیا رو بببنید.
https://en.wikipedia.org/wiki/Arabic_noscript_in_Unicode

در این کوئری نشون میده که یک کاراکتر متحدالشکل چطور میتونه unicodeهای مختلف داشته باشه.
دقت کنید وقتی که دارید از مثلا حرف ب در وسط یک کلمه مثل «شبرنگ» استفاده می‌کند از کاراکتر با یونیکد FE92 ‌استفاده نمی‌شه بلکه کیبوردهای خاصی میتونن اون کاراکتر رو تایپ کنند و معمول کیبوردهای ما همه‌ی کاراکترها رو در general form یا isolated form تولید می‌کنند.

😂😭
قضاوت با شما:)

هاگینگ فیس برای ورژینینگ داده‌های عظیمی که هاست می‌کنه از Git LFS استفاده می‌کنه
الان می‌خواد یک جایگزین دیگه به اسم xetdata رو بخره برای نگهداری داده‌هاش
نکته جالبش اینه که اومده آمار یک روز زیرساختش رو اعلام کرده
در تصویر دورش خط کشیدم واقعا عجیبه.
نگهداری یه سرویس در این اسکیل کاملا کار لبه‌ی دانشه!

مدل‌های زبانی فقط توکن بعد رو پیش‌بینی نمی‌کنن!

این مقاله اومده یک ایده‌ی اساسی در مورد LLMها رو رد کرده اون ایده اینه که LLMها فقط بلد هستند next token prediction انجام بدهند. یک بحث غیر فنی ولی استدلالی میکنه که اینطور نیست که مدل‌های زبانی بزرگ (LLM) فقط بلد باشند کلمه بعدی رو حدس بزنن. نویسنده‌ به این تفکر ساده‌انگارانه میگه "جاستائیسم" (Justaism)(من ترجمه می‌کنم به فقط‌انگاری). میگه درسته که LLMها یه هدف ساده دارن اونم پیش‌بینی توکن بعدیه ولی این به این معنی نیست که چیز دیگری یاد نگیرن. بعد یه مثال جالب می‌زنه. میگه آدما به لحاظ تکامل فقط دو تا objective داشتن دنبال زنده موندن survival و تولید مثل reproduction بودند، ولی یادگرفتن در راه تحصیل این دو تا هدف فکرای پیچیده بکنن و به قابلیت‌های بیشتر از تولید مثل و زنده‌ماندن برسند، به طور مشابه LLMها هم همینطورن! در یادگیری اینها یه فرآیند اتفاق می‌افته به اسم "بهینه‌سازی تپه‌تخت" (mesa-optimization).

اصطلاح Mesa-optimization رو اینجوری توضیح میدن: فرض کنید در یک بازی کامپیوتری داری بازیکن برای برنده شدن فقط باید بیشترین امتیاز رو بیاره به این در ادبیات بهینه‌سازی تپه‌تخت میگن(base objective هدف ساده پایه‌ای). ولی برای بازیکن برنده برای بردش یه عالمه ترفند و تاکتیک یاد گرفته که کسی بهش یاد نداده. به این میگن (mesa objective هدف تخت تپه)
اصطلاح Justaism هم اصطلاح جالب دیگه این مقاله است یک عبارت انتقادی شبیه whataboutism به رویکردی میگه که می‌خواهد مدل‌های زبانی بزرگ رو ساده‌ انگاری که و بگه ("it's just...") یعنی مثلا بگه "it's just a next-token predictor" اینکه فقط یک پیش‌بینی‌گر توکن بعدیه! هوشمندی درش معنی نداره.
خلاصه که این مقاله میگه نباید هوش مصنوعی رو دست کم گرفت!

توضیح شهودی‌تر Mesa-optimization رو در تصویر بعدی ببنید.

فایل مقاله را در کامنت‌ها قرار دادم یه کم بد پیدا میشه.

این عکس خیلی خوب بهینه‌سازی تپه‌تخت mesa-optimization رو نشون میده!
مسا یا همون تپه‌تخت یک قله مسطح داره و یک شبیه نزدیک به 90 درجه.
یک همانند سازی قشنگ در اصطلاح این بهینه‌سازی وجود داره میگه ممکنه base objective یا همون هدف پایه رسیدن به یک سطح صاف باشه که در LLMها میشه همون next-token prediction اما برای رسیدن به اون هدف پایه باید بتون از شیب نزدیک به 90 درجه عبور کنی که میشه همون mesa-objective یعنی هدف ثانویه‌ی غیر صریح.
هر آدمی که راه رفتن بلده می‌تونه روی سطح تپه قدم بزنه ولی فقط آدمی که صخره ‌نوری بلده می‌تونه به اون سطح تپه برسه!

تیشرت برازنده‌ی فضلا و اهل علم😁😍

پرامت تولید عکس:

generate me a face of an Irani hijabi girl showing her Iranian ID card which contains her official hijabi face image while holding it over her chest

احراز هویت خیلی از صرافی‌ها با نشان دادن کارت ملی در کنار صورته
واسه یه مدل رایگان مثه flux خروجی خوبیه
اون کارت ملی‌ش رو هم میشه راحت با فوتوشاپ در آورد.

خلاصه که داره خطرناک میشه:)

اینم خیلی طبیعی بود
یه مشکل ریز داره

generate me a face of an Irani girl wearing scarf showing her Iranian ID card which contains her official hijabi face image while holding it over her chest

یه نکته اضافه کنم دوستان به هیچ وجه نباید خروجی این مدل رو با سایتی مثه ThisPersonDoesNotExist.com که مدلش خیلی هم قدیمیه و مدله GAN هست مقایسه کنید درسته اون سایت که سایت معروفی هم هست خیلی realistic تر تولید می‌کنه ولی نکته اینه که فقط و فقط صورت در کادر بسته تولید میکنه!
اینجا من از یه مدل رایگان خواستم تاکید می‌کنم رایگان! ژست خیلی خاصی تصویر تولید کنه که کلیت اون ژست خیلی درسته.
کارت ملی ایرانی رو هنوز یاد نگرفته که خب طبیعیه‌ داده خیلی خاصیه.
یکی دیگه هم اینکه دختر محجبه رو با پوشش عربی یا پاکستانی یاد گرفته پوشش حجاب زن ایرانی از همه‌ی پوشش‌های خاورمیانه متفاوته خوب چون داده خیلی کمتری تحت عنوان زن محجبه ایرانی بهش داده شده اون رو یاد نگرفته
و نکته مهمتر استایل انیمیشنی داشتن تصویر که به نظر من ضعف مدل نیست! از قصد افکت کارتونی به عکس می‌دهند که خیلی دردسرساز نشود.
من سازوکار چندین تا از سرویس‌های احراز هویت بیومتریک در اپلیکشن‌های بانکی و اعتباری رو میشناسم حدس من این است که تا شش ماه دیگر این سیستم‌ها به راحتی توسط تصاویر و ویدئوهای تولید به چالش جدی کشیده می‌شوند!

https://x.com/fchollet/status/1831383944320970959

فرانسوا شولت خالق keras که از اون فرانسوی‌های خیلی باهوشه، یه توئیت زده که به اصل توئیت‌ش کاری ندارم ولی زیر توئیتش یه کامنت جالب گذاشته برای شما می‌ذارم(در پست بعد).
اگر اصل توئیت رو از لینک باز کنید با دقت خاصی ممکنه متوجه بشید این چهار تا کامنت با اینکه جمله بندی دقیق و تمیزی دارند و حتی به موضوع توئیت نزدیک به نظر می‌رسند ولی خیلی داخل context نیستند! و خب این جای شک رو باز می‌کنه.
خصوصا که اگر نویسنده توئیت(شولت) مطلبی رو منتشر کرده کامنت‌های مطلبش رو با دقتی می‌خونه که بقیه نمی‌خونن و تونسته تشخیص بده این چهارتا پیام که یه جوریه کلا توسط LLM تولید شده!
چه بسا با کنکاش بیشتر بشه فهمید این اکانت‌ها کلا AI based هستند.
دقت کنید این مطلب رو کسی با ضریب هوشی شولت متوجه شده(که پنج تا زبان رو مسلطه در همه‌شون در حد native مسلطه و واقعا باهوشی‌های دیگه‌ای هم داره).
حالا خطرش کجاس؟ خودش میگه(در پست بعد میارم)

میگه چند وقت پیش داشتیم سر این حرف می‌زدیم که به زودی social media پر میشه از اکانت‌های AI based که آدم پشتش نیست و این تهدید بزرگی برای وب هست! میگه به ذهنم رسید چرا تا همین الان اینطوری نشده باشه که مثه اینکه شده...
خطر اصلی پر شدن وب از محتوای ai-generated که به سرعت بیشتر از محتوای انسانی تولید می‌شه و از محتوای انسانی هم قابل تشخیص نیست چیه؟!
رشد AI رو متوقف می‌کنه!
طبیعیه که شما هر قدر هم LLMهاتون رو به محتوایی که خودشون تولید کردن آموزش بدید بیشتر یاد نمی‌گیرن و اینطوری داده با کیفیت از بین میره!
این خطرش برای AI هست و جدا از ده‌ها خطر اجتماعی که می‌تونه داشته باشه!

اینکه «آیا مدل می‌تونه از داده‌ای که خودش تولید کرده چیز جدیدی یاد بگیره و به دانش بالاتری برسه؟» خیلی سوال کلیدی‌ایه!
کلی مقاله در این باره‌ها هست. منم قبلا یه دونه ازش اینجا گذاشتم(این).
اما همون مقاله‌ هم نمیشه ازش نتیجه گرفت که مدل‌های مولد می‌تونند از تولیدات خودشون یاد بگیرند.
حداقل مد‌لهای مولد موجود احتمالا نمی‌توانند از تولیدات خودشون یاد بگیرند.
فرض کنید این اتفاق بیفته! میشه شبیه نقض قانون پایستگی انرژی! یا همون ایده موتور دائمی (perpetual motion machine) که از حرکت موتور از طریق یک دینام باتری موتور شارژ میشه و همینطور موتور تا بی نهایت کار می‌کنه و باتری خودش رو شارژ ‌می‌کنه یعنی یک حلقه بدون اتلاف که از محالات واضح فیزیک است و میدونیم کلا توی دنیا خیلی آدمهای احمق خواستند این ایده رو بفروشن(که اینکه بارها در صدا و سیما ج.ا این ایده به عنوان ایده‌ی مخترع نابغه ایرانی به فروش رفته)، مشابه‌ش این میشه که در این حالت شما مدلی دارید که بی نهایت دانش تولید میکنه دائم یاد میگیره و دانش تولید میکنه و دائم از اون یاد می‌گیره که خب به نظر می‌رسه به لحاظ فلسفی نشدنی باشه.

ببنید چقدر ترسناکه:))

یه تیکه کد رندم که یه کد html هست از gpt برداشته گذاشته توی Replit میگه( یک خط پرامپت میده) "یه کاری کن کار کنه" (Make it work)!!
تمام کدها و کانفیگ‌هایی که لازم بوده که اون کد html کار کنه رو خود Replit زده. تازه یک صفحه استاتیک هم نزده قشنگ با faskapi سرو کرده کد رو.

به عنوان یه برنامه نویس کاملا باید در توانائی‌هامون تجدید نظر کنیم.
اگه ما هم صرفا همین قابلیت‌ها رو داریم، کم کم که نه خیلی سریع داریم «به درد نخور» میشیم:((

روایت یک شیادی بزرگ در LLM!
(دروغی به اسم Reflection Tuning)
اگر در مورد Reflection Tuning که چند روز پیش یه دفعه افتاد سر زبان نمی‌دونید این دو جا رو بخونید
https://news.1rj.ru/str/cvision/3691
https://news.1rj.ru/str/pytens/1546

شخصی به اسم مت شامر اومد ادعای عجیبی کرد:
یک مدل 70 میلیارد پارامتری داره که نه تنها Llama 3.1 با 405 میلیارد رو در همه‌ی بنچمارکها پشت سر میذاره مدل مشابه خودش که Llama 3 هست و 70 میلیارد داره رو قاطعانه شکست میداد و از مدلهای closed-source‌ مثه GPT-4o و Sonnet 3.5 که هنوز معلوم نیست چند تا پارامتر دارند هم بهتره!
حالا ایشون چی کار کرده!؟
گویا ایشون با وجود اینکه یه نسخه از مدلش رو گذاشته روی هاگیینگ فیس اما کسائی که اومدن اون مدل رو ران کردن دیدن واقعا نتایجش در حد GPT-4o و Sonnet 3.5 نیست.
بعد گفته API هم میدم ولی API ش کار نمیکرده گفته دارم آپدیت میکنم
بعد گفته توکن خصوصی API ام رو میدم چند تا شرکت و محقق بررسی کنن. یکی از شرکتها بعد از بررسی ها گفته API ای که گرفتیم با مدلی که از هاگینگ فیس دانلود کردیم مطابقت نداره!
بعد اومدن prompt engineering‌ کردن فهمیدن این بنده خدا اومده برای APIش یک Wrapper روی Claudia Sonnet 3.5 نوشته که کلید واژه Claudia‌ رو از نتایج حذف میکرده:))


این موضوع حتی دستمایه طنز هم شده
https://x.com/tamaybes/status/1833292271829323939
اینجا یه کاربر اومده میگه من یه روش tuning دادم به اسم Deception-Tuning یعنی تیونینگ فریب!(داره تیکه میاندازه به رفلکشن)

اصل ماجرا با مستندات کامل رو از اینجا بخونید!

در نگاه اول کار یدی بصورت ریموته، که باعث بازار کار بین المللی میشه.
در نگاه دوم، جمع آوری training data برای آموزش رباتیه که خیلی سریع جایگزین همون کارگر میشه.
دقت کنید با این عینک VR و کنترلر، perceptor و acctuator ربات و کارگر دقیقا یک چیزه! یعنی ربات همون چیزی رو میبینه که کارگر می‌بینه و با همون چیزی عمل می‌کنه که کارگر عمل میکنه. بهترین دیتاست:)

قدیمی ولی بسیار شنیدنی!
Old but Gold
تفاوت علم و آکادمی
Science vs Academia