https://x.com/fchollet/status/1831383944320970959

فرانسوا شولت خالق keras که از اون فرانسوی‌های خیلی باهوشه، یه توئیت زده که به اصل توئیت‌ش کاری ندارم ولی زیر توئیتش یه کامنت جالب گذاشته برای شما می‌ذارم(در پست بعد).
اگر اصل توئیت رو از لینک باز کنید با دقت خاصی ممکنه متوجه بشید این چهار تا کامنت با اینکه جمله بندی دقیق و تمیزی دارند و حتی به موضوع توئیت نزدیک به نظر می‌رسند ولی خیلی داخل context نیستند! و خب این جای شک رو باز می‌کنه.
خصوصا که اگر نویسنده توئیت(شولت) مطلبی رو منتشر کرده کامنت‌های مطلبش رو با دقتی می‌خونه که بقیه نمی‌خونن و تونسته تشخیص بده این چهارتا پیام که یه جوریه کلا توسط LLM تولید شده!
چه بسا با کنکاش بیشتر بشه فهمید این اکانت‌ها کلا AI based هستند.
دقت کنید این مطلب رو کسی با ضریب هوشی شولت متوجه شده(که پنج تا زبان رو مسلطه در همه‌شون در حد native مسلطه و واقعا باهوشی‌های دیگه‌ای هم داره).
حالا خطرش کجاس؟ خودش میگه(در پست بعد میارم)

میگه چند وقت پیش داشتیم سر این حرف می‌زدیم که به زودی social media پر میشه از اکانت‌های AI based که آدم پشتش نیست و این تهدید بزرگی برای وب هست! میگه به ذهنم رسید چرا تا همین الان اینطوری نشده باشه که مثه اینکه شده...
خطر اصلی پر شدن وب از محتوای ai-generated که به سرعت بیشتر از محتوای انسانی تولید می‌شه و از محتوای انسانی هم قابل تشخیص نیست چیه؟!
رشد AI رو متوقف می‌کنه!
طبیعیه که شما هر قدر هم LLMهاتون رو به محتوایی که خودشون تولید کردن آموزش بدید بیشتر یاد نمی‌گیرن و اینطوری داده با کیفیت از بین میره!
این خطرش برای AI هست و جدا از ده‌ها خطر اجتماعی که می‌تونه داشته باشه!

اینکه «آیا مدل می‌تونه از داده‌ای که خودش تولید کرده چیز جدیدی یاد بگیره و به دانش بالاتری برسه؟» خیلی سوال کلیدی‌ایه!
کلی مقاله در این باره‌ها هست. منم قبلا یه دونه ازش اینجا گذاشتم(این).
اما همون مقاله‌ هم نمیشه ازش نتیجه گرفت که مدل‌های مولد می‌تونند از تولیدات خودشون یاد بگیرند.
حداقل مد‌لهای مولد موجود احتمالا نمی‌توانند از تولیدات خودشون یاد بگیرند.
فرض کنید این اتفاق بیفته! میشه شبیه نقض قانون پایستگی انرژی! یا همون ایده موتور دائمی (perpetual motion machine) که از حرکت موتور از طریق یک دینام باتری موتور شارژ میشه و همینطور موتور تا بی نهایت کار می‌کنه و باتری خودش رو شارژ ‌می‌کنه یعنی یک حلقه بدون اتلاف که از محالات واضح فیزیک است و میدونیم کلا توی دنیا خیلی آدمهای احمق خواستند این ایده رو بفروشن(که اینکه بارها در صدا و سیما ج.ا این ایده به عنوان ایده‌ی مخترع نابغه ایرانی به فروش رفته)، مشابه‌ش این میشه که در این حالت شما مدلی دارید که بی نهایت دانش تولید میکنه دائم یاد میگیره و دانش تولید میکنه و دائم از اون یاد می‌گیره که خب به نظر می‌رسه به لحاظ فلسفی نشدنی باشه.

ببنید چقدر ترسناکه:))

یه تیکه کد رندم که یه کد html هست از gpt برداشته گذاشته توی Replit میگه( یک خط پرامپت میده) "یه کاری کن کار کنه" (Make it work)!!
تمام کدها و کانفیگ‌هایی که لازم بوده که اون کد html کار کنه رو خود Replit زده. تازه یک صفحه استاتیک هم نزده قشنگ با faskapi سرو کرده کد رو.

به عنوان یه برنامه نویس کاملا باید در توانائی‌هامون تجدید نظر کنیم.
اگه ما هم صرفا همین قابلیت‌ها رو داریم، کم کم که نه خیلی سریع داریم «به درد نخور» میشیم:((

روایت یک شیادی بزرگ در LLM!
(دروغی به اسم Reflection Tuning)
اگر در مورد Reflection Tuning که چند روز پیش یه دفعه افتاد سر زبان نمی‌دونید این دو جا رو بخونید
https://news.1rj.ru/str/cvision/3691
https://news.1rj.ru/str/pytens/1546

شخصی به اسم مت شامر اومد ادعای عجیبی کرد:
یک مدل 70 میلیارد پارامتری داره که نه تنها Llama 3.1 با 405 میلیارد رو در همه‌ی بنچمارکها پشت سر میذاره مدل مشابه خودش که Llama 3 هست و 70 میلیارد داره رو قاطعانه شکست میداد و از مدلهای closed-source‌ مثه GPT-4o و Sonnet 3.5 که هنوز معلوم نیست چند تا پارامتر دارند هم بهتره!
حالا ایشون چی کار کرده!؟
گویا ایشون با وجود اینکه یه نسخه از مدلش رو گذاشته روی هاگیینگ فیس اما کسائی که اومدن اون مدل رو ران کردن دیدن واقعا نتایجش در حد GPT-4o و Sonnet 3.5 نیست.
بعد گفته API هم میدم ولی API ش کار نمیکرده گفته دارم آپدیت میکنم
بعد گفته توکن خصوصی API ام رو میدم چند تا شرکت و محقق بررسی کنن. یکی از شرکتها بعد از بررسی ها گفته API ای که گرفتیم با مدلی که از هاگینگ فیس دانلود کردیم مطابقت نداره!
بعد اومدن prompt engineering‌ کردن فهمیدن این بنده خدا اومده برای APIش یک Wrapper روی Claudia Sonnet 3.5 نوشته که کلید واژه Claudia‌ رو از نتایج حذف میکرده:))


این موضوع حتی دستمایه طنز هم شده
https://x.com/tamaybes/status/1833292271829323939
اینجا یه کاربر اومده میگه من یه روش tuning دادم به اسم Deception-Tuning یعنی تیونینگ فریب!(داره تیکه میاندازه به رفلکشن)

اصل ماجرا با مستندات کامل رو از اینجا بخونید!

در نگاه اول کار یدی بصورت ریموته، که باعث بازار کار بین المللی میشه.
در نگاه دوم، جمع آوری training data برای آموزش رباتیه که خیلی سریع جایگزین همون کارگر میشه.
دقت کنید با این عینک VR و کنترلر، perceptor و acctuator ربات و کارگر دقیقا یک چیزه! یعنی ربات همون چیزی رو میبینه که کارگر می‌بینه و با همون چیزی عمل می‌کنه که کارگر عمل میکنه. بهترین دیتاست:)

قدیمی ولی بسیار شنیدنی!
Old but Gold
تفاوت علم و آکادمی
Science vs Academia

این جواب مدل جدید OpenAI، یعنی ChatGPT ،o1 بهترین گواهه واسه اینکه این مدل واقعا جواباش خفنه:))
چون واقعا هیچ کسی دقیقا نمیدونه چطور میشه CUDA رو نصب کرد. نصب CUDA حاصل چند روز تلاش پارتیزانی در نصب و حذف پکیج‌هاست:)

Magic Intelligence 😂😂

استفاده از مدل‌های زبانی برای دور زدن فیلترینگ:)

امروز یه کار عجیبی با Sonnet 3.5 کردم!
یه لینک رو میخواستم باز کنم باز نمیشد حتی با وی‌پی‌ان!
لیست پکیج‌های اون سایت در اون لینک بود باید باز میکردم تا پکیج مورد نظرم رو پیدا کنم.
مدل Sonnet3.5 میتونه یک url رو باز کنه و صفحه رو بخونه.
بهش گفتم لینک پکیج با فلان شرایط رو از این URL‌ بهم بده:) رفت صفحه رو خوند لینکش رو داد:)
حالا بازم نمیتونستم دانلود کنم.
رفتم لینک رو توی colab با wget دانلود کردم! سرعت اینترنت colab مثل سرعت نوره!
بعد از Google Driver دانلود کردم:)

ایجنت پژوهشی خفن! (PaperQA2)
این ایجنت که به همراه مقاله و به صورت متن باز منتشر شده در بعضی از تسک‌های پژوهشی از دانشجوهای دکتری و محققین پس‌داک هم بهتر عمل کرده!
این برتری بر دانشجوی دکتری و پس‌داک وقتی سوالات خیلی خاص‌تر مطرح میشن برجسته‌تر میشه این خودش رو در یک بنچ‌مارک نشون داده.
اگر در پروژه ارشد یا دکتری literature review کرده باشید و واقعا سعی کرده باشید کار دقیق و عمیق و درست و حسابی انجام بدهید می‌دونید چقدر کار سخت، نیازمند حوصله‌ و دقته. واقعا بیش از ۷۰ درصد یک پژوهش همین بررسی دقیق کارهای پیشینه که خیلی هم کار سیستماتیک و روش‌مندی نیست.
چند دقیقه کار کردن با این ابزار واقعا جایگزین چند هفته تلاش و پژوهش دقیق یک دانشجو باتجربه PhD ئه.

سوالی که داره جواب میده یکی از سخت‌ترین سوالات و مهمترین سوالات یک مرور ادبیات در مرور کارهای پیشینه! سوال تاریخی!
جواب دادن به سوالات تاریخی نیازمند تایملاین کردن ده‌ها پژوهش و شناسائی تاثیراتشون روی همه. حتی جمع آوری اون مقالات کار سختیه چه برسه ترک کردن یک موضوع خاص در این همه مقالات در طول زمان و توصیف تغییراتش.
منبع: توئیت

اومدن برای 2000 تا ژن در فرمت ویکی پدیا یک ویکی جدید ساختن به اسم WikiCrow که از اطلاعات هر کدوم از این ژن‌ها یک article ویکی بسازه. ویکی‌ها رو دادن به دانشجو‌های دکتری و پس‌داک دیدن مطالبی که نوشته از مطالب ویکی پدیا خیلی بهتره!

نوبل فیزیک رو دادن به جفری هینتون:))😳
به خاطر کارش در بولتزمن ماشین‌ها Boltzmann machine
جایزه مشترک با جان هاپفیلد
منبع

اطلاعات غیر مفید:
یه نفر دیگه هم بود به جز جفری هینتون که هم تورینگ برنده شده هم نوبل.
البته نوبلش اقتصاده نه فیزیک.
آقای هربرت سیمون(Herbert A. Simon).
دهه ۷۰ میلادی.
و جالبه که اونم بخاطر کار در حوزه‌ی AI هر دو جایزه رو گرفته!
یعنی کارش در حوزه‌ی AI منجر به نوبل اقتصاد شده!

ACM's Turing Award for making "basic contributions to artificial intelligence, the psychology of human cognition, and list processing" (1975)
Nobel Memorial Prize in Economics "for his pioneering research into the decision-making process within economic organizations" (1978)

گویا OpenAI طبق برنامه قرار تازه سال 2029 سودده بشه. یعنی سرمایه‌گذارای VC باید خیلی صبور باشن.
احتمالا OpenAI در سال‌های آینده زمانی وارد دوره‌ی سود خودش میشه که ایجنت‌ها راه بیفتن و OpenAI بتونه در قالب SaaS ازشون پول بگیره.
یه چیز دیگه هم بگم، این $5 میلیارد ضرری که الان OpenAI داره رو نباید زیاد جدی گرفت. تو فضای سرمایه‌گذاری خطرپذیر، این ترازهای منفی عادیه.
قضیه جالب می‌شه که بدونید هزینه‌ش تا پایان ۲۰۲۶ حدود ۱۴ میلیارد دلار و تا پایان ۲۰۲۹ حدود ۴۴ میلیارد دلار برآورد شده!
هزینه‌ حقوقش خیلی جالبه یکسال ۷۰۰ میلیون دلار حقوق داده!
نکته جالب دیگه‌ش اینه که هزینه‌ی آموزش‌ش از هزینه‌ی run یعنی inference ش یک میلیارد دلار بیشتره! این نشون میده چقدر آموزش پرهزینه‌ است که وقتی اینقدر کاربر داره و اینقدر ازش استفاده میشه(هزینه‌ inference) هنوز به پای هزینه‌ی آموزش نمی‌رسه!

دوباره اعضای همون تیم ایرانی اپل که چند ماه پیش یک مقاله ازشون گذاشتم یک مقاله دیگه دادن خیلی مورد توجه قرار گرفته.
قسمت‌های هایلایت شده چکیده نتیجه کل مقاله رو به خوبی خلاصه میکنه.