ببنید چقدر ترسناکه:))

یه تیکه کد رندم که یه کد html هست از gpt برداشته گذاشته توی Replit میگه( یک خط پرامپت میده) "یه کاری کن کار کنه" (Make it work)!!
تمام کدها و کانفیگ‌هایی که لازم بوده که اون کد html کار کنه رو خود Replit زده. تازه یک صفحه استاتیک هم نزده قشنگ با faskapi سرو کرده کد رو.

به عنوان یه برنامه نویس کاملا باید در توانائی‌هامون تجدید نظر کنیم.
اگه ما هم صرفا همین قابلیت‌ها رو داریم، کم کم که نه خیلی سریع داریم «به درد نخور» میشیم:((

روایت یک شیادی بزرگ در LLM!
(دروغی به اسم Reflection Tuning)
اگر در مورد Reflection Tuning که چند روز پیش یه دفعه افتاد سر زبان نمی‌دونید این دو جا رو بخونید
https://news.1rj.ru/str/cvision/3691
https://news.1rj.ru/str/pytens/1546

شخصی به اسم مت شامر اومد ادعای عجیبی کرد:
یک مدل 70 میلیارد پارامتری داره که نه تنها Llama 3.1 با 405 میلیارد رو در همه‌ی بنچمارکها پشت سر میذاره مدل مشابه خودش که Llama 3 هست و 70 میلیارد داره رو قاطعانه شکست میداد و از مدلهای closed-source‌ مثه GPT-4o و Sonnet 3.5 که هنوز معلوم نیست چند تا پارامتر دارند هم بهتره!
حالا ایشون چی کار کرده!؟
گویا ایشون با وجود اینکه یه نسخه از مدلش رو گذاشته روی هاگیینگ فیس اما کسائی که اومدن اون مدل رو ران کردن دیدن واقعا نتایجش در حد GPT-4o و Sonnet 3.5 نیست.
بعد گفته API هم میدم ولی API ش کار نمیکرده گفته دارم آپدیت میکنم
بعد گفته توکن خصوصی API ام رو میدم چند تا شرکت و محقق بررسی کنن. یکی از شرکتها بعد از بررسی ها گفته API ای که گرفتیم با مدلی که از هاگینگ فیس دانلود کردیم مطابقت نداره!
بعد اومدن prompt engineering‌ کردن فهمیدن این بنده خدا اومده برای APIش یک Wrapper روی Claudia Sonnet 3.5 نوشته که کلید واژه Claudia‌ رو از نتایج حذف میکرده:))


این موضوع حتی دستمایه طنز هم شده
https://x.com/tamaybes/status/1833292271829323939
اینجا یه کاربر اومده میگه من یه روش tuning دادم به اسم Deception-Tuning یعنی تیونینگ فریب!(داره تیکه میاندازه به رفلکشن)

اصل ماجرا با مستندات کامل رو از اینجا بخونید!

در نگاه اول کار یدی بصورت ریموته، که باعث بازار کار بین المللی میشه.
در نگاه دوم، جمع آوری training data برای آموزش رباتیه که خیلی سریع جایگزین همون کارگر میشه.
دقت کنید با این عینک VR و کنترلر، perceptor و acctuator ربات و کارگر دقیقا یک چیزه! یعنی ربات همون چیزی رو میبینه که کارگر می‌بینه و با همون چیزی عمل می‌کنه که کارگر عمل میکنه. بهترین دیتاست:)

قدیمی ولی بسیار شنیدنی!
Old but Gold
تفاوت علم و آکادمی
Science vs Academia

این جواب مدل جدید OpenAI، یعنی ChatGPT ،o1 بهترین گواهه واسه اینکه این مدل واقعا جواباش خفنه:))
چون واقعا هیچ کسی دقیقا نمیدونه چطور میشه CUDA رو نصب کرد. نصب CUDA حاصل چند روز تلاش پارتیزانی در نصب و حذف پکیج‌هاست:)

Magic Intelligence 😂😂

استفاده از مدل‌های زبانی برای دور زدن فیلترینگ:)

امروز یه کار عجیبی با Sonnet 3.5 کردم!
یه لینک رو میخواستم باز کنم باز نمیشد حتی با وی‌پی‌ان!
لیست پکیج‌های اون سایت در اون لینک بود باید باز میکردم تا پکیج مورد نظرم رو پیدا کنم.
مدل Sonnet3.5 میتونه یک url رو باز کنه و صفحه رو بخونه.
بهش گفتم لینک پکیج با فلان شرایط رو از این URL‌ بهم بده:) رفت صفحه رو خوند لینکش رو داد:)
حالا بازم نمیتونستم دانلود کنم.
رفتم لینک رو توی colab با wget دانلود کردم! سرعت اینترنت colab مثل سرعت نوره!
بعد از Google Driver دانلود کردم:)

ایجنت پژوهشی خفن! (PaperQA2)
این ایجنت که به همراه مقاله و به صورت متن باز منتشر شده در بعضی از تسک‌های پژوهشی از دانشجوهای دکتری و محققین پس‌داک هم بهتر عمل کرده!
این برتری بر دانشجوی دکتری و پس‌داک وقتی سوالات خیلی خاص‌تر مطرح میشن برجسته‌تر میشه این خودش رو در یک بنچ‌مارک نشون داده.
اگر در پروژه ارشد یا دکتری literature review کرده باشید و واقعا سعی کرده باشید کار دقیق و عمیق و درست و حسابی انجام بدهید می‌دونید چقدر کار سخت، نیازمند حوصله‌ و دقته. واقعا بیش از ۷۰ درصد یک پژوهش همین بررسی دقیق کارهای پیشینه که خیلی هم کار سیستماتیک و روش‌مندی نیست.
چند دقیقه کار کردن با این ابزار واقعا جایگزین چند هفته تلاش و پژوهش دقیق یک دانشجو باتجربه PhD ئه.

سوالی که داره جواب میده یکی از سخت‌ترین سوالات و مهمترین سوالات یک مرور ادبیات در مرور کارهای پیشینه! سوال تاریخی!
جواب دادن به سوالات تاریخی نیازمند تایملاین کردن ده‌ها پژوهش و شناسائی تاثیراتشون روی همه. حتی جمع آوری اون مقالات کار سختیه چه برسه ترک کردن یک موضوع خاص در این همه مقالات در طول زمان و توصیف تغییراتش.
منبع: توئیت

اومدن برای 2000 تا ژن در فرمت ویکی پدیا یک ویکی جدید ساختن به اسم WikiCrow که از اطلاعات هر کدوم از این ژن‌ها یک article ویکی بسازه. ویکی‌ها رو دادن به دانشجو‌های دکتری و پس‌داک دیدن مطالبی که نوشته از مطالب ویکی پدیا خیلی بهتره!

نوبل فیزیک رو دادن به جفری هینتون:))😳
به خاطر کارش در بولتزمن ماشین‌ها Boltzmann machine
جایزه مشترک با جان هاپفیلد
منبع

اطلاعات غیر مفید:
یه نفر دیگه هم بود به جز جفری هینتون که هم تورینگ برنده شده هم نوبل.
البته نوبلش اقتصاده نه فیزیک.
آقای هربرت سیمون(Herbert A. Simon).
دهه ۷۰ میلادی.
و جالبه که اونم بخاطر کار در حوزه‌ی AI هر دو جایزه رو گرفته!
یعنی کارش در حوزه‌ی AI منجر به نوبل اقتصاد شده!

ACM's Turing Award for making "basic contributions to artificial intelligence, the psychology of human cognition, and list processing" (1975)
Nobel Memorial Prize in Economics "for his pioneering research into the decision-making process within economic organizations" (1978)

گویا OpenAI طبق برنامه قرار تازه سال 2029 سودده بشه. یعنی سرمایه‌گذارای VC باید خیلی صبور باشن.
احتمالا OpenAI در سال‌های آینده زمانی وارد دوره‌ی سود خودش میشه که ایجنت‌ها راه بیفتن و OpenAI بتونه در قالب SaaS ازشون پول بگیره.
یه چیز دیگه هم بگم، این $5 میلیارد ضرری که الان OpenAI داره رو نباید زیاد جدی گرفت. تو فضای سرمایه‌گذاری خطرپذیر، این ترازهای منفی عادیه.
قضیه جالب می‌شه که بدونید هزینه‌ش تا پایان ۲۰۲۶ حدود ۱۴ میلیارد دلار و تا پایان ۲۰۲۹ حدود ۴۴ میلیارد دلار برآورد شده!
هزینه‌ حقوقش خیلی جالبه یکسال ۷۰۰ میلیون دلار حقوق داده!
نکته جالب دیگه‌ش اینه که هزینه‌ی آموزش‌ش از هزینه‌ی run یعنی inference ش یک میلیارد دلار بیشتره! این نشون میده چقدر آموزش پرهزینه‌ است که وقتی اینقدر کاربر داره و اینقدر ازش استفاده میشه(هزینه‌ inference) هنوز به پای هزینه‌ی آموزش نمی‌رسه!

دوباره اعضای همون تیم ایرانی اپل که چند ماه پیش یک مقاله ازشون گذاشتم یک مقاله دیگه دادن خیلی مورد توجه قرار گرفته.
قسمت‌های هایلایت شده چکیده نتیجه کل مقاله رو به خوبی خلاصه میکنه.

از اینجا هم میتونید خلاصه مقاله رو بخونید.

معرفی یک کورس دانشگاهی، آینه‌ای برای دیدن زخم‌های عمیق آکادمی ایران...

وقتی کورس‌های جدیدی را که در دانشگاه‌های آمریکا، خصوصاً استنفورد و برکلی که خیلی در این مسئله پیشتاز هستند، در موضوعات روز می‌بینم به این نتیجه می‌رسم دانشگاه در ایران رسماً مرده!

به جز شریف که آن هم کاملاً به دو استاد مرتبط می‌شود یعنی دکتر رهبان و سلیمانی (و این هم کاملاً به انگیزه شخصی دو استاد برمی‌گردد و لاغیر)، بی اغراق من هیچ درسی در تحصیلات تکمیلی AI که موضوع آن دوره مبحث جدیدتری از مباحث ۲۰۱۶ باشد، ندیده‌ام.

حالا شما ببینید اصلاً این موضوع agentic AI هنوز به جایی نرسیده، خبری نیست، اما آمده‌اند در برکلی کورسش کرده‌اند. کورس دانشگاهی شدن یه موضوع به این جدید غیر از این است که Andrew Ng در deeplearning.ai یک mini-course برگزار کند. چون در کورس دانشگاهی باید بتوانی اندازه شانزده هفته‌ی دو جلسه محتوای ارائه دهی و از آن پروژه و امتحان طرح کنی.

علتش این شکاف عمیق در بخش آموزش تحصیلات تکمیلی در ایران و آمریکا این است که دیگر در حداقل حوزه AI، تدریس از روی textbook دوره‌اش گذشته. اصلاً این‌قدر سرعت تولید دانش زیاد است که نمی‌صرفد کسی از آن کتاب بنویسد. کتابش به سه ماه نرسیده شبیه کتاب‌های تاریخ می‌شود :) حالا استاد محترم حقیقتاً حال ندارد کورسی بگذارد که تکست بوک ندارد. چون نیاز به تسلط خیلی عمیق روی تعداد زیادی مقاله دارد و هم دانشجوهای بی‌انگیزه خسته‌ات می‌کنند. در آن سر عالم، سال‌هاست یک استاد نیست که کورس را بگذارد. می‌کند استاد یک فهرست محتوا تدارک می‌بیند، مقدمات را خودش درس می‌دهد و در موارد تخصصی از پژوهشگر موضوعی مربوط به محتوا دعوت می‌کند آن موضوع را تدریس کند.

این را هم بگویم دوستان، این وضعیت تقصیر استاد نیست. استادی که در بهترین حالت در ۳۳ سالگی (در اکثر موارد بدون فرصت مطالعاتی و پسا‌دکترا با سفارش ویژه‌ی استاد راهنما در هیات جذب هیئت علمی می‌شود) و در معمول موارد در ۴۰ سالگی هیات علمی می‌شود و تازه بعد از این همه درس خواندن می‌خواهند بهش در حد نصف حقوق (دقت کنید نصف!) کارگرهای خانگی بنگلادشی توی امارات بدهند و اگر در ۶۰ سالگی استاد تمام شود در حد آن کارگر ساده بی‌مهارت بنگلادشی حقوق بگیرد. از استادی که لنگ حقوق و نان شب و اجاره خانه است توقعی نمی‌توانی داشته باشی.

منی که بیش از یک دهه عمرم در دانشگاه بودم فقط و فقط در استاد و دانشجو افول دیدم و بس. تازه فقط مشکل حقوق استاد نیست، همین استاد باید کار چهار هیات علمی را بکند. علت هم کمبود شدید و پایین بودن نسبت تعداد هیئت علمی به دانشجو است. دیگر نه دانشگاه پول دارد هیات علمی استخدام کند و نه دیگر آدم باسوادی رزومه برای هیات جذب دانشگاه‌ها می‌فرستد، چون یا اپلای می‌کنند یا وارد بازار کار می‌شوند. اگر وارد منجلاب هیات علمی شدن بشوند دیگر فراری نیست.

خیلی از آزمایشگاه‌های تحصیلات تکمیلی سال‌هاست که دیگر رسماً جلسه آزمایشگاه ندارند! چون دانشجو دکتری پسر که نمی‌تواند تا ۳۰ سالگی از جیب پدر بخورد باید کار کند. حتی اگر از سمت خانواده تامین باشد چون آن مدرک دکتری فردا که فارغ‌التحصیل شود بدون سابقه کاری موثر بی‌معنی و بی‌فایده است. دانشجو هم کار می‌کند، استاد هم خیلی نمی‌تواند فشار بیاورد چون اگر فشار زیاد شود در جا انصراف می‌دهد (چندین مورد در این سال‌ها دیدم).
وضعیت دانشجوی ارشد و کارشناسی جدید که والذاریاتی است قابل گفتن نیست...
خلاصه دانشگاهی که دانشجو و استادش مرده‌اند خودش هم می‌میرد...

مساله این نیست که ما نمی‌فهمیم یا بلد نیستیم، مساله تمامش اقتصادی است. مساله امروز ما در همه چیز از جمله آکادمی GDP per Capita است. خدا می‌داند چند ماه پیش با استادم صحبت کردیم از حوزه رساله‌ام (که چهار پنج کورس سر و صاحب‌دار بیشتر ازش در دنیا نیست) یک کورس در دانشکده ارائه کنیم اما هم من هم استادم می‌دانستیم به نتیجه نمی‌رسد چون این کارها در کنار انگیزه وقت می‌خواهد. نه من و نه خودش وقت این کارها را نداریم. من عمده وقتم را کار می‌کنم نه پژوهش، آن هم خیلی حوصله ندارد ساعت کاری‌اش را در دانشگاه پر کند.

معرفی این کورس جدید Agentic AI هم سر درد و دل من را باز کرد...

خلاصه که وضعیت دانشگاه این مملکت شبیه بقیه چیزهایش هست، شبیه صنعت برقش، شبیه اقتصادش...

نشسته‌ایم بالای سر پیکر محتضر این گربه عزیز فقط آه می‌کشیم 😭😭😭.