طرف با لیسانس از دانشگاه نیویورک نویسنده اصلی DALL-E شده.
از لیکان پرسیدن این بنده خدا تئوری‌ش ضعیف نیست؟
گفته برو مقالات‌ش رو بخون ببین ضعف پیدا می‌کنی:)) تو لیسانس ریاضی و علوم کامپیوتر رو دو رشته‌ای کرده:)) اونم توی NYU که تو ریاضی تو آمریکا اوله!

انصافا طرف خیلی خفنه نمیشه تعمیم داد:)

یه چیزی امروز بهش برخوردم گفتم شاید بد نباشه به شما هم بگم.
خیلی احتمالا شنیدید که از گیت‌هاب هر چیزی رو نگیرید نصب کنید، چون ممکنه یکی یه کد malicious زده باشه داخل کدهاش.
من چند روز پیش وقتی می خواستم یه اسکریپتی روی وی‌پی‌اس‌م نصب کنم به عینه به این مساله برخوردم!
https://github.com/scvps/noscriptvps

این ریپو رو ببنید. کلی کد bash داره ولی خیلی عادی به نظر می‌رسه.
اما وقتی نصب کردم دیدم هیچ اتفاق خاصی نیفتاد! (حالا شاید شما نصب کنید و پیگیرش بشید و براتون اون سرویسها رو نصب کنه اما مساله‌ام اینجا نیست!)
رفتم فایل setup.sh رو بخونم ببینم چه خبره دیدم فایل باینریه! یعنی کد shell نیست. حالا شاید بیاید بگید ممکنه از این ابزارهایی استفاده کرده باشه که کد shell رو به باینری تبدیل می‌کنند ولی می‌پرسم چرا باید چنین کاری کنه؟! 🤔 خیلی مشکوکه 🤨!
به طور خاص به این اسکریپت و برنامه نویس‌ش اتهام نمی‌زنم ولی دقت کنید که من این اسکریپت رو با دستور root اجرا کردم! حتی اگر این اسکریپت به طور خاص خرابکارانه نباشه کاملا احتمالش معقوله که یه عده برن یه چنین اسکریپتی بنویسن و یه عده کد اسکریپت رو اجرا کنند و یه دسترسی تپل از وی پی اس‌شون بدن به برنامه‌نویس!
من درخواست reinstall os وی پی اس رو دادم.
ولی این روزا کلی از این اسکریپت‌ها افتاده تو دست و بال کامیونیتی تک ایران واسه دور زدن فیلترینگ با وی‌پی‌اس‌های شخصی. آدم‌های سوء استفاده‌چی هم کلی هست. حواستون باشه نکات امنیتی رو بیشتر رعایت کنید.

ㅤㅤ
در مطلب قبل در مورد قابلیت اجرا شدن مدل‌های اپن سورس Llama 1 , 2 بر روی لپ‌تاپ نوشتم. وقتی در مورد اجرا شدن مدل روی سیستم شخصی مثل لپ تاپ صحبت می‌کنیم باید دقت کنیم منظور آموزشه یا استنتاج! قطعا وقتی در مورد اجرا LLM ها روی لپ‌تاپ که ترند مهم این روزهای دنیا هوش مصنوعی هستند صحبت می‌کنم منظور استنتاج مدله نه آموزش! استنتاج یعنی اینکه به یک مدل آموزش دیده ورودی بدی و خروجی بگیری.
سر همین قضیه توجه به پردازند‌های سری جدید اپل یعنی M2 که سال گذشته عرضه کرد خیلی زیاد شده. مثلا Llama با 65 میلیارد پارامتر بر روی این دو سری پردازنده‌ی اپل اجرا میشه:
- M2 Max (~$2.6k w/ 64 GB RAM) for 5 tokens/s
- M2 Ultra (~$5k w/ 64 GB RAM) for 10 tokens/s

پردازنده‌ی M2 Max با قیمت 2600 دلار با رم 64 گیگ می‌تونه با سرعت 5 تا کلمه در ثانیه و پردازنده‌ی M2 Ultra با قیمت 5000 دلار با رم 64 گیگ با سرعت 10 کلمه در ثانیه جواب بده.
حالا چرا اپل پردازنده‌ش سر این موضوع جذابیت پیدا کرده؟ هزینه‌ی اجرای همین مدل‌ها را با قیمت‌های پردازنده‌های گرافیکی Nvidia مقایسه کنید:

- Professional RTX A6000 (~$4.6k w/ 48 GB RAM) 6 token/s
- RTX 6000 Ada (~$6.8k w/ 48 GB RAM) 12 token/s

پردازنده‌ی گرافیکی RTX A6000 برای خروجی نزدیک به M2 Max حدود 2000 دلار گرونتره و RTX 6000 Ada برای خروجی نزدیک به M2 Ultra حدود 1800 دلار گرون‌تره.

حالا اگر بخواهید مدل 175 میلیاردی chatGPT3.5 رو که 110 گیگ حافظه لازم داره روی لپ‌تاپ اجرا کنید از سری پردازنده‌های Nvidia باید برید A100 که 2*80 گیگ حافظه داره رو بگیرید که 20000 دلار قیمتشه ولی می تونید M2 Ultra با 192 گیگ رمش رو بخرید که 6600 دلاره.

پ.ن:
حالا توکن(کلمه) بر ثانیه چیه؟
دید وقتی chatGPT جواب میده در خروجی‌ش جواب رو یک دفعه‌ای نمیده بلکه چند کلمه چند کلمه خروجی میده این بخاطر مدل خروجی دادن ترنسفورمرها است. حتی یه نکته بامزه اینکه اگر در براتون پیش اومده باشه اگر جوابی بده که شامل محتوای NSFW هست یک دفعه وسط نوشتن کل جوابش رو پاک می‌کنه و عذرخواهی می‌کنه که نمی‌تونه جواب بده. این بخاطره اینکه یک بار جواب رو بافر نمی‌کنه بعد برای محتوای مناسب پردازش‌ش کنه بلکه جوابی که از مدل رو میگیره به کلاینت می‌فرسته بصورت استریم خروجی رو از لحاظ NSFW بودن بررسی میکنه.

منبع توئیت:
https://twitter.com/convequity/status/1668879950940901376

دیگه دکه‌های چای‌ فروشی هند هم میدونن GPT چیه!
اگر فکر می‌کنید GPT مخفف Generative Pre-trained Transformer است سخت اشتباه می‌کنید، مخفف عبارت Genuinely Pure Tea است:)) (چای واقعا خالص)

https://twitter.com/ggerganov/status/1697262700165013689?s=20

شاهد از غیب رسید.

روی M2 Ultra یعنی مک بوک شخصی! اومده Llama Code رو با 34 میلیارد پارامتر ران کرده! با سرعت 20 تومن بر ثانیه. کد الگوریتم دایکسترا رو تو ۱۰ ثانیه داد:)

خالق UML پیشنهاد داده باید یک استاندارد مصورسازی برای هوش مصنوعی به خصوص LLMها ایجاد بشه یارو اومده بهش گفته تو اصلا نمیدونی UML چیه:))))
طرف میگه بچه! من خودم خالق UML ام
😂😂😂😂😂😂

این لیست صد نفر تاثیرگذارترین شخصیت هوش مصنوعی 2023 مجله تایمز چند روزی هست منتشر شده
وقت نداشتم بررسی اش کنم
امروز بررسی کردم واقعا جالبه یه نگاه بندازین بهش
آدمهای جالبی توشن
مثه Grimes زن ایلان ماسک
مثه Eliezer Yudkowsky که دشمن توسعه A.I. میگه باید دیتاسنترها رو تا بشر رو نابود نکردن بمباران کنیم:)
و آدم‌هایی نیستن که آدم تعجب می‌کنه
اندره کارپتی
یوگن اشمیت هوبر نوسینده‌ی مقاله‌ی LSTM

حتما وقت کردید یه نگاه بندازین
خیلی چیز واسه یاد گرفتن داره

دقت کنید این کاهش تولید CO2 سه چهار برابر نیست سه چهار مرتبه‌ی بزرگیه (Order of Magnitude) است.
یعنی اگه یک عکس رو با میدجرنی یا دالی-2 تولید کنید 310 تا 2900 برابر نسبت به تولید همون عکس به دست نقاش کمتر CO2 تولید میشه.

ولی در مورد متن هم اگر با Bloom , ChatGPT یک متنی تولید کنه 130 تا 1400 برابر انرژی کمتر به نسبت نوشتن همون متن به دست نویسنده‌ی انسانی CO2 j تولید می‌کنه.

این آمار فقط برای تولید یک نمونه متن و یک نمونه عکس قابل استفاده است، از این آمار نمیشه به طور کلی نتیجه گرفت که استفاده از مولد‌های مولد منجر به کاهش حدود ۱۰۰ تا ۱۰۰۰ برابری CO2 میشن!
چرا؟!
1.(پاردوکس جیفونز)
در درازمدت، افزایش کارایی در استفاده از منابع به جای کاهش، باعث افزایش مصرف منابع خواهد شد.

چون خود این مولد‌های مولد باعث شده تولید تصویر و متن راحت‌تر بشه تولیدات تصویر و متن بیشتر شده، کسانی که اصلا درگیر تولید متن و تصویر نبودند می‌روند از این مدل‌های استفاده ‌می‌کنند و مثلا برای خودشون با میدجرنی عکس‌های جذاب تولید ‌می‌کنند یا اینکه کسانی که متن نمی‌نوشتند ترغیب می‌شوند بروند با این مدل‌های زبانی متن تولید کنند! خود این باعث افزایش تولید CO2 ناشی از استفاده از این مدل‌های میشه.

2. این پژوهش برای القای اینکه استفاده از مدل‌های مولد در نهایت منجر به کاهش مصرف انرژی می‌شود نواقصی دارد، زیرا وقتی روش تولید متن/تصویر تفاوت می‌کند ابزارها هم تغییر می‌کنند، بالتبع روش‌های تولید ابزارهای هم تغییر می‌کنند، کارخانه‌های تولید ابزارها هم تغییر می‌کنند. تولید عکس به کمک مدل‌های مولد نیاز به آموزش مدل‌های زبانی داره و ایجاد مدل‌های زبانی بدون پردازنده‌های گرافیکی اصلا میسر نیست و باید بررسی بشه آموزش مدل‌زبانی، تولید پردازند‌های گرافیکی GPU چقدر CO2 تولید کرده است. ممکن است کاهش 100 تا 1000 درصدی CO2 در تولید یک نمونه عکس مرهون افزایش 100 تا 1000 برابری تولید CO2 در مراحل آموزش مدل زبانی و تولید مدل زبانی باشد.

البته این پژوهش در اندازگیری CO2 هم مرحله استنتاج(تولید) محتوا و هم مرحله‌ی آموزش مدل زمانی را در نظر گرفته است. Training + Inference cost

باز روی این پژوهش اشکالات و نکات دیگه‌ای میشه مطرح کرد که از حوصله خارج است.

یه مطلب جالب اینکه شبکه‌های عصبی در معماری‌های مختلف حالت‌های خاصی از هم هستند.
مثلا مقاله داریم به سادگی نشون میده ترانسفورمرها حالت خاصی از شبکه‌های عصبی گرافی هستند.
مثلا میشه نشون داد شبکه‌های هاپفیلد نوعی ترانسفورمر خود-توجه هستند

Autogen
مقاله و پیاده‌سازی خیلی ساده و جدید مایکروسافت که هوشمندی مدل‌های زبانی رو به حد قابل توجهی افزایش میده.
مدلی که در تصویر آمده مدل خیلی ساده‌اش است که وقتی شما ازش در مورد نمودار YTD (یک سال گذشته تا امروز) دو تا سهم رو می‌خواهید فرض کنید این نمودار در اینترنت وجود ندارد و خودش باید تولید کند. این را باید در قالب کد پایتون تولید کند اطلاعات هر سهم را بگیرد با پکیج yfinance رسمش کند ولی دیدید وقتی کدی از chatGPT میگیریم باید خودمان اجرایش کنید و ممکن است باگ داشته باشد. اینجا با یک ایده‌ی ساده یک ایجنت پایتون کد ایجنت مولد کد را اجرا می‌کند و تا زمانی که به خروجی برسد و خطا رفع شود با هم تعامل می‌کنند سپس آن را به کاربر انسانی برمی‌گرداند.

وقت کردید حتما این گفتگو رو ببینید
گفتگو یوال نوح حراری و مصطفی سلیمان در مورد آینده‌ی هوش مصنوعی.
موضوع اینطوری شروع میشه که مصطفی سلیمان یه ادعایی داره که پنج سال دیگه هوض مصنوعی به ACI میرسه یعنی Artificial Capable Intelligence هوش مصنوعی قابل(کارآمد).
حراری میگه من هیچ پیش‌بینی در مورد وضعیت تکنیکی هوش مصنوعی در پنج سال دیگه ندارم ولی اگه اینایی که مصطفی کامل میگه درست باشه تاریخ انسان تموم میشه ولی تاریخ تموم نمیشه، دیگر انسان آن موجود دارای کنترل نیست و سرنوشت تاریخ دست موجود هوشمند‌تر دیگر می‌افتد.

یه حرف جالبی در مورد تهدید هوش مصنوعی برای مشاغل می‌زنن جفتشون میگن که این میتونه تهدید باشه اما برای دوران گذار. یعنی دورانی که کلی شغل از بین رفته و کلی شغل جدید به وجود اومده ولی بعدش ما فقط شاهد یک تغییر توزیع جغرافیایی مشاغل هستیم مثلا اون کارگر نساجی توی پاکستان بیکار میشه ولی تقاضا برای مهندس کامپیوتر در کالیفرنیا زیاد میشه. ولی فقط از بین رفتن مشاغل نگران کننده نیست باز توزیع‌ش هم نکته نگران کنننده اینه چون توزیعش یه طوری که کارگر پاکستانی ضربه‌ش رو میخوره از رفاه حاصل از هوش مصنوعی چیزی آیدش نمیشه.
این مساله‌ی بیکاری اینقدر مهمه که میگه هیلتر از سه سال متوالی تورم 25 درصد به حکومت در آلمان رسید.

من حرفای بیست دقیقه اولش رو گفتم تا مشتاق بشید برید بقیه اش رو ببنید...

GPT-4V(ision) system card
چی‌پی‌تی برای بینائی مدل جدیدی داده به اسم GPT-4V که OpenAI به chatGPT اضافه کرده است.
این همون مدلی که باهاش میشه تصویر داد به مدل و در مورد تصویر ازش سوال کرد.
البته دقت کنید این رو با DALE-3 که اونم همین چند روزه به chatGPT اضافه کرده اشتباه نگیرید!
اولی GPT-4V که تصویر میگیره و توضیح میده
دومی DALE-3 که متن میگیره و تصویر براتون می‌کنه
حتما این توئیت در مورد قابلیت‌های عجیب GPT-4V رو ببینید. عجیبه واقعا😬

https://twitter.com/_bryanmarley/status/1710331686125256796

1. عکس غذا داده میگه چطوری درست کنم این رو، براش رسپی میده.
2. یک دیاگرام نتورکی پیچیده داده میگه برام توضیح بده، کامل دسته بندی میکنه و نتیجه گیری میکنه اطلاعات تحلیلی دیاگرام رو.
3. یک اسکچ(طرحواره) از یه سایت کشیده میگه بهم کد HTML, CSS ش رو بده میده.
4. یک دستخط قدیمی و شکسته انگلیسی داده براش OCR کرده.
و ....