ㅤㅤ
در مطلب قبل در مورد قابلیت اجرا شدن مدل‌های اپن سورس Llama 1 , 2 بر روی لپ‌تاپ نوشتم. وقتی در مورد اجرا شدن مدل روی سیستم شخصی مثل لپ تاپ صحبت می‌کنیم باید دقت کنیم منظور آموزشه یا استنتاج! قطعا وقتی در مورد اجرا LLM ها روی لپ‌تاپ که ترند مهم این روزهای دنیا هوش مصنوعی هستند صحبت می‌کنم منظور استنتاج مدله نه آموزش! استنتاج یعنی اینکه به یک مدل آموزش دیده ورودی بدی و خروجی بگیری.
سر همین قضیه توجه به پردازند‌های سری جدید اپل یعنی M2 که سال گذشته عرضه کرد خیلی زیاد شده. مثلا Llama با 65 میلیارد پارامتر بر روی این دو سری پردازنده‌ی اپل اجرا میشه:
- M2 Max (~$2.6k w/ 64 GB RAM) for 5 tokens/s
- M2 Ultra (~$5k w/ 64 GB RAM) for 10 tokens/s

پردازنده‌ی M2 Max با قیمت 2600 دلار با رم 64 گیگ می‌تونه با سرعت 5 تا کلمه در ثانیه و پردازنده‌ی M2 Ultra با قیمت 5000 دلار با رم 64 گیگ با سرعت 10 کلمه در ثانیه جواب بده.
حالا چرا اپل پردازنده‌ش سر این موضوع جذابیت پیدا کرده؟ هزینه‌ی اجرای همین مدل‌ها را با قیمت‌های پردازنده‌های گرافیکی Nvidia مقایسه کنید:

- Professional RTX A6000 (~$4.6k w/ 48 GB RAM) 6 token/s
- RTX 6000 Ada (~$6.8k w/ 48 GB RAM) 12 token/s

پردازنده‌ی گرافیکی RTX A6000 برای خروجی نزدیک به M2 Max حدود 2000 دلار گرونتره و RTX 6000 Ada برای خروجی نزدیک به M2 Ultra حدود 1800 دلار گرون‌تره.

حالا اگر بخواهید مدل 175 میلیاردی chatGPT3.5 رو که 110 گیگ حافظه لازم داره روی لپ‌تاپ اجرا کنید از سری پردازنده‌های Nvidia باید برید A100 که 2*80 گیگ حافظه داره رو بگیرید که 20000 دلار قیمتشه ولی می تونید M2 Ultra با 192 گیگ رمش رو بخرید که 6600 دلاره.

پ.ن:
حالا توکن(کلمه) بر ثانیه چیه؟
دید وقتی chatGPT جواب میده در خروجی‌ش جواب رو یک دفعه‌ای نمیده بلکه چند کلمه چند کلمه خروجی میده این بخاطر مدل خروجی دادن ترنسفورمرها است. حتی یه نکته بامزه اینکه اگر در براتون پیش اومده باشه اگر جوابی بده که شامل محتوای NSFW هست یک دفعه وسط نوشتن کل جوابش رو پاک می‌کنه و عذرخواهی می‌کنه که نمی‌تونه جواب بده. این بخاطره اینکه یک بار جواب رو بافر نمی‌کنه بعد برای محتوای مناسب پردازش‌ش کنه بلکه جوابی که از مدل رو میگیره به کلاینت می‌فرسته بصورت استریم خروجی رو از لحاظ NSFW بودن بررسی میکنه.

منبع توئیت:
https://twitter.com/convequity/status/1668879950940901376

دیگه دکه‌های چای‌ فروشی هند هم میدونن GPT چیه!
اگر فکر می‌کنید GPT مخفف Generative Pre-trained Transformer است سخت اشتباه می‌کنید، مخفف عبارت Genuinely Pure Tea است:)) (چای واقعا خالص)

https://twitter.com/ggerganov/status/1697262700165013689?s=20

شاهد از غیب رسید.

روی M2 Ultra یعنی مک بوک شخصی! اومده Llama Code رو با 34 میلیارد پارامتر ران کرده! با سرعت 20 تومن بر ثانیه. کد الگوریتم دایکسترا رو تو ۱۰ ثانیه داد:)

خالق UML پیشنهاد داده باید یک استاندارد مصورسازی برای هوش مصنوعی به خصوص LLMها ایجاد بشه یارو اومده بهش گفته تو اصلا نمیدونی UML چیه:))))
طرف میگه بچه! من خودم خالق UML ام
😂😂😂😂😂😂

این لیست صد نفر تاثیرگذارترین شخصیت هوش مصنوعی 2023 مجله تایمز چند روزی هست منتشر شده
وقت نداشتم بررسی اش کنم
امروز بررسی کردم واقعا جالبه یه نگاه بندازین بهش
آدمهای جالبی توشن
مثه Grimes زن ایلان ماسک
مثه Eliezer Yudkowsky که دشمن توسعه A.I. میگه باید دیتاسنترها رو تا بشر رو نابود نکردن بمباران کنیم:)
و آدم‌هایی نیستن که آدم تعجب می‌کنه
اندره کارپتی
یوگن اشمیت هوبر نوسینده‌ی مقاله‌ی LSTM

حتما وقت کردید یه نگاه بندازین
خیلی چیز واسه یاد گرفتن داره

دقت کنید این کاهش تولید CO2 سه چهار برابر نیست سه چهار مرتبه‌ی بزرگیه (Order of Magnitude) است.
یعنی اگه یک عکس رو با میدجرنی یا دالی-2 تولید کنید 310 تا 2900 برابر نسبت به تولید همون عکس به دست نقاش کمتر CO2 تولید میشه.

ولی در مورد متن هم اگر با Bloom , ChatGPT یک متنی تولید کنه 130 تا 1400 برابر انرژی کمتر به نسبت نوشتن همون متن به دست نویسنده‌ی انسانی CO2 j تولید می‌کنه.

این آمار فقط برای تولید یک نمونه متن و یک نمونه عکس قابل استفاده است، از این آمار نمیشه به طور کلی نتیجه گرفت که استفاده از مولد‌های مولد منجر به کاهش حدود ۱۰۰ تا ۱۰۰۰ برابری CO2 میشن!
چرا؟!
1.(پاردوکس جیفونز)
در درازمدت، افزایش کارایی در استفاده از منابع به جای کاهش، باعث افزایش مصرف منابع خواهد شد.

چون خود این مولد‌های مولد باعث شده تولید تصویر و متن راحت‌تر بشه تولیدات تصویر و متن بیشتر شده، کسانی که اصلا درگیر تولید متن و تصویر نبودند می‌روند از این مدل‌های استفاده ‌می‌کنند و مثلا برای خودشون با میدجرنی عکس‌های جذاب تولید ‌می‌کنند یا اینکه کسانی که متن نمی‌نوشتند ترغیب می‌شوند بروند با این مدل‌های زبانی متن تولید کنند! خود این باعث افزایش تولید CO2 ناشی از استفاده از این مدل‌های میشه.

2. این پژوهش برای القای اینکه استفاده از مدل‌های مولد در نهایت منجر به کاهش مصرف انرژی می‌شود نواقصی دارد، زیرا وقتی روش تولید متن/تصویر تفاوت می‌کند ابزارها هم تغییر می‌کنند، بالتبع روش‌های تولید ابزارهای هم تغییر می‌کنند، کارخانه‌های تولید ابزارها هم تغییر می‌کنند. تولید عکس به کمک مدل‌های مولد نیاز به آموزش مدل‌های زبانی داره و ایجاد مدل‌های زبانی بدون پردازنده‌های گرافیکی اصلا میسر نیست و باید بررسی بشه آموزش مدل‌زبانی، تولید پردازند‌های گرافیکی GPU چقدر CO2 تولید کرده است. ممکن است کاهش 100 تا 1000 درصدی CO2 در تولید یک نمونه عکس مرهون افزایش 100 تا 1000 برابری تولید CO2 در مراحل آموزش مدل زبانی و تولید مدل زبانی باشد.

البته این پژوهش در اندازگیری CO2 هم مرحله استنتاج(تولید) محتوا و هم مرحله‌ی آموزش مدل زمانی را در نظر گرفته است. Training + Inference cost

باز روی این پژوهش اشکالات و نکات دیگه‌ای میشه مطرح کرد که از حوصله خارج است.

یه مطلب جالب اینکه شبکه‌های عصبی در معماری‌های مختلف حالت‌های خاصی از هم هستند.
مثلا مقاله داریم به سادگی نشون میده ترانسفورمرها حالت خاصی از شبکه‌های عصبی گرافی هستند.
مثلا میشه نشون داد شبکه‌های هاپفیلد نوعی ترانسفورمر خود-توجه هستند

Autogen
مقاله و پیاده‌سازی خیلی ساده و جدید مایکروسافت که هوشمندی مدل‌های زبانی رو به حد قابل توجهی افزایش میده.
مدلی که در تصویر آمده مدل خیلی ساده‌اش است که وقتی شما ازش در مورد نمودار YTD (یک سال گذشته تا امروز) دو تا سهم رو می‌خواهید فرض کنید این نمودار در اینترنت وجود ندارد و خودش باید تولید کند. این را باید در قالب کد پایتون تولید کند اطلاعات هر سهم را بگیرد با پکیج yfinance رسمش کند ولی دیدید وقتی کدی از chatGPT میگیریم باید خودمان اجرایش کنید و ممکن است باگ داشته باشد. اینجا با یک ایده‌ی ساده یک ایجنت پایتون کد ایجنت مولد کد را اجرا می‌کند و تا زمانی که به خروجی برسد و خطا رفع شود با هم تعامل می‌کنند سپس آن را به کاربر انسانی برمی‌گرداند.

وقت کردید حتما این گفتگو رو ببینید
گفتگو یوال نوح حراری و مصطفی سلیمان در مورد آینده‌ی هوش مصنوعی.
موضوع اینطوری شروع میشه که مصطفی سلیمان یه ادعایی داره که پنج سال دیگه هوض مصنوعی به ACI میرسه یعنی Artificial Capable Intelligence هوش مصنوعی قابل(کارآمد).
حراری میگه من هیچ پیش‌بینی در مورد وضعیت تکنیکی هوش مصنوعی در پنج سال دیگه ندارم ولی اگه اینایی که مصطفی کامل میگه درست باشه تاریخ انسان تموم میشه ولی تاریخ تموم نمیشه، دیگر انسان آن موجود دارای کنترل نیست و سرنوشت تاریخ دست موجود هوشمند‌تر دیگر می‌افتد.

یه حرف جالبی در مورد تهدید هوش مصنوعی برای مشاغل می‌زنن جفتشون میگن که این میتونه تهدید باشه اما برای دوران گذار. یعنی دورانی که کلی شغل از بین رفته و کلی شغل جدید به وجود اومده ولی بعدش ما فقط شاهد یک تغییر توزیع جغرافیایی مشاغل هستیم مثلا اون کارگر نساجی توی پاکستان بیکار میشه ولی تقاضا برای مهندس کامپیوتر در کالیفرنیا زیاد میشه. ولی فقط از بین رفتن مشاغل نگران کننده نیست باز توزیع‌ش هم نکته نگران کنننده اینه چون توزیعش یه طوری که کارگر پاکستانی ضربه‌ش رو میخوره از رفاه حاصل از هوش مصنوعی چیزی آیدش نمیشه.
این مساله‌ی بیکاری اینقدر مهمه که میگه هیلتر از سه سال متوالی تورم 25 درصد به حکومت در آلمان رسید.

من حرفای بیست دقیقه اولش رو گفتم تا مشتاق بشید برید بقیه اش رو ببنید...

GPT-4V(ision) system card
چی‌پی‌تی برای بینائی مدل جدیدی داده به اسم GPT-4V که OpenAI به chatGPT اضافه کرده است.
این همون مدلی که باهاش میشه تصویر داد به مدل و در مورد تصویر ازش سوال کرد.
البته دقت کنید این رو با DALE-3 که اونم همین چند روزه به chatGPT اضافه کرده اشتباه نگیرید!
اولی GPT-4V که تصویر میگیره و توضیح میده
دومی DALE-3 که متن میگیره و تصویر براتون می‌کنه
حتما این توئیت در مورد قابلیت‌های عجیب GPT-4V رو ببینید. عجیبه واقعا😬

https://twitter.com/_bryanmarley/status/1710331686125256796

1. عکس غذا داده میگه چطوری درست کنم این رو، براش رسپی میده.
2. یک دیاگرام نتورکی پیچیده داده میگه برام توضیح بده، کامل دسته بندی میکنه و نتیجه گیری میکنه اطلاعات تحلیلی دیاگرام رو.
3. یک اسکچ(طرحواره) از یه سایت کشیده میگه بهم کد HTML, CSS ش رو بده میده.
4. یک دستخط قدیمی و شکسته انگلیسی داده براش OCR کرده.
و ....

احتمالا تا الان این کتاب Understanding Deep Learning معروف به UDL رو توی توئیتر دیده باشین.
این کتاب به نظرم یکی از جایگزین‌های جدی کتاب Deep Learning یان گودفلو(Ian Goodfellow) و یوشوا بنجیو(Yoshua Bengio) باشه از 2016 که این کتاب رو دادن کلی مباحث جدید مطرح شده تو یادگیری عمیق که توی کتاب گود فلو نیست
ولی خیلی از این مباحث رو این کتاب جدید UDL پوشش داده.
هنوزم توی نسخه پیش نویسه و نهایی نشده ولی همین الانش نزدیک 550 صفحه است.
یه نگاه کردم حقیقتا نوت بوک‌های خیلی خفنی داره برای هر مبحث.
مباحث‌ش رو هم توی تصویر ببنید خیلی به روز و عالیه.
اینم لینک پی دی افش.
https://github.com/udlbook/udlbook/releases/download/v1.14/UnderstandingDeepLearning_13_10_23_C.pdf

اعتراض به انتشار مدل Llama مقابل دفتر متا

عده‌ای از افراد معترض به انتشار اپن‌سورس مدل Llama مقابل دفتر متا در سانفرانسیسکو اعتراض خود را اعلام کردند. به عقیده این افراد انتشار چنین‌ مدل‌های قدرتمندی به صورت اپن‌سورس می‌تواند توسط هر کسی برای مقاصد شوم مورد استفاده قرار بگیرد. Llama یکی از بزرگترین مدل‌های زبانی است که توسط متا توسعه داده شده و به صورت اپن‌سورس و رایگان در دسترس عموم قرار گرفته است. انتشار این مدل فرصت‌های زیادی را برای افراد و شرکت‌های کوچک که منابع پردازشی کمتری در اختیار دارند فراهم کرده است. اینکه مدل‌های قدرتمند هوش‌مصنوعی توسط چه کسانی با چه اهدافی مورد استفاده قرار می‌گیرد یکی از چالش‌های ایمنی هوش‌مصنوعی است.

#meta
#llama
#ai_safety

@dumannewsletter

صحبت‌های پراکنده‌ای در مورد مدل‌ زبانی بزرگ بعدی و احتمالا GPT-5 میشه که واقعا جذابه:
Geoffrey Hinton
شرکت‌ها در حال برنامه‌ریزی برای آموزش مدل‌ها با 100 برابر محاسبات بیشتر از بهترین وضعیت فعلی هستند، و این کار را طی 18 ماه آینده انجام خواهند داد. هیچ کس نمی‌داند چقدر قدرتمند خواهند بود. و در واقع هیچ قانونی در مورد اینکه چه کارهایی با این مدل‌ها قادر به انجام خواهند بود، وجود ندارد.


این حرف رو احتمالا از مصطفی سلیمان مدیر InflectionAI گرفته:
“ما قصد داریم مدل‌هایی را آموزش دهیم که در سه سال آینده 1000 برابر بزرگتر از حال حاضر خواهند بود. حتی در Inflection، با توان محاسباتی که داریم، مدل‌ها 100 برابر بزرگتر از مدل‌های مرزی فعلی در 18 ماه آینده خواهند بود.”

و این توئیت
"منابع می‌گویند هزینه آموزش GPT-5 بین 2.0 تا 2.5 میلیارد دلار خواهد بود، 500 هزار H100s برای 90 روز یا پیکربندی دیگر. سال آینده شروع می‌شود."