https://twitter.com/ggerganov/status/1697262700165013689?s=20

شاهد از غیب رسید.

روی M2 Ultra یعنی مک بوک شخصی! اومده Llama Code رو با 34 میلیارد پارامتر ران کرده! با سرعت 20 تومن بر ثانیه. کد الگوریتم دایکسترا رو تو ۱۰ ثانیه داد:)

خالق UML پیشنهاد داده باید یک استاندارد مصورسازی برای هوش مصنوعی به خصوص LLMها ایجاد بشه یارو اومده بهش گفته تو اصلا نمیدونی UML چیه:))))
طرف میگه بچه! من خودم خالق UML ام
😂😂😂😂😂😂

این لیست صد نفر تاثیرگذارترین شخصیت هوش مصنوعی 2023 مجله تایمز چند روزی هست منتشر شده
وقت نداشتم بررسی اش کنم
امروز بررسی کردم واقعا جالبه یه نگاه بندازین بهش
آدمهای جالبی توشن
مثه Grimes زن ایلان ماسک
مثه Eliezer Yudkowsky که دشمن توسعه A.I. میگه باید دیتاسنترها رو تا بشر رو نابود نکردن بمباران کنیم:)
و آدم‌هایی نیستن که آدم تعجب می‌کنه
اندره کارپتی
یوگن اشمیت هوبر نوسینده‌ی مقاله‌ی LSTM

حتما وقت کردید یه نگاه بندازین
خیلی چیز واسه یاد گرفتن داره

دقت کنید این کاهش تولید CO2 سه چهار برابر نیست سه چهار مرتبه‌ی بزرگیه (Order of Magnitude) است.
یعنی اگه یک عکس رو با میدجرنی یا دالی-2 تولید کنید 310 تا 2900 برابر نسبت به تولید همون عکس به دست نقاش کمتر CO2 تولید میشه.

ولی در مورد متن هم اگر با Bloom , ChatGPT یک متنی تولید کنه 130 تا 1400 برابر انرژی کمتر به نسبت نوشتن همون متن به دست نویسنده‌ی انسانی CO2 j تولید می‌کنه.

این آمار فقط برای تولید یک نمونه متن و یک نمونه عکس قابل استفاده است، از این آمار نمیشه به طور کلی نتیجه گرفت که استفاده از مولد‌های مولد منجر به کاهش حدود ۱۰۰ تا ۱۰۰۰ برابری CO2 میشن!
چرا؟!
1.(پاردوکس جیفونز)
در درازمدت، افزایش کارایی در استفاده از منابع به جای کاهش، باعث افزایش مصرف منابع خواهد شد.

چون خود این مولد‌های مولد باعث شده تولید تصویر و متن راحت‌تر بشه تولیدات تصویر و متن بیشتر شده، کسانی که اصلا درگیر تولید متن و تصویر نبودند می‌روند از این مدل‌های استفاده ‌می‌کنند و مثلا برای خودشون با میدجرنی عکس‌های جذاب تولید ‌می‌کنند یا اینکه کسانی که متن نمی‌نوشتند ترغیب می‌شوند بروند با این مدل‌های زبانی متن تولید کنند! خود این باعث افزایش تولید CO2 ناشی از استفاده از این مدل‌های میشه.

2. این پژوهش برای القای اینکه استفاده از مدل‌های مولد در نهایت منجر به کاهش مصرف انرژی می‌شود نواقصی دارد، زیرا وقتی روش تولید متن/تصویر تفاوت می‌کند ابزارها هم تغییر می‌کنند، بالتبع روش‌های تولید ابزارهای هم تغییر می‌کنند، کارخانه‌های تولید ابزارها هم تغییر می‌کنند. تولید عکس به کمک مدل‌های مولد نیاز به آموزش مدل‌های زبانی داره و ایجاد مدل‌های زبانی بدون پردازنده‌های گرافیکی اصلا میسر نیست و باید بررسی بشه آموزش مدل‌زبانی، تولید پردازند‌های گرافیکی GPU چقدر CO2 تولید کرده است. ممکن است کاهش 100 تا 1000 درصدی CO2 در تولید یک نمونه عکس مرهون افزایش 100 تا 1000 برابری تولید CO2 در مراحل آموزش مدل زبانی و تولید مدل زبانی باشد.

البته این پژوهش در اندازگیری CO2 هم مرحله استنتاج(تولید) محتوا و هم مرحله‌ی آموزش مدل زمانی را در نظر گرفته است. Training + Inference cost

باز روی این پژوهش اشکالات و نکات دیگه‌ای میشه مطرح کرد که از حوصله خارج است.

یه مطلب جالب اینکه شبکه‌های عصبی در معماری‌های مختلف حالت‌های خاصی از هم هستند.
مثلا مقاله داریم به سادگی نشون میده ترانسفورمرها حالت خاصی از شبکه‌های عصبی گرافی هستند.
مثلا میشه نشون داد شبکه‌های هاپفیلد نوعی ترانسفورمر خود-توجه هستند

Autogen
مقاله و پیاده‌سازی خیلی ساده و جدید مایکروسافت که هوشمندی مدل‌های زبانی رو به حد قابل توجهی افزایش میده.
مدلی که در تصویر آمده مدل خیلی ساده‌اش است که وقتی شما ازش در مورد نمودار YTD (یک سال گذشته تا امروز) دو تا سهم رو می‌خواهید فرض کنید این نمودار در اینترنت وجود ندارد و خودش باید تولید کند. این را باید در قالب کد پایتون تولید کند اطلاعات هر سهم را بگیرد با پکیج yfinance رسمش کند ولی دیدید وقتی کدی از chatGPT میگیریم باید خودمان اجرایش کنید و ممکن است باگ داشته باشد. اینجا با یک ایده‌ی ساده یک ایجنت پایتون کد ایجنت مولد کد را اجرا می‌کند و تا زمانی که به خروجی برسد و خطا رفع شود با هم تعامل می‌کنند سپس آن را به کاربر انسانی برمی‌گرداند.

وقت کردید حتما این گفتگو رو ببینید
گفتگو یوال نوح حراری و مصطفی سلیمان در مورد آینده‌ی هوش مصنوعی.
موضوع اینطوری شروع میشه که مصطفی سلیمان یه ادعایی داره که پنج سال دیگه هوض مصنوعی به ACI میرسه یعنی Artificial Capable Intelligence هوش مصنوعی قابل(کارآمد).
حراری میگه من هیچ پیش‌بینی در مورد وضعیت تکنیکی هوش مصنوعی در پنج سال دیگه ندارم ولی اگه اینایی که مصطفی کامل میگه درست باشه تاریخ انسان تموم میشه ولی تاریخ تموم نمیشه، دیگر انسان آن موجود دارای کنترل نیست و سرنوشت تاریخ دست موجود هوشمند‌تر دیگر می‌افتد.

یه حرف جالبی در مورد تهدید هوش مصنوعی برای مشاغل می‌زنن جفتشون میگن که این میتونه تهدید باشه اما برای دوران گذار. یعنی دورانی که کلی شغل از بین رفته و کلی شغل جدید به وجود اومده ولی بعدش ما فقط شاهد یک تغییر توزیع جغرافیایی مشاغل هستیم مثلا اون کارگر نساجی توی پاکستان بیکار میشه ولی تقاضا برای مهندس کامپیوتر در کالیفرنیا زیاد میشه. ولی فقط از بین رفتن مشاغل نگران کننده نیست باز توزیع‌ش هم نکته نگران کنننده اینه چون توزیعش یه طوری که کارگر پاکستانی ضربه‌ش رو میخوره از رفاه حاصل از هوش مصنوعی چیزی آیدش نمیشه.
این مساله‌ی بیکاری اینقدر مهمه که میگه هیلتر از سه سال متوالی تورم 25 درصد به حکومت در آلمان رسید.

من حرفای بیست دقیقه اولش رو گفتم تا مشتاق بشید برید بقیه اش رو ببنید...

GPT-4V(ision) system card
چی‌پی‌تی برای بینائی مدل جدیدی داده به اسم GPT-4V که OpenAI به chatGPT اضافه کرده است.
این همون مدلی که باهاش میشه تصویر داد به مدل و در مورد تصویر ازش سوال کرد.
البته دقت کنید این رو با DALE-3 که اونم همین چند روزه به chatGPT اضافه کرده اشتباه نگیرید!
اولی GPT-4V که تصویر میگیره و توضیح میده
دومی DALE-3 که متن میگیره و تصویر براتون می‌کنه
حتما این توئیت در مورد قابلیت‌های عجیب GPT-4V رو ببینید. عجیبه واقعا😬

https://twitter.com/_bryanmarley/status/1710331686125256796

1. عکس غذا داده میگه چطوری درست کنم این رو، براش رسپی میده.
2. یک دیاگرام نتورکی پیچیده داده میگه برام توضیح بده، کامل دسته بندی میکنه و نتیجه گیری میکنه اطلاعات تحلیلی دیاگرام رو.
3. یک اسکچ(طرحواره) از یه سایت کشیده میگه بهم کد HTML, CSS ش رو بده میده.
4. یک دستخط قدیمی و شکسته انگلیسی داده براش OCR کرده.
و ....

احتمالا تا الان این کتاب Understanding Deep Learning معروف به UDL رو توی توئیتر دیده باشین.
این کتاب به نظرم یکی از جایگزین‌های جدی کتاب Deep Learning یان گودفلو(Ian Goodfellow) و یوشوا بنجیو(Yoshua Bengio) باشه از 2016 که این کتاب رو دادن کلی مباحث جدید مطرح شده تو یادگیری عمیق که توی کتاب گود فلو نیست
ولی خیلی از این مباحث رو این کتاب جدید UDL پوشش داده.
هنوزم توی نسخه پیش نویسه و نهایی نشده ولی همین الانش نزدیک 550 صفحه است.
یه نگاه کردم حقیقتا نوت بوک‌های خیلی خفنی داره برای هر مبحث.
مباحث‌ش رو هم توی تصویر ببنید خیلی به روز و عالیه.
اینم لینک پی دی افش.
https://github.com/udlbook/udlbook/releases/download/v1.14/UnderstandingDeepLearning_13_10_23_C.pdf

اعتراض به انتشار مدل Llama مقابل دفتر متا

عده‌ای از افراد معترض به انتشار اپن‌سورس مدل Llama مقابل دفتر متا در سانفرانسیسکو اعتراض خود را اعلام کردند. به عقیده این افراد انتشار چنین‌ مدل‌های قدرتمندی به صورت اپن‌سورس می‌تواند توسط هر کسی برای مقاصد شوم مورد استفاده قرار بگیرد. Llama یکی از بزرگترین مدل‌های زبانی است که توسط متا توسعه داده شده و به صورت اپن‌سورس و رایگان در دسترس عموم قرار گرفته است. انتشار این مدل فرصت‌های زیادی را برای افراد و شرکت‌های کوچک که منابع پردازشی کمتری در اختیار دارند فراهم کرده است. اینکه مدل‌های قدرتمند هوش‌مصنوعی توسط چه کسانی با چه اهدافی مورد استفاده قرار می‌گیرد یکی از چالش‌های ایمنی هوش‌مصنوعی است.

#meta
#llama
#ai_safety

@dumannewsletter

صحبت‌های پراکنده‌ای در مورد مدل‌ زبانی بزرگ بعدی و احتمالا GPT-5 میشه که واقعا جذابه:
Geoffrey Hinton
شرکت‌ها در حال برنامه‌ریزی برای آموزش مدل‌ها با 100 برابر محاسبات بیشتر از بهترین وضعیت فعلی هستند، و این کار را طی 18 ماه آینده انجام خواهند داد. هیچ کس نمی‌داند چقدر قدرتمند خواهند بود. و در واقع هیچ قانونی در مورد اینکه چه کارهایی با این مدل‌ها قادر به انجام خواهند بود، وجود ندارد.


این حرف رو احتمالا از مصطفی سلیمان مدیر InflectionAI گرفته:
“ما قصد داریم مدل‌هایی را آموزش دهیم که در سه سال آینده 1000 برابر بزرگتر از حال حاضر خواهند بود. حتی در Inflection، با توان محاسباتی که داریم، مدل‌ها 100 برابر بزرگتر از مدل‌های مرزی فعلی در 18 ماه آینده خواهند بود.”

و این توئیت
"منابع می‌گویند هزینه آموزش GPT-5 بین 2.0 تا 2.5 میلیارد دلار خواهد بود، 500 هزار H100s برای 90 روز یا پیکربندی دیگر. سال آینده شروع می‌شود."

ㅤ
داستان دعوای بین غول‌ها

آقای اندرو انگ که معرف حضور هستند از سوابق ایشون اینکه
موسس deeplearning.ai،
هم‌بنیان گذار Google Brain
دانشمند ارشد Baidu
استاد یادگیری ماشین سم آلتمن(بنیان‌گذار OpenAI) هستند.
رفته یه مصاحبه کرده گفته که این بحث‌های AI Regualtion کار کمپانی‌های بزرگ AI که نمیخوان با خطر مدل‌های بزرگ Open Source برای خودشون تهدید رقیب درست کنند. این حرف بین پدرخوانده‌ّای بزرگ AI دعوا درست کرده .
از یک طرف AI Regulation یه مخالف قوی داره به اسم یان لیکان که میاد تو تیم اندرو انگ. حالا واسه اینکه بیشتر بفهمید چرا یان لیکان اینطوری فکر میکنه باید ببنید مسئولیت فعلی یان لیکان چیه؟ بله یان لیکان دانشمند ارشد FAIR یعنی تیم open-source هوش مصنوعی فیس بوکه. فیس بوک یک تیم AI دیگه هم داره که اون تحقیقاتش دیگه open-source نیست. اینکه می‌بینید که فیس بوک برخلاف گوگل و مایکروسافت و OpenAI و Google Brain و Deep Mind داره Foundation Modelهاش رو با شفایت بالا اپن سورس می‌کنه تحت تاثیر همین رویکرد لیکانه.
بخاطر همینه که لیکان و اندرو الان با هم تو یه تیم هستند.
حالا خیلی از بحث دور نشیم:)

حالا این حرف‌ و مصاحبه اندرو به کی برخورده؟
به طور غیر مستقیم به 375 نفر:)
به طور مستقیم به دو سه نفر: 1. جفری هینتون 2. یوشوا بنجیو

چرا 375 نفر؟ این‌ها همون آدم‌های برجسته صنعت و آکادمی و سرمایه‌گذارهای بزرگ AI هستند که بعد از اینکه نتایج ChatGPT دنیا رو متحیر کرد سریع به فکر افتادند یک بیانیه دادن تحت عنوان (Statement on AI Risk) یعنی «بیانیه بر خطر هوش مصنوعی» مثه خود هینتون و بنجیو و دمیس هاسابیس(دیپ مایند)، خواهر و برادر آمودی(آنتروپیک)، بیل گیتس و لیست کامل رو از اینجا ببنید.


حالا پدرخوانده اول یعنی جفری هینتون از این مصاحبه اندرو ناراحت شده این توئیت رو زده به طور خلاصه میگه: «بیبن اینکه تو میگی کمپانی‌های بزرگ دارن در ترس از AI مبالغه می‌کنند تا رقیب پیدا نکنند چرنده. چرا؟ چون من خودم دو سه ماه پیش از تیم AI گوگل اومدم بیرون تا راحت‌تر بتونم در مورد ریسک AI صحبت کنم اگر قضیه اینطوری بود که تو میگفتی من و گوگل همسو بودیم باید میموندم حرفام رو همونجا میزدم»

لیکان که شاگرد و رفیقشه اومده میگه: «تو(جفری هینتون) و بنجیو عملا ناخواسته دارید باعث می‌شید تحقیقات هوش مصنوعی بره زیر کلید یه سری بیزینس بزرگ که میخوان داده‌ و تحقیقات عمومی و کد و مدل متن باز رو محدود کنن»


اندرو اومده میگه: «من نمیگم نو(جفری هینتون) توهم توطئه زدید ولی داری زیر خطرش رو بزرگ جلوه میدید (OverHyper). یه سری دانشجوها بخاطر شریک جرم نبودن در انقراض بشر دارن از اینکه بیان سمت AI دارن منصرف می‌شن(!). این ترسی که شماها درست میکنید منجر به قانون گذاری بد میشه. قانون‌هایی مثه لاینسنس گذاشتن برای مدل‌های متن باز که عملا متن باز رو به فنا میده و خلاقیت رو نابود می‌کنه»


هنتون دوباره اومده در جواب گفته: «اندرو و لیکان درست نمیفهمن چرا کمپانی‌های بزرگ طرفدار مقررات‌سازی برای AI هستند. اونا میخوان آسیب پذیری خودشون در برابر کیس‌های حقوقی کاهش بدن و با رعایت یه سری مقررات که قانون تعیین می‌کنه از خودشون در برابر مسئولیت بی‌نهایت سلب مسئولیت کنند»


پ.ن: چیزهایی که داخل گیومه اومده نقل قول مستقیم نیست برداشت عامیانه و ساده‌سازی شده از حرف‌های گوینده است.

دلیل اینکه ما به این موضوع می‌پردازیم اینه که مسائل اصلی امروز AI فقط LLM و Foundation Modelها و ... نیستند اینطور مسائل فنی و علمی ما رو نباید از مسائل واقعی‌تر و جد‌ی‌تر AI غافل کنه.
مسائلی مثه AI safety , AI Regulation , جنگ بین آمریکا و چین در صادرات GPU و امثالهم مسائلی به همان اندازه مهم هستند.
به این گفتگو‌ها و دعواها نباید به چشم دعواهای خال‌زنکی نگاه کرد. این‌ حرف‌ها هست که تاریخ AI رو می‌سازه.

استاد اشمیت هوبر(با LSTM شناخته میشه) که از دشمنان خونین پدر خوانده جفری هینتون هستند(برای اینکه بیشتر مطلع بشید از دعواشون برید انتقادش به جایزه هوندا رو بخونید)
اینجا هم طبق انتظار موضعی مخالف هینتون گرفته:) و حرف آنرو انگ رو میزنه
《هیاهوی احمقانه مقررات‌گذاری هوش مصنوعی》
خلاصه میگه:
《مقررات گذاشتن واسه هوش مصنوعی مثه مقررات گذاشتن واسه ریاضیاته. خود هوش مصنوعی نباید براش مقررات گذاشت. مقررات رو باید برای کاربرد وضع کرد کما اینکه همین الان دارن می‌کنند مثه ماشین خودران و حوزه سلامت و ...》

پ.ن: بعدا بیشتر از دعوای این هینتون و هوبر مینویسم.
پ.ن: حقیقتا اشمیت هوبر خیلی آندرریتت هست. خیلی از کارایی که توی دیپ لرنینگ در دهه گذشته شده قبلا ایده‌هاش رو در دهه ۸۰ و ۹۰ داده ولی اون موقع نه جی‌پی‌یو بوده نه شبکه‌عصبی به این شکلی امروز هست.