دقت کنید این کاهش تولید CO2 سه چهار برابر نیست سه چهار مرتبه‌ی بزرگیه (Order of Magnitude) است.
یعنی اگه یک عکس رو با میدجرنی یا دالی-2 تولید کنید 310 تا 2900 برابر نسبت به تولید همون عکس به دست نقاش کمتر CO2 تولید میشه.

ولی در مورد متن هم اگر با Bloom , ChatGPT یک متنی تولید کنه 130 تا 1400 برابر انرژی کمتر به نسبت نوشتن همون متن به دست نویسنده‌ی انسانی CO2 j تولید می‌کنه.

این آمار فقط برای تولید یک نمونه متن و یک نمونه عکس قابل استفاده است، از این آمار نمیشه به طور کلی نتیجه گرفت که استفاده از مولد‌های مولد منجر به کاهش حدود ۱۰۰ تا ۱۰۰۰ برابری CO2 میشن!
چرا؟!
1.(پاردوکس جیفونز)
در درازمدت، افزایش کارایی در استفاده از منابع به جای کاهش، باعث افزایش مصرف منابع خواهد شد.

چون خود این مولد‌های مولد باعث شده تولید تصویر و متن راحت‌تر بشه تولیدات تصویر و متن بیشتر شده، کسانی که اصلا درگیر تولید متن و تصویر نبودند می‌روند از این مدل‌های استفاده ‌می‌کنند و مثلا برای خودشون با میدجرنی عکس‌های جذاب تولید ‌می‌کنند یا اینکه کسانی که متن نمی‌نوشتند ترغیب می‌شوند بروند با این مدل‌های زبانی متن تولید کنند! خود این باعث افزایش تولید CO2 ناشی از استفاده از این مدل‌های میشه.

2. این پژوهش برای القای اینکه استفاده از مدل‌های مولد در نهایت منجر به کاهش مصرف انرژی می‌شود نواقصی دارد، زیرا وقتی روش تولید متن/تصویر تفاوت می‌کند ابزارها هم تغییر می‌کنند، بالتبع روش‌های تولید ابزارهای هم تغییر می‌کنند، کارخانه‌های تولید ابزارها هم تغییر می‌کنند. تولید عکس به کمک مدل‌های مولد نیاز به آموزش مدل‌های زبانی داره و ایجاد مدل‌های زبانی بدون پردازنده‌های گرافیکی اصلا میسر نیست و باید بررسی بشه آموزش مدل‌زبانی، تولید پردازند‌های گرافیکی GPU چقدر CO2 تولید کرده است. ممکن است کاهش 100 تا 1000 درصدی CO2 در تولید یک نمونه عکس مرهون افزایش 100 تا 1000 برابری تولید CO2 در مراحل آموزش مدل زبانی و تولید مدل زبانی باشد.

البته این پژوهش در اندازگیری CO2 هم مرحله استنتاج(تولید) محتوا و هم مرحله‌ی آموزش مدل زمانی را در نظر گرفته است. Training + Inference cost

باز روی این پژوهش اشکالات و نکات دیگه‌ای میشه مطرح کرد که از حوصله خارج است.

یه مطلب جالب اینکه شبکه‌های عصبی در معماری‌های مختلف حالت‌های خاصی از هم هستند.
مثلا مقاله داریم به سادگی نشون میده ترانسفورمرها حالت خاصی از شبکه‌های عصبی گرافی هستند.
مثلا میشه نشون داد شبکه‌های هاپفیلد نوعی ترانسفورمر خود-توجه هستند

Autogen
مقاله و پیاده‌سازی خیلی ساده و جدید مایکروسافت که هوشمندی مدل‌های زبانی رو به حد قابل توجهی افزایش میده.
مدلی که در تصویر آمده مدل خیلی ساده‌اش است که وقتی شما ازش در مورد نمودار YTD (یک سال گذشته تا امروز) دو تا سهم رو می‌خواهید فرض کنید این نمودار در اینترنت وجود ندارد و خودش باید تولید کند. این را باید در قالب کد پایتون تولید کند اطلاعات هر سهم را بگیرد با پکیج yfinance رسمش کند ولی دیدید وقتی کدی از chatGPT میگیریم باید خودمان اجرایش کنید و ممکن است باگ داشته باشد. اینجا با یک ایده‌ی ساده یک ایجنت پایتون کد ایجنت مولد کد را اجرا می‌کند و تا زمانی که به خروجی برسد و خطا رفع شود با هم تعامل می‌کنند سپس آن را به کاربر انسانی برمی‌گرداند.

وقت کردید حتما این گفتگو رو ببینید
گفتگو یوال نوح حراری و مصطفی سلیمان در مورد آینده‌ی هوش مصنوعی.
موضوع اینطوری شروع میشه که مصطفی سلیمان یه ادعایی داره که پنج سال دیگه هوض مصنوعی به ACI میرسه یعنی Artificial Capable Intelligence هوش مصنوعی قابل(کارآمد).
حراری میگه من هیچ پیش‌بینی در مورد وضعیت تکنیکی هوش مصنوعی در پنج سال دیگه ندارم ولی اگه اینایی که مصطفی کامل میگه درست باشه تاریخ انسان تموم میشه ولی تاریخ تموم نمیشه، دیگر انسان آن موجود دارای کنترل نیست و سرنوشت تاریخ دست موجود هوشمند‌تر دیگر می‌افتد.

یه حرف جالبی در مورد تهدید هوش مصنوعی برای مشاغل می‌زنن جفتشون میگن که این میتونه تهدید باشه اما برای دوران گذار. یعنی دورانی که کلی شغل از بین رفته و کلی شغل جدید به وجود اومده ولی بعدش ما فقط شاهد یک تغییر توزیع جغرافیایی مشاغل هستیم مثلا اون کارگر نساجی توی پاکستان بیکار میشه ولی تقاضا برای مهندس کامپیوتر در کالیفرنیا زیاد میشه. ولی فقط از بین رفتن مشاغل نگران کننده نیست باز توزیع‌ش هم نکته نگران کنننده اینه چون توزیعش یه طوری که کارگر پاکستانی ضربه‌ش رو میخوره از رفاه حاصل از هوش مصنوعی چیزی آیدش نمیشه.
این مساله‌ی بیکاری اینقدر مهمه که میگه هیلتر از سه سال متوالی تورم 25 درصد به حکومت در آلمان رسید.

من حرفای بیست دقیقه اولش رو گفتم تا مشتاق بشید برید بقیه اش رو ببنید...

GPT-4V(ision) system card
چی‌پی‌تی برای بینائی مدل جدیدی داده به اسم GPT-4V که OpenAI به chatGPT اضافه کرده است.
این همون مدلی که باهاش میشه تصویر داد به مدل و در مورد تصویر ازش سوال کرد.
البته دقت کنید این رو با DALE-3 که اونم همین چند روزه به chatGPT اضافه کرده اشتباه نگیرید!
اولی GPT-4V که تصویر میگیره و توضیح میده
دومی DALE-3 که متن میگیره و تصویر براتون می‌کنه
حتما این توئیت در مورد قابلیت‌های عجیب GPT-4V رو ببینید. عجیبه واقعا😬

https://twitter.com/_bryanmarley/status/1710331686125256796

1. عکس غذا داده میگه چطوری درست کنم این رو، براش رسپی میده.
2. یک دیاگرام نتورکی پیچیده داده میگه برام توضیح بده، کامل دسته بندی میکنه و نتیجه گیری میکنه اطلاعات تحلیلی دیاگرام رو.
3. یک اسکچ(طرحواره) از یه سایت کشیده میگه بهم کد HTML, CSS ش رو بده میده.
4. یک دستخط قدیمی و شکسته انگلیسی داده براش OCR کرده.
و ....

احتمالا تا الان این کتاب Understanding Deep Learning معروف به UDL رو توی توئیتر دیده باشین.
این کتاب به نظرم یکی از جایگزین‌های جدی کتاب Deep Learning یان گودفلو(Ian Goodfellow) و یوشوا بنجیو(Yoshua Bengio) باشه از 2016 که این کتاب رو دادن کلی مباحث جدید مطرح شده تو یادگیری عمیق که توی کتاب گود فلو نیست
ولی خیلی از این مباحث رو این کتاب جدید UDL پوشش داده.
هنوزم توی نسخه پیش نویسه و نهایی نشده ولی همین الانش نزدیک 550 صفحه است.
یه نگاه کردم حقیقتا نوت بوک‌های خیلی خفنی داره برای هر مبحث.
مباحث‌ش رو هم توی تصویر ببنید خیلی به روز و عالیه.
اینم لینک پی دی افش.
https://github.com/udlbook/udlbook/releases/download/v1.14/UnderstandingDeepLearning_13_10_23_C.pdf

اعتراض به انتشار مدل Llama مقابل دفتر متا

عده‌ای از افراد معترض به انتشار اپن‌سورس مدل Llama مقابل دفتر متا در سانفرانسیسکو اعتراض خود را اعلام کردند. به عقیده این افراد انتشار چنین‌ مدل‌های قدرتمندی به صورت اپن‌سورس می‌تواند توسط هر کسی برای مقاصد شوم مورد استفاده قرار بگیرد. Llama یکی از بزرگترین مدل‌های زبانی است که توسط متا توسعه داده شده و به صورت اپن‌سورس و رایگان در دسترس عموم قرار گرفته است. انتشار این مدل فرصت‌های زیادی را برای افراد و شرکت‌های کوچک که منابع پردازشی کمتری در اختیار دارند فراهم کرده است. اینکه مدل‌های قدرتمند هوش‌مصنوعی توسط چه کسانی با چه اهدافی مورد استفاده قرار می‌گیرد یکی از چالش‌های ایمنی هوش‌مصنوعی است.

#meta
#llama
#ai_safety

@dumannewsletter

صحبت‌های پراکنده‌ای در مورد مدل‌ زبانی بزرگ بعدی و احتمالا GPT-5 میشه که واقعا جذابه:
Geoffrey Hinton
شرکت‌ها در حال برنامه‌ریزی برای آموزش مدل‌ها با 100 برابر محاسبات بیشتر از بهترین وضعیت فعلی هستند، و این کار را طی 18 ماه آینده انجام خواهند داد. هیچ کس نمی‌داند چقدر قدرتمند خواهند بود. و در واقع هیچ قانونی در مورد اینکه چه کارهایی با این مدل‌ها قادر به انجام خواهند بود، وجود ندارد.


این حرف رو احتمالا از مصطفی سلیمان مدیر InflectionAI گرفته:
“ما قصد داریم مدل‌هایی را آموزش دهیم که در سه سال آینده 1000 برابر بزرگتر از حال حاضر خواهند بود. حتی در Inflection، با توان محاسباتی که داریم، مدل‌ها 100 برابر بزرگتر از مدل‌های مرزی فعلی در 18 ماه آینده خواهند بود.”

و این توئیت
"منابع می‌گویند هزینه آموزش GPT-5 بین 2.0 تا 2.5 میلیارد دلار خواهد بود، 500 هزار H100s برای 90 روز یا پیکربندی دیگر. سال آینده شروع می‌شود."

ㅤ
داستان دعوای بین غول‌ها

آقای اندرو انگ که معرف حضور هستند از سوابق ایشون اینکه
موسس deeplearning.ai،
هم‌بنیان گذار Google Brain
دانشمند ارشد Baidu
استاد یادگیری ماشین سم آلتمن(بنیان‌گذار OpenAI) هستند.
رفته یه مصاحبه کرده گفته که این بحث‌های AI Regualtion کار کمپانی‌های بزرگ AI که نمیخوان با خطر مدل‌های بزرگ Open Source برای خودشون تهدید رقیب درست کنند. این حرف بین پدرخوانده‌ّای بزرگ AI دعوا درست کرده .
از یک طرف AI Regulation یه مخالف قوی داره به اسم یان لیکان که میاد تو تیم اندرو انگ. حالا واسه اینکه بیشتر بفهمید چرا یان لیکان اینطوری فکر میکنه باید ببنید مسئولیت فعلی یان لیکان چیه؟ بله یان لیکان دانشمند ارشد FAIR یعنی تیم open-source هوش مصنوعی فیس بوکه. فیس بوک یک تیم AI دیگه هم داره که اون تحقیقاتش دیگه open-source نیست. اینکه می‌بینید که فیس بوک برخلاف گوگل و مایکروسافت و OpenAI و Google Brain و Deep Mind داره Foundation Modelهاش رو با شفایت بالا اپن سورس می‌کنه تحت تاثیر همین رویکرد لیکانه.
بخاطر همینه که لیکان و اندرو الان با هم تو یه تیم هستند.
حالا خیلی از بحث دور نشیم:)

حالا این حرف‌ و مصاحبه اندرو به کی برخورده؟
به طور غیر مستقیم به 375 نفر:)
به طور مستقیم به دو سه نفر: 1. جفری هینتون 2. یوشوا بنجیو

چرا 375 نفر؟ این‌ها همون آدم‌های برجسته صنعت و آکادمی و سرمایه‌گذارهای بزرگ AI هستند که بعد از اینکه نتایج ChatGPT دنیا رو متحیر کرد سریع به فکر افتادند یک بیانیه دادن تحت عنوان (Statement on AI Risk) یعنی «بیانیه بر خطر هوش مصنوعی» مثه خود هینتون و بنجیو و دمیس هاسابیس(دیپ مایند)، خواهر و برادر آمودی(آنتروپیک)، بیل گیتس و لیست کامل رو از اینجا ببنید.


حالا پدرخوانده اول یعنی جفری هینتون از این مصاحبه اندرو ناراحت شده این توئیت رو زده به طور خلاصه میگه: «بیبن اینکه تو میگی کمپانی‌های بزرگ دارن در ترس از AI مبالغه می‌کنند تا رقیب پیدا نکنند چرنده. چرا؟ چون من خودم دو سه ماه پیش از تیم AI گوگل اومدم بیرون تا راحت‌تر بتونم در مورد ریسک AI صحبت کنم اگر قضیه اینطوری بود که تو میگفتی من و گوگل همسو بودیم باید میموندم حرفام رو همونجا میزدم»

لیکان که شاگرد و رفیقشه اومده میگه: «تو(جفری هینتون) و بنجیو عملا ناخواسته دارید باعث می‌شید تحقیقات هوش مصنوعی بره زیر کلید یه سری بیزینس بزرگ که میخوان داده‌ و تحقیقات عمومی و کد و مدل متن باز رو محدود کنن»


اندرو اومده میگه: «من نمیگم نو(جفری هینتون) توهم توطئه زدید ولی داری زیر خطرش رو بزرگ جلوه میدید (OverHyper). یه سری دانشجوها بخاطر شریک جرم نبودن در انقراض بشر دارن از اینکه بیان سمت AI دارن منصرف می‌شن(!). این ترسی که شماها درست میکنید منجر به قانون گذاری بد میشه. قانون‌هایی مثه لاینسنس گذاشتن برای مدل‌های متن باز که عملا متن باز رو به فنا میده و خلاقیت رو نابود می‌کنه»


هنتون دوباره اومده در جواب گفته: «اندرو و لیکان درست نمیفهمن چرا کمپانی‌های بزرگ طرفدار مقررات‌سازی برای AI هستند. اونا میخوان آسیب پذیری خودشون در برابر کیس‌های حقوقی کاهش بدن و با رعایت یه سری مقررات که قانون تعیین می‌کنه از خودشون در برابر مسئولیت بی‌نهایت سلب مسئولیت کنند»


پ.ن: چیزهایی که داخل گیومه اومده نقل قول مستقیم نیست برداشت عامیانه و ساده‌سازی شده از حرف‌های گوینده است.

دلیل اینکه ما به این موضوع می‌پردازیم اینه که مسائل اصلی امروز AI فقط LLM و Foundation Modelها و ... نیستند اینطور مسائل فنی و علمی ما رو نباید از مسائل واقعی‌تر و جد‌ی‌تر AI غافل کنه.
مسائلی مثه AI safety , AI Regulation , جنگ بین آمریکا و چین در صادرات GPU و امثالهم مسائلی به همان اندازه مهم هستند.
به این گفتگو‌ها و دعواها نباید به چشم دعواهای خال‌زنکی نگاه کرد. این‌ حرف‌ها هست که تاریخ AI رو می‌سازه.

استاد اشمیت هوبر(با LSTM شناخته میشه) که از دشمنان خونین پدر خوانده جفری هینتون هستند(برای اینکه بیشتر مطلع بشید از دعواشون برید انتقادش به جایزه هوندا رو بخونید)
اینجا هم طبق انتظار موضعی مخالف هینتون گرفته:) و حرف آنرو انگ رو میزنه
《هیاهوی احمقانه مقررات‌گذاری هوش مصنوعی》
خلاصه میگه:
《مقررات گذاشتن واسه هوش مصنوعی مثه مقررات گذاشتن واسه ریاضیاته. خود هوش مصنوعی نباید براش مقررات گذاشت. مقررات رو باید برای کاربرد وضع کرد کما اینکه همین الان دارن می‌کنند مثه ماشین خودران و حوزه سلامت و ...》

پ.ن: بعدا بیشتر از دعوای این هینتون و هوبر مینویسم.
پ.ن: حقیقتا اشمیت هوبر خیلی آندرریتت هست. خیلی از کارایی که توی دیپ لرنینگ در دهه گذشته شده قبلا ایده‌هاش رو در دهه ۸۰ و ۹۰ داده ولی اون موقع نه جی‌پی‌یو بوده نه شبکه‌عصبی به این شکلی امروز هست.

یاران هینتون:) : این قسمت خانم فی‌فی‌لی
این خانم فی‌فی‌لی خیلی ادم مهمیه انصافا، چرا؟ چون کورس Machine Visionش تو اسنفورد خیلی معروف شده:)؟ نه!
استنفورد ۷۰ هیات علمی CS داره همشون واقعا مهم نیستن اینقدر!
ایشون ادم مهمی در این حد که اگر نبود اصلا شاید deep learning خیلی دیرتر موج‌ش رو توی دنیا شروع می‌کرد! چرا؟ چون توجه به دیپ لرنینگ از مسابقات ILSVRC در سال 2012 شروع شد وقتی که مدل AlexNet بعد ZFNET بعد GoogleNet و بعد ResNet طی چهار سال متوالی با معماری دیپ کمترین خطا در تسک دسته‌بندی ImageNet رو داشتن.
خب ImageNet کار کیه؟ بله خانم FeiFeiLi. کی؟ سال 2007 این پروژه رو شروع کرد! یک تیم جمع کرد ۳.۲ میلیون عکس رو لیبل زد با سرویس Amazon Turk.
اگر ImageNet نبود هیچ وقت مسابقات ILSVRC معنی پیدا نمی‌کرد و اگر هیچ وقت اون داده برچسب نمی‌خورد هیچ وقت داده بزرگی برای نشون دادن قابلیت‌های دیپ نداشتیم.

حالا این خانم‌ هم از یاران هینتون در موضوع ریسک هوش مصنوعیه. هینتون کتاب «جهانی‌هایی که من می‌بینم» رو در این موضوع ازش معرفی کرده.

پ.ن: موقعی که فی‌فی‌لی می‌خواسته این دیتاست رو جمع کنه اون موقع توی پرینستون بوده اون موقع میره پیش بنیانگذار پروژه WordNet از اون مشاوره می‌گیره ImageNet رو می‌سازه. وردنت شبکه‌ی معنایی لغات انگلیسی. برای کسی میخواد دقیق انگلیسی رو یاد بگیره به نرم یه دیکشنری مهمه.

رویداد مغفول مانده...
آقا این خیلی عجیبه که فضای وب و کانال‌های داخلی(فارسی) رو می‌بینم در مورد OpenAI Dev Day که تقریبا سه روز پیش برگزار شد تقریبا هیچ مطلب خاصی ندیدم!(به جز اونی که قبلا فوروارد کردم!)
من نوعا هدفم پوشش دادن اخبار نیست این کار رو کانا‌ل‌های دیگه می‌کنن، علاقه‌ام ارائه بحث‌های چالشی و اطلاعات تحلیلیه.
به دید بنده چیزهایی که Sam Altman از دست‌آورد‌های جدید OpenAI در 8 نوامبر 2023 در رویداد OpenAI Dev Day برای ChatGPT ارائه کرده اتفاقیه به مهمیه ارائه iPhone در سال 2007!
شاید بپرسید مگر عرضه و معرفی آیفون چه رویداد خاصی بود؟
اولین آیفون یک نوآوری فوق العاده جنجالی بود که یک تنه استیوجایز پاش ایستاد و اون به ثمر رسوند. اون زمان اولین اسمارت فون، اولین موبایل تاچ اسکرین بود که قابل اتصال به اینترنت داشت و شبکه اجتماعی رو به موبایل می‌آورد. در باب اهمیت‌ش ارائه آیفون همین بس که میگن ارائه آیفون به طور مستقیم و غیر مستقیم در 3.2 درصد در افزایش GDP دنیا در 2013 تاثیر داشته!
(در باب اهمیت ارائه آیفون حرف زیاد میشه زد بطوریکه حتی تغییرات روند نرخ خودکشی تو دنیا تو سال 2007 رو هم با ارائه آیفون توضیح میدن!)

چیزی که از ارائه سم آلتمن در OpenAI Dev Day کاملا قابل مقایسه با اون ارائه معروف استیوجایز برای اولین آیفونه!
و ارائه‌ی سم آلتمن کاملا می‌تونه اون رو تبدیل کنه به یک استیوجابز!
چیزهایی که در این رویداد ارائه شده زیاده و بررسی هر کدومش چندین پست مطلب لازم داره همه رو یک جا به طور خلاصه از اینجا ببینید:

ولی دو تا از شاخص‌ترین و تاثیرگذار‌ترین ویژگی‌هایی که ارائه میده GPT Builder و GPT Store هستند!
توصیف GPT Builder مفصله فقط باید این ویدئو 4 دقیقه‌ای از سم آلتمن رو ببینید به عظمت این فیچر جدید پی‌ ببرید. این قابلبت به شما کمک می‌کنه چطوری چت بات تولید کنید(در سه دقیقه با چت‌چی‌پی‌تی صحبت می‌کنه میگه من چه جور چت باتی میخوام و اون چت بات رو تولید می‌کنه!)
حالا چت‌بات‌هایی که تولید می‌کنید رو می‌تونید بذارید تو GPT Store و از اون درآمد کسب کنید!
ارائه GPT Store چیزی در حد و اندازه‌ی App Store میتونه تاثیر گذار و مهم باشه! وقتی اپ استور در سال 2008 عرضه شد کاملا تاریخ موبایل و صنعت نرم افزار رو دگرگون کرد بعد از چند سال همین استور رو گوگل هم به اسم پلی استور راه انداخت.
از نزدیک 1.8 میلیون اپ توی استور تا حالا 910 میلیارد دلار درآمد کسب شده!
حالا با قابلیت GPT Builder قراره هر کسی بتونه بات مورد نظر خودش رو به راحتی بسازه.
میانگین زمان توسعه هر اپ چیزی حدود 6 ماه زمان می‌بره به طور میانگین! توسعه هر چت بات چیزی کمتر از 20 دقیقه زمان می‌بره!
قبلا کسانی اپ توسعه می‌دادند که Swift و Objective C‌ و Android و Kotlin بلد بودن! در پارادایم جدید هر کسی میتونه اپلیکشن(چت بات) خودش رو بسازه حتی بچه‌ها!


از چیزهای دیگه‌ای که ارائه شد نسخه توربو GPT-4 بود که قبلا نسخه توربو را برای GPT-3.5 داده بود که توضیح‌ش رو اینجا ببنید.(هزینه پاسخ دادن و پردازش ورودی‌ش در مجموع سه برابر ارزان‌تر شده)

یکی دیگه از قابلیت‌های جدیدش TTS است(همون Text-To-Speech)
الان یک مدل milti-modal کامله!
برای Image2Text قبلا GPT-4V رو معرفی کرده بود.
برای ASR یعنی تشخیص گفتار مدل Whisper 3 رو قرار بیاره.
برای Text2Image از DALLE-3 استفاده می‌کنه.
در کنار متن به گفتار جدیدش تمام قابلیت‌های Multi-Modality رو داره!
(البته اصطلاح Multi-model اینجا علمی نیست چون واقعا به معنای علمی Multi-modal نیست.)
ترکیبه همه‌ی این‌ها با مدل ChapGPT‌ و APIهای فوق العاده ش کم کم داره چیزایی که تو فیلم Her می دیدم رو برامون تحقق می‌بخشه:)


یک پارادایم شیفت جدید!