I'm David - currently a senior at Stanford studying CS / ML. I'm spending my free time building projects with LLMs and writing about them. Would love to chat and trade ideas. Currently prototyping some tools to make monitoring / productionizing LLM/ML models easier

Yes for sure, here's the link for the group: https://news.1rj.ru/str/+NkSoONxchxUwNjYx

این گروه برای این فارغ التحصیل standford که روی LLM های کار می کنه لینکش رو گذاشته بود توئیتر
تقریبا یک گروه تلگرامی دیپ لرنینگ بین المللیه میشه احتمالا.
البته هنوز فعالیت خاصی نکرده

خالق backpropagation میگه دیگه انتشار عقبرو به درد نمی‌خوره.
این رو خیلی قبل پیش تو یه مصاحبه گفته. همونجا میگه اون موقعی که اختراع‌ش کردم خیلی باهاش حال نکردم می دونستم بهترین ایده برای پیدا کردن local minima نیست.
ولی امسال #NeurIPS22 اومده یه طرح جایگزین بجاش داده و ارائه کرده.
از اهمیت این ایده بخوام بگم به این پست اشاره می‌کنم اونجا لیکان اومده بود گفته بود خفن‌ترین ایده هوش مصنوعی تا الان چی بوده کلی ادم خفن نظر داده بودند یه تعداد زیادی گفتند Gradient Descent. ایده گرادیان کاهش برای حل مساله خیلی وقت قبل از backpropagation مطرح بوده ولی چون روش محاسباتی کارآمدی براش نبوده شبکه عصبی عرض اندام نمی‌کرده. بخاطر همین backpropagation ستون فقرات یادگیری عمیقه. اینکه میگن ستون فقرات یعنی اگه نبود ما هیچ شبکه عصبی‌ای چه عمیق و چه غیر عمیق رو نمی‌تونستیم آموزش بدیم.

بطور خلاصه ایده‌ش اینه که یک مسیر رفت و یک مسیر برگشت propagation رو با دو مسیر رفت(رو به جلو) عوض کنه. پایه‌‌ی ایده‌ش هم اینه که میگه اون موقع فکر می‌کردیم مغز داره با backpropagation یاد می‌گیره و الان فک می‌کنم اینطوری نیست.
این فقط یه تئوری نبوده بلکه رفته مقاله Feed-Forward رو روی MNIST پیاده‌سازی کرده و نتیجه قابل توجه در سطح backpropagation گرفته.
واسه اینکه بیشتر بخونید ازش اینم بد نیست.

https://twitter.com/LongFormMath/status/1608552174312882177?s=20&t=32v_26cJcTvcx6Gv_HsaMQ
هر موقع روحیه‌تون واسه کار علمی رو از دست دادید این توئیت رو بخونید:))

https://twitter.com/ylecun/status/1605450677806895104?s=20&t=32v_26cJcTvcx6Gv_HsaMQ
هر موقع از اینکه ارشد یا دکتری توی هوش مصنوعی/علوم کامپیوتر ندارید/نمی‌خونید، نا امید شدید این توئیت رو بخونید:))

طرف با لیسانس از دانشگاه نیویورک نویسنده اصلی DALL-E شده.
از لیکان پرسیدن این بنده خدا تئوری‌ش ضعیف نیست؟
گفته برو مقالات‌ش رو بخون ببین ضعف پیدا می‌کنی:)) تو لیسانس ریاضی و علوم کامپیوتر رو دو رشته‌ای کرده:)) اونم توی NYU که تو ریاضی تو آمریکا اوله!

انصافا طرف خیلی خفنه نمیشه تعمیم داد:)

یه چیزی امروز بهش برخوردم گفتم شاید بد نباشه به شما هم بگم.
خیلی احتمالا شنیدید که از گیت‌هاب هر چیزی رو نگیرید نصب کنید، چون ممکنه یکی یه کد malicious زده باشه داخل کدهاش.
من چند روز پیش وقتی می خواستم یه اسکریپتی روی وی‌پی‌اس‌م نصب کنم به عینه به این مساله برخوردم!
https://github.com/scvps/noscriptvps

این ریپو رو ببنید. کلی کد bash داره ولی خیلی عادی به نظر می‌رسه.
اما وقتی نصب کردم دیدم هیچ اتفاق خاصی نیفتاد! (حالا شاید شما نصب کنید و پیگیرش بشید و براتون اون سرویسها رو نصب کنه اما مساله‌ام اینجا نیست!)
رفتم فایل setup.sh رو بخونم ببینم چه خبره دیدم فایل باینریه! یعنی کد shell نیست. حالا شاید بیاید بگید ممکنه از این ابزارهایی استفاده کرده باشه که کد shell رو به باینری تبدیل می‌کنند ولی می‌پرسم چرا باید چنین کاری کنه؟! 🤔 خیلی مشکوکه 🤨!
به طور خاص به این اسکریپت و برنامه نویس‌ش اتهام نمی‌زنم ولی دقت کنید که من این اسکریپت رو با دستور root اجرا کردم! حتی اگر این اسکریپت به طور خاص خرابکارانه نباشه کاملا احتمالش معقوله که یه عده برن یه چنین اسکریپتی بنویسن و یه عده کد اسکریپت رو اجرا کنند و یه دسترسی تپل از وی پی اس‌شون بدن به برنامه‌نویس!
من درخواست reinstall os وی پی اس رو دادم.
ولی این روزا کلی از این اسکریپت‌ها افتاده تو دست و بال کامیونیتی تک ایران واسه دور زدن فیلترینگ با وی‌پی‌اس‌های شخصی. آدم‌های سوء استفاده‌چی هم کلی هست. حواستون باشه نکات امنیتی رو بیشتر رعایت کنید.

ㅤㅤ
در مطلب قبل در مورد قابلیت اجرا شدن مدل‌های اپن سورس Llama 1 , 2 بر روی لپ‌تاپ نوشتم. وقتی در مورد اجرا شدن مدل روی سیستم شخصی مثل لپ تاپ صحبت می‌کنیم باید دقت کنیم منظور آموزشه یا استنتاج! قطعا وقتی در مورد اجرا LLM ها روی لپ‌تاپ که ترند مهم این روزهای دنیا هوش مصنوعی هستند صحبت می‌کنم منظور استنتاج مدله نه آموزش! استنتاج یعنی اینکه به یک مدل آموزش دیده ورودی بدی و خروجی بگیری.
سر همین قضیه توجه به پردازند‌های سری جدید اپل یعنی M2 که سال گذشته عرضه کرد خیلی زیاد شده. مثلا Llama با 65 میلیارد پارامتر بر روی این دو سری پردازنده‌ی اپل اجرا میشه:
- M2 Max (~$2.6k w/ 64 GB RAM) for 5 tokens/s
- M2 Ultra (~$5k w/ 64 GB RAM) for 10 tokens/s

پردازنده‌ی M2 Max با قیمت 2600 دلار با رم 64 گیگ می‌تونه با سرعت 5 تا کلمه در ثانیه و پردازنده‌ی M2 Ultra با قیمت 5000 دلار با رم 64 گیگ با سرعت 10 کلمه در ثانیه جواب بده.
حالا چرا اپل پردازنده‌ش سر این موضوع جذابیت پیدا کرده؟ هزینه‌ی اجرای همین مدل‌ها را با قیمت‌های پردازنده‌های گرافیکی Nvidia مقایسه کنید:

- Professional RTX A6000 (~$4.6k w/ 48 GB RAM) 6 token/s
- RTX 6000 Ada (~$6.8k w/ 48 GB RAM) 12 token/s

پردازنده‌ی گرافیکی RTX A6000 برای خروجی نزدیک به M2 Max حدود 2000 دلار گرونتره و RTX 6000 Ada برای خروجی نزدیک به M2 Ultra حدود 1800 دلار گرون‌تره.

حالا اگر بخواهید مدل 175 میلیاردی chatGPT3.5 رو که 110 گیگ حافظه لازم داره روی لپ‌تاپ اجرا کنید از سری پردازنده‌های Nvidia باید برید A100 که 2*80 گیگ حافظه داره رو بگیرید که 20000 دلار قیمتشه ولی می تونید M2 Ultra با 192 گیگ رمش رو بخرید که 6600 دلاره.

پ.ن:
حالا توکن(کلمه) بر ثانیه چیه؟
دید وقتی chatGPT جواب میده در خروجی‌ش جواب رو یک دفعه‌ای نمیده بلکه چند کلمه چند کلمه خروجی میده این بخاطر مدل خروجی دادن ترنسفورمرها است. حتی یه نکته بامزه اینکه اگر در براتون پیش اومده باشه اگر جوابی بده که شامل محتوای NSFW هست یک دفعه وسط نوشتن کل جوابش رو پاک می‌کنه و عذرخواهی می‌کنه که نمی‌تونه جواب بده. این بخاطره اینکه یک بار جواب رو بافر نمی‌کنه بعد برای محتوای مناسب پردازش‌ش کنه بلکه جوابی که از مدل رو میگیره به کلاینت می‌فرسته بصورت استریم خروجی رو از لحاظ NSFW بودن بررسی میکنه.

منبع توئیت:
https://twitter.com/convequity/status/1668879950940901376

دیگه دکه‌های چای‌ فروشی هند هم میدونن GPT چیه!
اگر فکر می‌کنید GPT مخفف Generative Pre-trained Transformer است سخت اشتباه می‌کنید، مخفف عبارت Genuinely Pure Tea است:)) (چای واقعا خالص)

https://twitter.com/ggerganov/status/1697262700165013689?s=20

شاهد از غیب رسید.

روی M2 Ultra یعنی مک بوک شخصی! اومده Llama Code رو با 34 میلیارد پارامتر ران کرده! با سرعت 20 تومن بر ثانیه. کد الگوریتم دایکسترا رو تو ۱۰ ثانیه داد:)

خالق UML پیشنهاد داده باید یک استاندارد مصورسازی برای هوش مصنوعی به خصوص LLMها ایجاد بشه یارو اومده بهش گفته تو اصلا نمیدونی UML چیه:))))
طرف میگه بچه! من خودم خالق UML ام
😂😂😂😂😂😂

این لیست صد نفر تاثیرگذارترین شخصیت هوش مصنوعی 2023 مجله تایمز چند روزی هست منتشر شده
وقت نداشتم بررسی اش کنم
امروز بررسی کردم واقعا جالبه یه نگاه بندازین بهش
آدمهای جالبی توشن
مثه Grimes زن ایلان ماسک
مثه Eliezer Yudkowsky که دشمن توسعه A.I. میگه باید دیتاسنترها رو تا بشر رو نابود نکردن بمباران کنیم:)
و آدم‌هایی نیستن که آدم تعجب می‌کنه
اندره کارپتی
یوگن اشمیت هوبر نوسینده‌ی مقاله‌ی LSTM

حتما وقت کردید یه نگاه بندازین
خیلی چیز واسه یاد گرفتن داره