خانواده‌ مدل‌های زبانی اوپن‌-سورس Llama 3.1 توسط Meta معرفی شد.
بزرگ‌ترین مدل این خانواده، ۴۰۵ میلیارد پارامتر دارد!
مدل به بزرگی ۴۰۵ میلیارد پارامتر اون هم به‌صورت اوپن‌سورس خودش می‌تونه انقلابی به‌حساب بیاد!

بلاگ‌پست معرفی:
https://ai.meta.com/blog/meta-llama-3-1/

مقاله:
https://scontent-fra3-2.xx.fbcdn.net/v/t39.2365-6/452387774_1036916434819166_4173978747091533306_n.pdf?_nc_cat=104&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=t6egZJ8QdI4Q7kNvgHrQvZO&_nc_ht=scontent-fra3-2.xx&oh=00_AYDMw5kHFSclnw1cdHaYK8x2ASMvaKkuC5-MCGlyimnRUg&oe=66A60A8D

دانلود از هاگینگ‌فیس:
https://huggingface.co/collections/meta-llama/llama-31-669fc079a0c406a149a5738f

در این ویدئوی آموزشی، دوست عزیزمون، Ahmad Byagowi دانشمند پژوهشی تیم Meta، قدم‌به‌قدم و به‌ساده‌ترین روش ممکن (استفاده از پلتفرم Ollama) سایزهای مختلف مدل Llama 3.1 (۸ میلیاردی، ۷۰ میلیاردی و ۴۰۵ میلیاردی) را به‌صورت لوکال و روی یک ماشین از نوع Grand Teton با ۲ ترابایت رم اجرا و سرعت و عمل‌کرد آن‌ها را مقایسه می‌کند.

در گفتگوی نسبتا طولانی زیر با Leopold Aschenbrenner کارمند سابق OpenAI نقطه نظرات درخور تاملی در باره هوش مصنوعی عمومی AGI رد و بدل میشه

این محقق سابق OpenAI می گه رسیدن به هوش مصنوعی عمومی (AGI) تا سال 2027 به طرز چشمگیری محتمل هست. نیازی به باور به داستان های علمی تخیلی نیست؛ بلکه فقط کافیه به خطوط مستقیم روی یک نمودار باور داشته باشیم.

موضوع اصلی گفتگو در سانفرانسیسکو این روزها، به ساخت مراکز محاسباتی هوش مصنوعی با ارزش یک تریلیون دلار تغییر یافته. شرکت‌های بزرگ آمریکایی در حال آماده‌سازی برای سرمایه‌گذاری چندین تریلیون دلار در پردازنده‌های گرافیکی، مراکز داده و زیرساخت‌های انرژی هستند. تا پایان دهه، تولید برق آمریکا برای تأمین انرژی صدها میلیون پردازنده گرافیکی، ده‌ها درصد افزایش خواهد یافت. رقابت برای دستیابی به هوش مصنوعی عمومی آغاز شده است و الگوریتم‌ها تا سال‌های 2025 یا 2026 از فارغ‌التحصیلان دانشگاهی پیشی خواهند گرفت و تا پایان دهه به سطح ابر هوشمندی خواهند رسید. این امر میتونه منجر به یک رقابت شدید یا حتی جنگ با چین بشه.(کافیه به دعواها و جنگ تجاری آمریکا و چین بر سر تصاحب تایوان دقت کنیم، تایوان TSMCبزرگترین چیپ سازی دنیا رو در اختیار داره)

با توجه به روندهای موجود در زمینه محاسبات، کارآمدی الگوریتمی و پیشرفت‌های چشمگیر، دستیابی به هوش مصنوعی عمومی تا سال 2027 بسیار محتمل هست.

پیشرفت از GPT-2 در سال 2019 به GPT-4 در سال 2023 مشابه جهش از سطح پیش‌دبستانی به سطح یک دانش‌آموز باهوش دبیرستانی بود. با در نظر گرفتن بهبودهای چندین برابری، می‌توان انتظار داشت که جهشی مشابه از GPT-4 تا سال 2027 رخ بده. این بدان معناست که ما تنها با یک ربات چت بهتر روبرو نخواهیم بود، بلکه با عاملی مواجه خواهیم شد که قابلیت جایگزینی نیروی کار را خواهد داشت.

پیشرفت هوش مصنوعی در سطح انسان متوقف نخواهد شد. صدها میلیون هوش مصنوعی عمومی میتونند تحقیقات در حوزه هوش مصنوعی را خودکار کرده و یک دهه پیشرفت را در یک سال متراکم کنند. این امر منجر به جهش سریع از هوش مصنوعی در سطح انسان به هوش مصنوعی ابر هوشمند خواهد شد.

کنترل مطمئن سیستم‌های هوش مصنوعی که خیلی باهوش‌تر از انسان‌ها هستند، یک مشکل فنی حل نشدست. با وجود اینکه قابل حله، اما ممکنه در طول یک جهش سریع هوش، بدون داشتن مهارت بسیار بالا، همه چیز از کنترل خارج بشه.

https://m.youtube.com/watch?v=zdbVtZIn9IM

نمایی بصری و تحلیل گام‌به‌گام از الگوریتم (LLM) که مدل زبانی ChatGPT شرکت OpenAI بر پایه آن ساخته شده است. این تحلیل، تمامی جزئیات الگوریتم از جمله عملیات جمع و ضرب را به‌صورت عملی و گام‌به‌گام به نمایش می‌گذارد

https://bbycroft.net/llm

🧙 گاندالف: آزمایشگاه شما برای تسلط بر LLM ها 🧙

گاندالف، یک بازی تعاملی است که به شما امکان می‌دهد تا مهارت‌های خود در تعامل با مدل‌های زبانی بزرگ (LLM) را به چالش بکشید و ارتقا دهید. در این بازی، شما باید با هوش مصنوعی گاندالف به رقابت بپردازید و با فریب دادن او، رمز عبور مراحل مختلف را کشف کنید.

اگر شما درحال حاضر وظیفه Prompt Engineering یا توسعه سیستم‌هایی بر پایه LLM دارید، باید به روش‌های ایمن‌سازی و جلوگیری از نفوذ این سیستم‌ها نیز آگاه باشید. گاندالف به شما کمک می‌کند تا با چالش‌های امنیتی در تعامل با LLM ها آشنا شوید و راهکارهایی برای مقابله با آن‌ها بیابید.

«Shahriar Shariati»

〰️〰️〰️〰️〰️
💡 @cvision 💡
〰️〰️〰️〰️〰️

 چت جی پی تی در حال تبدیل شدن به یک پلتفرم جامع است که کاربران می‌توانند انواع مختلف محتوا را در آن مشاهده کنند. این امر، پتانسیل درآمدزایی بسیار بالایی را برای OpenAI ایجاد می‌کند، زیرا می‌تواند با جمع‌آوری داده‌های کاربران، تبلیغات هدفمند را ارائه دهد.

همچنین OpenAI ممکن است در آینده یک سیستم همه کاره را عرضه کند که ChatGPT را در مرکز خود قرار دهد. این سیستم می‌تواند رقیبی جدی برای محصولات شرکت‌های بزرگ فناوری مانند گوگل باشد.

محصول جدید این شرکت این پتانسیل را دارد که یک چالش واقعی برای جستجوی گوگل ایجاد کند، اما SearchGPT فعلی هنوز یک نمونه اولیه ساده با تعداد بسیار کمی کاربر است.

https://community.openai.com/t/searchgpt-more-than-just-a-perplexity-clone/883454

سوال اینجاست که چرا OpenAI به قسمت موتور های جستجو ورود کرده ؟ شاید بهتر باشه آخرین صورتهای مالی گوگل رو بررسی کنیم

در تاریخ ۲۴ جولای، شرکت مادر گوگل یعنی آلفابت گزارش مالی سه ماهه دوم سال ۲۰۲۴ خود را منتشر کرد. بخش اعظم درآمد گوگل از موتور جستجو هست.

در این میان نکته مهم درآمد گوگل کلود به ۱۰.۳۴۷ میلیارد دلار رسیده که نسبت به سال قبل ۳۱.۳ درصد و نسبت به ماه قبل ۸.۱ درصد افزایش یافته است. این نشان دهنده این موضوع هست که تقاضای شرکت‌ها برای خدمات ابری و راه‌حل‌های هوش مصنوعی همچنان در حال رشد است.

در حالی که کشورها در حال توسعه و سرمایه گذاری در زیر ساخت های هوش مصنوعی و انرژی هستند که ایران به دلیل کمبود ۱۴ هزار مگاوات برق، کشور به صورت نیمه تعطیل در میاد.
کل مصرف برق کشور کمتر از ۸۰ هزار مگاوات برق می‌باشد که کمتر از یک درصد از این میزان توسط انرژی خورشیدی تامین میشود، در حالی که کشور ایران به راحتی پتانسیل تامین ۱۰۰ هزار مگاوات برق از محل انرژی خورشیدی را دارد. عدم توسعه همراه با استهلاک بالای زیر ساختها بزرگترین تهدید می‌باشد

پژوهش‌گران گوگل و دانشگاه MIT با استفاده از یک Diffusion Model توانستند ویژگی‌های مادی مربوط به جنس اشیا مثل شفافیت (Trasparency)، زبری (Roughness)، فلزی بودن (Metalic) و سپیدایی (Alpedo) را در تصاویر تغییر دهند.

اطلاعات فنی:
www.prafullsharma.net/alchemist/

مقاله:
arxiv.org/pdf/2312.02970

Andrew Ng: AI won't replace people, but people who use AI will replace people who don't, maybe!

اکثر عموم جامعه درگیر مسایل عام و روزمره ای مثل تورم، مسایل مربوط به سلامتی، دنبال کردن اخبار جنگ، سیاستمداران و ... هستند اما جنگ اصلی در بکارگیری قدرت هوش مصنوعی خلاصه شده

بخوابم بپذیریم یا نه اکثر مردم از دیدگاه گردانندگان قدرت موجوداتی مصرف گرا و هزینه بر به حساب میان

زمانی صاحبان قدرت به عموم جامعه به چشم کارگران برای به پیش بردن برنامه های خودشون نگاه میکردن

اما امروزه با پیشرفت های شگفت انگیز هوش مصنوعی همین کارگران شدن موجودات بی مصرف

امسال آخرین سالیه که انسانها در انتخابات شرکت می‌کنند هر چند به شدت با هوش مصنوعی افکارشون تحت تاثیر قرار میگیره

اما در سال ۲۰۲۸ این انتخابات دیگه یک انتخابات انسانی نخواهد بود

همونطور که بمب‌های اتمی توانایی ایجاد خرابی در دنیای فیزیکی را دارن هوش مصنوعی نیز قادره به طور گسترده‌ای بر روی فضای مجازی تأثیر بگذاره

از جمله اموری مانند حریم خصوصی، امنیت سایبری، ارتباطات اجتماعی، و حتی تصمیم‌گیری‌های مربوط به مسائل اقتصادی و اجتماعی، مقاله هایی که این چند ماه منتشر شدن دود از سر آدم بلند می‌کنه از به رمز گشایی افکار فردی که خوابه تا استفاده از امواج روتر وای فای برای تخمین پوز افراد موجود در یک اتاق

یه عبارت رایجی داریم که میگه اگر به کسی یه ماهی بدهی یک روز سیرش کرده‌ای، اگه به او ماهی‌گیری یاد بدهی یک عمر سیرش کرده‌ای

این جمله الان در مورد هوش مصنوعی میشه اینطور نوشتش

به یه هوش مصنوعی یه ماهی بده اون شیمی، بیولوژی، اقیانوس شناسی و تیوری فرگشت رو به خودش یاد میده و نسل ماهی ها رو منقرض می‌کنه

پیشرفت های شرکت های چینی در بکارگیری هوش مصنوعی مثال زندیست، به عنوان مثال:

https://propakistani.pk/2024/07/09/xiaomis-smart-factory-can-run-24-7-without-people/

مقاله زیر از طریق رویکردی بصری و شفاف، به مفهوم کوانتیزاسیون پرداخته. کوانتیزاسیون به عنوان یک تکنیک در حوزه یادگیری ماشین، به ویژه در مدل‌های بزرگ زبانی، نقش بسزایی در کاهش حجم محاسبات، حافظه و در نتیجه افزایش کارایی مدل‌ها ایفا می‌کند. این مقاله با ارائه مثال‌های گرافیکی، مفاهیم و انواع روشهای کوانتیزاسیون را به صورت ساده و قابل درک بیان کرده است.

فرایند تبدیل اعداد با دقت بالا (مانند اعداد اعشاری) به اعداد با دقت کمتر (مانند اعداد صحیح) را کوانتیزاسیون می‌گویند. این فرایند با کاهش تعداد بیت‌های مورد نیاز برای نمایش هر عدد، منجر به کاهش حجم محاسبات و حافظه مورد نیاز می‌شود.

https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-quantization

به عنوان مثال مدل Llama 405b دارای 405 میلیارد پارامتر می‌باشد که هر پارامتر یک عدد متغیر از نوع float 16 می‌باشد. حجم مدل از طریق این رابطه به شرح ذیل می‌باشد:

405,000,000,000*16bit/1.25 × 10-10(تبدیل به گیگا بایت)=810GB

اگر دقت پارامتر ها را با استفاده از کوانتیزاسیون کاهش دهیم این مقدار در Q4 به مقدار زیر کاهش می یابد.

405,000,000,000*4bit/1.25 × 10-10(تبدیل به گیگا بایت)=202.5GB

مدل‌های بزرگ‌تر (مثلاً Llama 70B, Llama 405B) دارای افزونگی ( redundancy ) بیشتری هستند. این به این معنی است که مدل مسیرهای زیادی برای نمایش و پردازش اطلاعات مشابه دارد. در نتیجه، حتی زمانی که مدل را کوانتیزه می‌کنید، هنوز افزونگی کافی برای حفظ بیشتر قابلیت‌های اصلی آن وجود دارد.

اما در مورد مدل های کوچکتر الزاما کارایی زیادی ندارد.
متا مدل‌های جدید ۳.۱ را روی ۲۵ تریلیون توکن آموزش داده است، بنابراین مدل ۸ میلیارد پارامتری برای هر پارامتر بیشترین آموزش را دریافت کرده است و کوانتیزه کردن آن آسیب بیشتری می‌زند.

مدل‌های بزرگ‌تر با همان مقدار آموزش هوشمندتر هستند، اما یک مدل کوچک که روی توکن‌های بیشتری آموزش دیده است، اجرای ارزان‌تری دارد.

اگر Llama 3 با ۴۰۵ میلیارد پارامتر را ۵۰ برابر بیشتر از مدل ۸ میلیارد پارامتری روی توکن‌ها آموزش می‌دادید، بسیار هوشمندتر می‌شد و از کوانتیزاسیون بیشتر آسیب می‌دید.

شاید پرداختن به فلسفه هوش مصنوعی به جای علم هوش مصنوعی خاج از هدف این کانال باشه، اما نگاه فلسفی داشتن به موضوعات می‌تونه بسیار موثر باشه. علم زبان موجود هست اما فلسفه زبان وجود!

جهش هوش مصنوعی با خلق پردازنده های گرافیکی و حجم دیتای بالا رقم خورد، وگرنه در بعد تکنولوژی معماری مدل ها، ما کم و بیش از همان تیوری های دهه های گذشته استفاده میکنیم. شاید تصور هوشمندی که این روزها ما اون رو در برآیند خروجی احتمال ضرب ماتریس های بزرگ خلاصه میکنیم برای آلن تورینگ هم بسیار دور از ذهن بود. بله، ما جهش هوش مصنوعی از سال ۲۰۱۴ به بعد رو مدیون سخت افزارهای قویتر هستیم.

برای ماهایی که کودکی مان صرف کتاب های علمی تخیلی شد ، کتاب های آیزاک آسیموف تداعی کننده آینده ای بود که انسانها به کمک ربات ها اسرار هستی را کشف خواهند کرد.

در قرن های گذشته اندیشمندان زیادی بودند که polymath یا همه چیز دان بودند بدین معنا که تقریبا به تمامی علوم زمانه خود مسلط بودند اما با پیشرفت های قرن اخیر، انسان امروزی در شاهراه پر هرج مرج اطلاعات و نویزهای حوادث پیرامون خود را گم کرده. تفکر خلاق در سکوت شکل میگیرد، اما سکوت ذهنی و تمرکز در این دوران تبدیل به سوپر پاور شده.

ادامه دارد ...

ابتدا اجازه بدین با یک مثال گوشه ای از بزرگی هستی را به تصویر بکشم.

چند دقیقه ابتدای ویدیو زیر را مشاهده کنید، این سیستم متشکل از چرخ دنده هایست که تداعی کننده اعداد بسیار بزرگ هست و می‌تواند تصویر نسبتا خوبی از بزرگی هستی و اعداد بزرگ را برایمان به نمایش بگذاره

با کمی حساب و کتاب سرانگشتی ذهن آشوبناک می‌تونه به نتایج ذیل برسه:

چرخش دنده اول حدود 3.5 ثانیه طول می کشه

دنده دوم حدود 35 ثانیه طول می کشه

دنده پنجم حدود ده ساعت طول می کشه تا یک بار بچرخه

در عرض یک ماه دنده هفتم تقریبا یک چرخش رو خواهد داشت

هشتم کمی بیش از یک سال طول میکشه

اگر از زمان تولد تا زمان مرگ این دستگاه را تماشا کنم، دنده دهم بیشتر از یه چرخش رو انجام میده

چرخش دنده یازدهم بیش از یک هزاره طول می کشه!

دوازدهمین دنده به طور قابل توجهی طولانی تر از تمام تاریخ ثبت بشر میشه، و دنده چهاردهم تقریباً به اندازه زمان وجود انسان طول می کشه

تقریبا از زمان هبوط انسان چیزی حدود ۷۰۰۰ سال میگذره که ما نسل ۲۸۰ دم هستیم

اگه بازه هر نسل رو ۲۵ سال در نظر بگیریم

در مدت زمانی که دایناسورها منقرض شدن، دنده شونزدهم کمی بیشتر از نیمی از راه رو می چرخیه

وجود زمین به اندازه کافی طولانی بوده که چرخ هجدهم را تا نیمه به دور خودش بچرخونه، و در کل تاریخ جهان شناخته شده دنده بیست و یکم کمی بیش از یک دندانه حرکت می کنه.

ادامه دارد ...

https://youtu.be/ApqfqiFTO4E?si=_kMWXelPnDWl8jX4

این اعداد رو که مرور می‌کنیم به یک نتیجه میتوان رسید که در آشوب هستی، تاریخچه انسان نوین همانند نقطه ای از یک خط بسیار بزرگ است و بخش عظیمی از پیشرفت تکنولوژی نوین انسانی در قرن اخیر رخ داده است.

دیدگاه شخصی من اینه که تاریخچه کامل مهندسی الکترونیک، رادیو، تلوزیون، اینترنت، کامپیوتر و هوش مصنوعی تا به امروز به سختی تلاش های خام اولیه ما برای جستجو چیزهایی که میتوان با پدیده های کشف شده جدید انجام داد، است. ما انسانها به عنوان موجودات بیولوژیکی که به آهستگی تکامل میابیم بهترین بازیگران کشف آنها نیستیم، بلکه ماشین ها هستند به قول داروین پیشرفت بدون برنامه ریزی چیزیست که ما اون رو “تکامل” مینامیم. زندگی به سمت پیشرفت در جریان است، هر موجود زنده در واقع یک تکرار تصادفی بر روی برخی از ارگانهاست و بهترین تکرار برند میشود.

https://alisterta.github.io/2018-12-22/%D8%B3%D8%A7%D9%84-2018-%D8%A8%D8%A7-%DA%A9%D8%AA%D8%A7%D8%A8/

متا نسخه ی دوم SAM(segmentation anything ) رو منتشر کرد که به شکل حیرت انگیزی وظیفه سگمنت کردن ویدئو را انجام می دهد .
post : https://ai.meta.com/blog/segment-anything-2/
link_video

ترکیب مدل قطعه‌بندی جدید متا با stable diffusion می‌تونه یک شاخه جدید از فرصت ها در ویرایش ویدیو را بوجود بیاره