صحبت های چند ماه پیش Andrew Ng در مورد  تحولات آینده و توسعه هوش مصنوعی با امکانات ارایه شده در مدل جدید openai O1 کاملا همخوانی داره.

به طور خلاصه در ویدیو میگه:

مدل های بزرگ زبانی کنونی، معمولا با وارد کردن یه پرسش یا درخواست، پاسخی رو ارائه میدن. اما در مدل‌های جدیدتر، فرآیند پاسخ‌دهی به صورت تکراری و بازخوردی طراحی شده، به این صورت که سیستم هوش مصنوعی می‌توانه به صورت مداوم به اصلاح و بهبود پاسخ بپردازه. این روند به نام agentic workflows شناخته می‌شه.

ایشون بیان می‌کنه که با استفاده از این مدل‌های تعاملی، نتایج بهتری حاصل میشه و مثالی از برنامه‌نویسی ارائه می‌دهه که در اون سیستم‌های هوش مصنوعی جدید با بازبینی و اصلاح کدهای خود، عملکردی بهتر از سیستم‌های پیشرفته‌تر دارن.

 همچنین میگه که استفاده از ابزارهایی مانند reflection و multi-agent collaboration  به‌زودی در توسعه برنامه‌های هوش مصنوعی نقش مهمی ایفا خواهند کرد.

در آخر هم پیش‌بینی می‌کنه که این نوع سیستم‌ها به پیشرفت‌های بزرگی در عملکرد و قابلیت‌های هوش مصنوعی منجر خواهد شد و استفاده از اونها در کارهای پیچیده‌ای مثل تحقیق و توسعه بسیار کارآمد خواهد بود.

https://youtu.be/sal78ACtGTc?feature=shared


یک نمونه دیگه:

مقاله google deepmind هست که در ماه آگوست منتشر شد. این مقاله به بررسی این موضوع میپردازه که اگه به یه مدل زبانی بزرگ (LLM) زمان بیشتری برای استنتاج داده شه تا به پاسخ برسه، این مدل میتونه به عملکردی برسه که با مدلی 14 برابر بزرگ‌تر از اون برابره:

https://arxiv.org/abs/2408.03314

این یه نمونه آزمایشگاهی جالب متن باز استفاده از Llama-3.1 و Groq برای ایجاد زنجیره‌ استدلال مشابه o1 هست.

این روش به مدل اجازه می‌ده تا فکر کنه و مسائل رو با بکارگیری مدل های بزرگتر پیشرو به صورت منطقی حل کنه. برخلاف o1، اینجا همه توکن‌های استدلال نمایش داده می‌شن.

https://github.com/bklieger-groq/g1

چطور زنجیره‌ی تفکر(chain of thoughtیا COT) ترانسفورمرها رو برای حل مشکلات ذاتی سریالی توانمند می‌کنه

لینک مقاله:
https://arxiv.org/abs/2402.12875

پادکست تولید شده توسط notebooklm

انویدیا با تمرکز بر مدل‌های پایه برای ربات‌های انسان‌نما، قصد داره ربات‌های هوشمندی رو وارد زندگی روزمره کنه که ممکنه در دهه آینده نحوه زندگی و کار ما رو به طور اساسی تغییر بده.

در این ویدئو جیم فن (یکی از محققین ارشد انویدیا) به چندین موضوع مهم مرتبط با آینده رباتیک، هوش مصنوعی و آزمایشگاه هوش تجسمی انویدیا میپردازه که به صورت خلاصه نکات کلیدی رو به صورت خلاصه در ادامه میارم:

به نقل از جنسن هوانگ، مدیر عامل انویدیا، میگه که

هر چیزی که حرکت می‌کنه، در نهایت خودکار خواهد شد.

این پیش‌بینی بر چشم‌انداز آینده ای تاکید داره که ربات‌ها، به‌ویژه ربات‌های هوشمند و انسان‌نما، در ده سال آینده به اندازه گوشی‌های هوشمند فراگیر میشن. تلاش‌های کنونی انویدیا نیز در راستای همین رونده و بر روی ایجاد یه پلتفرم محاسباتی برای ربات‌های انسان‌نما تمرکز داره

انویدیا پروژه ای به نام Groot رو راه اندازی کرده وهدف این پروژه توسعه مدل‌های هوش مصنوعی پایه برای ربات‌های انسان‌نما ست. این پروژه حول محور ایجاد "AI brain" برای ربات‌های انسان‌نما می‌چرخه و از نقاط قوت انویدیا در زمینه شبیه‌سازی و قدرت محاسباتی بهره می‌بره.

 میگه یکی از چالش‌های عمده در توسعه هوش مصنوعی برای رباتیک، در دسترس نبودن داده‌های باکیفته. داده‌های موجود در مقیاس اینترنت، داده‌های واقعی ربات‌ها و داده‌های شبیه‌سازی شده هر یک دارای نقاط قوت و ضعف خاص خود هستن و کلید پیشرفت در رباتیک، استفاده موثر از این منابع داده به صورت ترکیبیه. نبود داده‌های کنترل حرکتی از منابع آنلاین پیشرفت رو محدود می‌کنه، بنابراین شبیه‌سازی به عنوان ابزاری حیاتی، برای تولید داده‌های لازم برای آموزش ربات‌ها به کار میره

همچنین در مورد شباهت‌های بین انقلاب GPT-3 در پردازش زبان طبیعی و پتانسیل یک جهش مشابه در رباتیک صحبت میکنه و معتقده که لحظه مشابه GPT-3 زمانی  برای رباتیک زمانی اتفاق میفته که مدل‌های هوش مصنوعی بتونن بطور عمومی مهارت های حرکتی (motor actions) مثل باز کردن در رو در سناریوهای واقعی و مختلف رو انجام بدن. این امر نیازمند پیشرفت‌های قابل توجهی در هر دو سیستم سطح پایین (کنترل حرکتی) و سیستم سطح بالا (استدلال و برنامه‌ریزی) هوش مصنوعه

یکی از دلایلی که انویدیا روی ربات‌های انسان ‌نما تمرکز داره اینه که این ربات‌ها به بهترین شکل میتونن با دنیای موجود که برای انسان‌ها طراحی شده، تعامل کنن. از نظر اقتصادی، ربات‌های انسان نما میتونن صنایع مختلفی مانند بهداشت و درمان، مراقبت از سالمندان و تولید رو با انجام کارهایی مثل پخت و پز، تمیز کردن یا کار در کارخانه متحول کنن. با این حال، علاوه بر پیشرفت‌های فنی، عواملی مثل هزینه، ایمنی و مقررات تعیین کننده این اصله که این ربات‌ها با چه سرعتی به جریان اصلی زندگی وارد خواهند شد.

https://youtu.be/yMGGpMyW_vw?feature=shared

Advancing the Accuracy-Efficiency Frontier with Llama-3.1-Nemotron-51B

NVIDIA just dropped Nemotron 51B - 220% faster and can handle 400% more workload than Llama 3.1 70B

https://developer.nvidia.com/blog/advancing-the-accuracy-efficiency-frontier-with-llama-3-1-nemotron-51b/

#GenerativeAI #LLMs

آموزش گیتار با chatgpt

جدیدترین مدل مولتی مدالی که توسط allen institute امروز منتشر شد

https://molmo.allenai.org/blog

متا از هوش مصنوعی متا با قابلیت تولید صدا رونمایی کرد - رقیب مدل صوتی پیشرفته OpenAI

آموزش انتقال سبک جالب در comfyUI

https://learn.thinkdiffusion.com/transform-videos-with-ai-dancing-noodles-step-by-step-tutorial/#what-is-style-transfer-in-ai

رقیب جدید Sora از متا
Meta Movie Gen

https://ai.meta.com/research/movie-gen/

OpenAI

یک رابط کاربری جدید به نام "Canvas" معرفی کرده که به کاربران اجازه میده در کنار چت معمولی، روی پروژه‌های نوشتن و کدنویسی کار کنن. این ابزار یه فضای کاری جداگانه در یک پنجره جدید باز میکنه که کاربران میتونن در اون متن یا کد تولید کنن و بخش‌هایی رو برای ویرایش مشخص کنن

Canvas

از روز گذشته برای کاربران ChatGPT Plus و Teams در دسترسهو هفته آینده برای کاربران Enterprise و Edu ارائه میشه.

این قابلیت شبیه به ابزارهای دیگری مانند "Artifacts" از Anthropic و "Cursor" هست که برای کمک به کدنویسی طراحی شدن. با استفاده از Canvas، کاربران میتونن خروجی مدل هوش مصنوعی رو بدون نیاز به نوشتن مجدد تمام متن یا کد ویرایش کنن

Canvas

همچنین ابزارهای جدیدی برای کدنویسی ارائه میده، مانند اضافه کردن مستندات به کد یا بررسی و پیشنهاد اصلاحات برای رفع باگ‌ها. این ابزار به زودی پس از پایان نسخه بتا برای کاربران رایگان نیز عرضه خواهد شد.

یه سری مقالات از یه آزمایشگاه هوش مصنوعی تو دانشگاه بریتیش کلمبیا اخیراً منتشر شدن که در نگاه اول خیلی خاص به نظر نمیان، ولی جالبیشون اینه که این تحقیقات توسط یه "دانشمند هوش مصنوعی" ساخته شدن. این پروژه با همکاری دانشگاه آکسفورد و استارتاپ Sakana AI ایجاد شده و هدفش اینه که به هوش مصنوعی یاد بده خودش ایده‌های جدید خلق و کشف کنه.

الان بیشتر مدل های هوشمند نیاز به داده‌های انسانی دارن، اما اگه بتونن خودشون ‌بتنهایی ایده‌های جالب کشف کنن، ممکنه خیلی فراتر از توانایی‌های فعلی پیش برن. مثلاً تو این پروژه، یه "دانشمند هوش مصنوعی" خودکار آزمایش‌ها و کدها رو می‌نویسه و اجرا می‌کنه.

https://arxiv.org/abs/2408.06292

نتایجش فعلاً خارق‌العاده نیست، ولی محققینی مثل Jeff Clune باور دارن با افزایش قدرت محاسباتی، این سیستم‌ها خیلی قوی‌تر می‌شن.

البته یه سری محقق دیگه مثل Tom Hope میگن این سیستم‌ها هنوز خیلی قابل اعتماد نیستن و نمی‌شه بهشون برای کشف‌های بزرگ علمی تکیه کرد.

با این حال، این یادگیری آزاد ممکنه کلید ساخت هوش مصنوعی قدرتمندتر باشه.Clune  اخیراً پروژه‌ای رو معرفی کرده که در اون هوش مصنوعی نمایندگانی طراحی کرده که تو بعضی وظایف مثل ریاضیات و درک مطلب از انسان‌ها بهتر عمل می‌کنن. البته Clune هشدار داده که این تکنولوژی ممکنه خطرناک باشه و باید با احتیاط پیش رفت.

https://arxiv.org/abs/2408.08435

Facepoke: Realtime head transformation

Code : https://github.com/jbilcke-hf/FacePoke?tab=readme-ov-file#introduction

Demo: https://huggingface.co/spaces/jbilcke-hf/FacePoke

💵ثروت مدیرعامل انویدیا از کل ارزش اینتل بیشتر شد

🔹پیشروی جنون‌آمیز هوش مصنوعی باعث شده سهام #انویدیا، به‌عنوان یکی از بزرگ‌ترین تولیدکنندگان پردازشگرهای گرافیکی هوش مصنوعی، افزایش یابد. جهش سهام انویدیا برای جنسن هوانگ که بیش از ۷۵ میلیون سهم شرکت را در اختیار دارد، نتیجه‌ای عالی داشت. براساس شاخص میلیاردرهای بلومبرگ، دارایی جنسن هوانگ اکنون ۱۰۹.۲ میلیارد دلار است و در رتبه سیزدهم ثروتمندان جهان قرار دارد. از سویی، ارزش بازار اینتل نیز ۹۶.۵۹ میلیارد دلار است.

🔹اگرچه جنسن هوانگ می‌تواند #اینتل را بخرد و حدود ۱۳ میلیارد دلار نیز از ثروتش باقی می‌ماند، چنین کاری بسیار بعید است.

———————-
🙏منبع: @Digiato

ترنسفورمرها معمولا توجه زیادی به اطلاعات نامربوط دارن که این موضوع میتونه دقتشون رو در کارهای مختلف یادگیری ماشین مثل خلاصه‌سازی متن یا پاسخ دادن به سوالات کم کنه.

برای حل این مشکل، محققین مایکروسافت Diff Transformer  رو در این مقاله ارایه دادن. در واقع در این مقاله روش جدیدی به نام مکانیزم توجه تفاضلی ارایه شده. به‌جای اینکه نمرات توجه رو بطور یکپارچه محاسبه کنه، از تفریق دو نگاشت توجه استفاده می‌کنه.

این کار باعث میشه نویز و اطلاعات نامربوط حذف بشه و الگوهای توجه پراکنده(Sparce attention) تشویق بشن.
نتایج آزمایش‌ها نشون میده که  Diff Transformer نه تنها توی آزمایش‌ها عملکرد بهتری داره، بلکه در کاربردهای واقعی هم مزایای زیادی داره.

مثلاً در متون طولانی، بازیابی اطلاعات کلیدی و کاهش توهمات(hallucinations) در مدل‌های زبانی، پیشرفت‌های قابل‌توجهی داشته.

https://arxiv.org/abs/2410.05258

جایزه نوبل فیزیک به دو دانشمند کامپیوتر جفری هینتون و هاپفیلد به پاس امکان پذیر کردن یادگیری در شبکه های عصبی تعلق گرفت .
دلیل اختصاص نوبل فیزیک استفاده از مفاهیم فیزیک در ماشین بولتزمان و شبکه هاپفیلد است .