ترکیب مدل قطعه‌بندی جدید متا با stable diffusion می‌تونه یک شاخه جدید از فرصت ها در ویرایش ویدیو را بوجود بیاره

GPT-4o Long Output

نسخه آزمایشی GPT-4o با ۶۴ هزار توکن معادل 300 صفحه کتاب خروجی در هر درخواست ارائه شده است!

https://openai.com/gpt-4o-long-output/

چند نفر دوستانی که به بنده محبت داشتن پیرامون دوره‌ای از بنده پرسیدند
یک آگهی تبلیغات مدرسه تابستانی بینایی ماشین منتشر شده و نام مدرس اخوان در آن درج شده است
من مدرس این دوره نیستم و فعلاً فعالیتی با جایی برای درس بینایی ماشین جز مکتب خونه که درس ضبط شده است ندارم
احتمالاً تشابه نامی هستش

اگر در 15 سال اخیر در حوزه هوش مصنوعی فعال بودین میدونید که عصر هوش مصنوعی نوین که همراه با معرفی سخت افزار و دیتا زیاد بود از اواخر سال 2011 شروع شد.

یه فلش بک بزنیم به گذشته و راهی که معماری شبکه های کانولوشن طی کردن و اینکه چه مسیری رو میشه برای مدل های بزرگ زبانی(Transformer) برای دو سال پیش رو متصور بود، که من دوست دارم به سه دوره تقسیمش کنم:

شروع از AlexNet (2012) بود یه دوره تقریبا سه ساله از افزایش مقیاس مدل‌ها رو داشتیم و مدل VGGNet که در سال 2014 ظاهر شد، یک مدل بسیار قوی از لحاظ عملکرد و مقیاس بود.

سپس، دوره‌ای از کوچک‌سازی مقیاس شروع شد.

در سال 2015، GoogleNet اندازه مدل رواز سطح "گیگابایت" به سطح "مگابایت" کاهش داد، یعنی اندازه اون 100 برابر کوچک‌تر شد؛ اما عملکرد مدل به طور چشمگیری کاهش نیافت، بلکه همچنان عملکرد خوبی داشت.

مدل‌های دیگری نیز این روند رودنبال کردند، از جمله مدل SqueezeNet که در سال 2015 معرفی شد.

در دوره‌ای بعد، تمرکز بر تعادل بود.

تحقیقات بعدی، مانند ResNet (2015) و ResNeXT (2016)، همگی اندازه مدل متوسطی روحفظ کردند.

نکته قابل توجه اینه که کنترل اندازه مدل منجر به کاهش محاسبات نشد، در واقع، همه حاضر بودند منابع محاسباتی بیشتری روبه کار گیرند و به دنبال وضعیت "همان تعداد پارامترها اما کارآمدتر" بودند.

به دنبال آن دوره‌ای شروع شد که شبکه‌های عصبی (CNN) در دستگاه‌های نهایی مثل موبایل شروع به کار کردند.

برای مثال، MobileNet یک کار جالبی بود که گوگل در سال 2017 معرفی کرد.

جالبی این مدل در اینه که منابع بسیار کمی روآشغال می‌کرد، اما عملکرد بسیار عالی داشت

ادامه دارد...

آیا اندازه مدل‌های LLM دوباره راه CNNها رو می‌پیمایند؟

در روزهای ImageNet، ما شاهد رشد سریع اندازه پارامترها بودیم قبل از اینکه به مدل‌های کوچک‌تر و کارآمدتر برگردیم. این قبل از روزهای LLM بود که بسیاری از ما ممکنه فراموش کرده باشیم

آیا این شبیه به روند کنونی نیست که در اون مدل‌های GPT با افزایش پارامترها روبرو هستن و قانون مقیاس‌بندی به طور گسترده‌ای پذیرفته شده، و بعد مدل‌های کوچکتر مانند GPT-4o mini، اپل DCLM-7B، و گوگل Gemma 2B ظاهر می‌شن؟

Andrej Karpathy
میگه که رقابت برای کوچک‌تر کردن مدل‌های LLM در حال شدت گرفتنه و در نهایت به مدل‌های کوچکتر اما با هوشمندی بالا خواهیم رسید. او به هدر رفتن منابع در آموزش مدل‌های بزرگ اشاره داره و بیان میکنه که مدل‌های فعلی برای حفظ حجم زیادی از داده‌های اینترنتی طراحی شدن

شاید یکی از دلایل بزرگ بودن مدل‌های کنونی اینه که ما از اونها می‌خواهیم که اینترنت رو به خاطر بسپارن و به‌طور قابل‌توجهی، اونها این کار رو انجام میدن. مثلاً هش اعداد رو به خاطر میسپارن، یا حقایق کاملاً خاص رو به یاد میارن. (در واقع LLMها در یادآوری خیلی خوب هستن، به‌طور کیفی بهتر از انسان‌ها، گاهی اوقات فقط به یک بار بروزرسانی نیاز دارن تا جزئیات زیادی رو برای مدت طولانی به خاطر بسپارن

در واقع، مثال‌های زیادی وجود داره که مانند GPT-4o mini در مسیر توسعه مدل‌های بزرگ به مدل‌های کوچکتر حرکت می‌کنن

یک مثال دیگه و جدید از این موارد، تقطیر دانش Gemma-2 از مدل 27B به نسخه‌های کوچکتر یا MiniLM هستش.

همونطور که میدونید Knowledge Distillation یا تقطیر دانش در یادگیری ماشینی به فرآیندی اطلاق میشه که طی اون یک مدل بزرگ (که به عنوان "مدل معلم" یا "مدل والد" شناخته می‌شه) برای آموزش یک مدل کوچکتر و ساده‌تر (که به عنوان "مدل دانش‌آموز" یا "مدل فرزند" شناخته میشه) مورد استفاده قرار میگیره. هدف از این فرآیند اینه که عملکرد مدل دانش‌آموز تا حد امکان به مدل معلم نزدیک بشه، اما با نیاز به منابع محاسباتی کمتر و استفاده از حافظه کمتر.

ادامه دارد...

شخصا مدل های متن باز زیر 100 میلیارد پارامتری که در فرآیند تقطیر دانش اطلاعاتشون رو از مدل های با پارامتر های زیاد گرفتند استقبال میکنم و مدل های زیر 9 میلیارد پارامتر رو برای کارهایی در زمینه هایی که نیاز به دانش تخصصی داریم رو میپسندم، به چند دلیل:

با بودجه منطقی در بعد سخت افزار قابل اجرا شدن و حتی هاست شدن رو دارند

برای شرکت هایی که دارای اطلاعات حساس سازمانی هستند و نیاز به مدل های متن باز در موارد تخصصی دارند، بسیار کارا هستند.

در پایان بایستی بگم که ما هنوز در شیوه ذخیره و انجام محاسبات فاصله بسیار زیادی با ارگان های طبیعی مثل مغز انسان داریم. به عنوان مثال مغز یک انسان بالغ به طور متوسط توانایی ذخیره معادل 2.5 میلیون گیگابایت حافظه دیجیتال رو داره و انجام پروسه فکر کردن به هزینه محاسباتی بسیار کمتر و بهینه تر.

در مقاله زیر که لینکش رو میگذارم محقیقن مقاله میگن که مدل‌های زبانی میتونن به ازای هر پارامتر ۲ بیت دانش ذخیره کنن. بنابراین، یک مدل ۷ میلیارد پارامتری میتونه ۱۴ میلیارد بیت دانش ذخیره کنه که بر اساس برآورد، این مقدار بیشتر از مجموع دانش ویکی‌پدیای انگلیسی و کتاب‌های درسی هست. حالا تصور مدلی که پتانسیله ذخیره حجم اطلاعاتی در حد مغز انسان با توجه به تکنولوژی امروزی داشته باشه، غیر ممکنه( هر چند شاید هیچگاه نیازی به ساختن چنین مدلی با این حجم از پارامتر نداشته باشیم)

https://arxiv.org/abs/2404.05405

اعضای اصلی تیم Stable Diffusion تأسیس یک شرکت جدید را اعلام کردن

Robin Rombach
که یکی از نویسندگان اصلی Stable Diffusion هستش و در ماه مارس از Stability AI جدا شد، به همراه چندین همکار سابق خود، به طور رسمی خبر تشکیل یک شرکت جدید رو اعلام کرد

نام این شرکت جدید Black Forest Lab هست و به محض معرفی، یک سری از مدل‌های تولید تصویر رو منتشر کردن که شامل سه مدل هست، از این میان دو مدل به صورت متن باز ارائه شدن.
کیفیت تصاویر تولیدی و قدرت اون در به تصویر کشیدن جزییات با mid journey  قابل رقابت هستش. 


https://blackforestlabs.ai/

دمو(مدل پرو):

https://fal.ai/models/fal-ai/flux-pro?ref=blog.fal.ai

سه:

A teenage boy wearing t-shirt is building an origami of a drone with Iranian flag in a barn. There is a framed photo of "Persepolis" in the background

در حال حاضر، ما در آستانه موج چهارم تکامل انسانی قرار داریم و در حال گذر حیاتی از جامعه اطلاعاتی به جامعه هوشمند هستیم که در اون انسان، فیزیک و اطلاعات با هم ادغام می‌شن

هوش مصنوعی بدون شک یکی از مهم‌ترین موضوعات امروزه، که از طریق مدل‌های بزرگ، برنامه‌های کاربردی عمودی، عامل‌های هوشمند و روش‌های مختلف دیگه، توسعه اقتصاد دیجیتال رو پیش می‌برن

با این حال، زیرساخت‌های پشتیبانی‌کننده هوش مصنوعی، یعنی قدرت محاسباتی و داده‌ها، به عنوان گلوگاهی برای توسعه هوش مصنوعی هستند

چرا تاکنون چنین گلوگاهی وجود داشته است؟ و چگونه می‌توان اون رو برطرف کرد؟

از دیدگاه تقاضا، با رشد سریع هوش مصنوعی مولد به عنوان نمونه‌ای از مدل‌های بزرگ، رقابت شدید و فرا رسیدن عصر استدلال، بدون شک تقاضا برای قدرت محاسباتی به شدت افزایش یافته.

گزارشی که توسط آکادمی مهندسی چین و بیش از ده موسسه دیگر به صورت مشترک در مجله Intelligent Computing، منتشر شده نشان می‌ده که نیاز به قدرت محاسباتی برای هوش مصنوعی هر 100 روز دو برابر می‌شه و با این نرخ، پیش‌بینی می‌شه که در پنج سال آینده، این نیاز بیش از یک میلیون برابر افزایش پیدا کنه

بر اساس برآوردها، حجم داده‌های چین از 23.88 زتابایت در سال 2022 به 76.6 زتابایت در سال 2027 خواهد رسید و در مقایسه با سایر کشورهای جهان، رتبه اول رو به خودش اختصاص خواهد داد

این مقاله مروری جامع بر محاسبات هوشمند ارائه می‌ده که شامل اصول نظری، تلفیق فناوری هوش و محاسبات، کاربردهای مهم، چالش‌ها و جهت‌گیری‌های آینده است

https://arxiv.org/abs/2211.11281

ChatGPT
برای تولید پرامت

Midjourney
برای ایجاد تصاویر مرجع

برای تبدیل کردن تصاویر به ویدیو از مدل های
Runway Gen-3
استفاده شده بطوریکه حرکت دوربین و آنچه در تصویر می‌بینید برای مدل توصیف شده

Elevenlabs
برای افکت‌های صوتی

Suno AI
برای موسیقی

پدیده‌ی Double Descent


در یادگیری ماشین، می‌دانید که اگر مدل خیلی ساده‌تر از حد نیاز باشد، آموزش نمی‌بیند و درنهایت، پس از چند تلاش، کم‌برازش (Underfit) خواهد شد. هرچه مدل را پیچده‌تر کنیم (مثلا تعداد پارامترها را بیش‌تر کنیم)، بیش‌تر آموزش می‌بیند و قابلیت تعمیم (Generalization) آن به‌تر می‌شود. این به‌ترشدن قابلت تعمیم، از روی کاهش مقدار خطا به‌ازای داده‌های ارزیابی مشخص‌ست.

اما این خطا تا کجا کاهش می‌یابد؟ آیا هرچه‌قدر مدل پیچیده‌تر شود، خطای ارزیابی آن کمتر و قابلیت تعمیم آن بیش‌تر می‌شود؟!

در مدل‌های ساده‌تر و سنتی‌تر یادگری ماشین، هرچه مدل پیچیده‌تر می‌شد، نیاز به داده‌ی آموزشی بیش‌تری هم داشت. بنابراین با ثابت بودن سایز مجموعه داده، افزایش پیچیدگی از یک‌جا به بعد باعث بیش‌برازش (Overfitting) مدل و حفظ‌کردن داده‌ها و نویزها می‌شد و قابلیت تعمیم مدل از بین می‌رفت.

اما در دنیای مدل‌های جدید (مثلا مدل‌های زبانی بزرگ) شاهد آن‌یم که مدل هرچه بزرگ‌تر و پیچیده‌تر می‌شود قدرت‌مندتر و قابل تعمیم‌تر می‌شود! این تناقض ناشی از چی‌ست؟!

از پدیده‌ی جالبی به‌نام Double Descent که در شبکه‌های عصبی بسیار بزرگ دیده می‌شود. نوعی Regularization ضمنی که ظاهرا به‌علت رویه‌ی آموزش (مثلا الگوریتم کاهش گرادیان) اتفاق می‌افتد. در این حالت، با پیچیده‌تر شدن مدل (مثلا بیشترشدن تعداد پارامترها)، ابتدا خطای ارزیابی کاهش یافته، پس از آن در جایی با پدیده‌ی بیش‌برازش روبه‌رو شده و خطای ارزیابی افزایش می‌یابد، اما با پیچیده‌ترشدن مدل، از جایی به بعد، برای بار دوم خطای ارزیابی کاهشی شده و عمومیت مدل به‌تر می‌شود!

تصویر زیر را ببینید 👇👇👇

پدیده‌ی Double Descent

مرجع:
https://medium.com/@LightOnIO/beyond-overfitting-and-beyond-silicon-the-double-descent-curve-18b6d9810e1b

ربات انسان‌نمایی که ادعا میشه قدرتمندترین در جهان است، معرفی شد.

این ربات با نام Figure 02 معرفی شده و با حرکات ظریف و طبیعی خود، یک قدم به شبیه‌سازی دقیق حرکات انسان نزدیک‌تر شده

شرکت سازنده این ربات، Figure Robotics نام داره. این شرکت از حمایت شرکت‌های بزرگی مانند OpenAI، انویدیا، مایکروسافت و حتی جف بزوس (بنیانگذار آمازون) برخورداره

در کارخانه‌ی BMW، چه بلند کردن قطعات فولادی باشه چه مونتاژ ابزارآلات، این ربات از پس همه برمیاد

طبق اطلاعات ارائه شده، این ربات دارای 16 درجه آزادی در دست‌های خودش هست که به اون اجازه می‌ده وزنی معادل یک انسان را تحمل کنه

این ربات قادر به انجام انواع کارهای سخت و خسته‌کننده ست علاوه بر این، مدیرعامل شرکت سازنده، ادعا میکنه  که این ربات میتونه تا 20 ساعت به طور مداوم کار کنه

با بهره‌گیری از مدل‌های بزرگ زبانی OpenAI، توانایی این ربات در مکالمه و گفتگو به سطح بسیار بالایی رسیده 

این ربات حالا قادره به صورت روان و مستقیم با انسان‌ها صحبت کنه. این ویژگی به لطف توانایی‌های پیشرفته‌ی پردازش زبان طبیعی هست که از مدل‌های زبانی بزرگ OpenAI نشأت می‌گیره