Awesome Diffusion Models

A fantastic and well-organized collection of learning resources on diffusion models such as introductory papers, survey papers, intro videos, long lectures, and blog posts. Papers in vision, natural language, tabular, graph, etc.

https://twitter.com/Jeande_d/status/1578482659105218560?t=SHrOg23xJxvraHToF2zxQw&s=19

🗣 پریسا پیرزاده
🎧 دانلود اپلیکیشن ملوبیت
‌

Mood

چقدر خوب خونده رعنا منصور آهنگ شروین رو:
#مهسا_امینی
#MahsaAmini
#Woman_Life_Freedom

◍Ped◍

@sut_tw

خیلی حال کردم باهاش
Baraye

Rana Mansour

├🎤 By: King Raam
├🎵 Song: My Iran (Feat. Erfan, Gdaal, Rana Mansour, Hamed Nikpay)
├🎺 Genre: Rock

Nice job 👍

جستار جدیدی که الان نوشتم:

https://vrgl.ir/zKD6Y

Mood

State of AI Report 2022

Check it out here:
https://www.stateof.ai/

@ai_python

AtHomeWithAI - Curated Resource List, DeepMind

A list of educational resources curated by people at DeepMind for anyone interested in learning AI, machine learning, and other related topics.

https://twitter.com/Jeande_d/status/1580641346452262913?t=yT6XOCyqOcoS4RHIO3Q4YA&s=19

🗣 Halsey
🎧 Melobit Application
‌

Mood

این مقاله که سه چهار روز پیش منتشر شده، اثبات و بازنمایی‌ای از شبکه‌های عصبی داره و ادعا کرده که اونها رو از یک مدل black box خارج می‌کنه و تغییرپذیر (interpretable) میشن!
چیز جالبی به نظر میرسه

In this manunoscript, we show that any neural network having piece-wise linear activation functions can be represented as a decision tree. The representation is equivalence and not an approximation, thus keeping the accuracy of the neural network exactly as is. This equivalence shows that neural networks are indeed interpretable by design and makes the \textit{black-box} understanding obsolete. We share equivalent trees of some neural networks and show that besides providing interpretability, tree representation can also achieve some computational advantages. The analysis holds both for fully connected and convolutional networks, which may or may not also include skip connections and/or normalizations.

https://arxiv.org/abs/2210.05189

📣Big news!!!
Pandas DataFrame output is now available for all sklearn transformers (in dev)! This will make running pipelines on dataframes soo much easier, and provides better ways to track feature names!

🔥This is one of the biggest improvements in scikit-learn in a long time and we'd love your feedback! Please try out the nightly built and give it a go!

https://scikit-learn.org/dev/auto_examples/miscellaneous/plot_set_output.html#sphx-glr-auto-examples-miscellaneous-plot-set-output-py

Why do I sabotage everything I love?
It's always beautiful until I fuck it up
Why do I sabotage everything I love?
The walls are closing in because I built them up
Why can't I let myself be happy? (Ooh)
Why do I gotta get in my own way? (Ooh)
My shoes are worn out, always runnin'
From the reasons that I really wanna stay

Mood

وضعیت هوش مصنوعی در ۲۰۲۲

گزارش StateofAI چند روز پیش برای ۲۰۲۲ منتشر شد. قبلا در این پست t.me/nlp_stuff/259 گزارش ۲۰۲۱ اش رو بررسی کرده بودیم. امسال هم این گزارش در چهار بخش آکادمیک، صنعت، سیاست و ایمن هوش مصنوعی رو بررسی کردند و در نهایت هم پیش‌بینی از رخداد‌های سال آینده دادند. چند نکته به نظرمون جالب اومدند که گفتیم با شما هم به اشتراک بگذاریم:
- اول از همه این که هوش مصنوعی در ۲۰۲۲ تونست در کاربردهای علمی مختلف از طراحی انزیم بازیافت پلاستک گرفته تا اثبات قضایای علوم پایه با موفقیت به کار گرفته بشه. این نشون دهنده اینه که پتانسیل زیادی در انواع رشته‌های دیگه برای استفاده از هوش مصنوعی وجود داره.
- با گذشت ۵ سال از انتشار مقاله ترنسفورمر، این مدل همچنان آخرین آپدیت معماری هوش مصنوعی محسوب میشه. افزونه‌های بسیاری بر ترنسفورمر در این پنج سال مطرح شده اند و مخصوصا سعی کرده‌اند پیچیدگی مرتبه دو اش نسبت به ورودی رو کاهش بدن اما در نهایت برد همچنان با ترنسفورمر خالیه.
- استفاده از مدل‌های زبانی در زمینه های دیگه مثل حل مسائل ریاضی یا دسترسی دادن مدل‌های زبانی به استفاده از اینترنت (t.me/nlp_stuff/260) یا حتی کمک به ربات‌ها، همچنان مورد توجه جامعه هوش مصنوعی هست.
- قطعا امسال سال مدل‌های diffusion بود. سال گذشته این موقع این مدل‌ها تونسته بودند GANها رو تنها در چند بنچمارک شکست بدن. اما در کمتر از یک سال اکنون هایپ‌ترین مساله حوزه هوش مصنوعی هستند و تو کاربر‌دهای مختلف نظیر تولید تصویر و فیلم و صوت و حتی مولکول ازشون استفاده میشه. مخصوصا در زمینه تولید تصویر، امسال مدل‌های زیادی در این باره مثل Dall-E2 و Imagen و Glide منتشر شدند و امسال سال باز شدن قفل مساله تولید تصویر بود. این رشد منجر به تولد آزمایشگاه‌های جدید تخصصی برای این مساله نظیر Midjouney و StableDiffusion شد(t.me/nlp_stuff/300). رقابت بر سر مدل‌های تولیدکننده فیلم هم ظاهرا تازه شروع شده.
- ترنسفورمر‌ها هم در یادگیری تقویتی و هم در حوزه‌های مدل‌های مولتی مودال (مثل مدل گاتو) به کار گرفته شدند. به نظر این روند به این سمت میره که در نهایت یک مدل ترنسفورمری بزرگ برای انجام هر کاری رو در آینده خواهیم دید.
- تسک NeRF از نوزده مقاله در سال ۲۰۱۹ به بالای هزار مقاله در سال ۲۰۲۲ رسیده (t.me/nlp_stuff/225) که در نوع خودش جالب محسوب میشه.
- اکثر مقاله‌های چینی بر روی حوزه‌های نظارتی و مراقبتی مثل تشخیص شی و چهره و مسیریابی اشیا متمرکز شده ‌اند. در حالی که تمرکز جامعه هوش مصنوعی آمریکا بر روی مسائل متنی و صوتی هست. همچنین به صورت کلی تعداد مقالات آمریکایی‌ها بیشتره ولی سرعت رشد تعداد مقالات چینی‌ها بالاست. البته اگر مقالات چینی زبان رو هم به این مقایسه اضافه کنیم چینی ها حدود ۵ برابر آمریکایی‌ها مقاله دارند :)
- همچنان مونوپلی عرصه GPU دست Nvidia است. به طوری که میزان سود سالانه nvidia بیشتر از میزان ارزش‌گذاری سه استارتاپ بزرگ در این زمینه است.
- امسال بسیاری از افراد هسته‌های فنی شرکت‌های بزرگ نظیر گوگل و متا و اوپن‌ای‌آی این شرکت‌ها رو ترک کردن و به سراغ استارتاپ‌های خودشون در زمینه هوش رفتند. برای مثال آقای Vaswani نویسنده مقاله ترنسفورمر که به adept پیوسته (اینجا یک محصول این شرکت رو معرفی کرده بودیم t.me/nlp_stuff/303)
- هوش مصنوعی هم از مشکلات اقتصادی امسال دنیا بی آسیب نموند و میزان سرمایه‌گذاری در استارتاپ‌های هوش مصنوعی نسبت به سال پیش ۳۶ درصد کاهش رو تجربه کرد. میزان این رقم کاهش برای همه استارتاپ‌ها ۲۴ درصد بوده.
- آمریکا همچنان بیشترین استارتاپ‌های هوش مصنوعی یونیکورن رو داره (استارتاپ‌هایی با بیش از یک میلیارد دلار ارزش) این رقم برای امریکا و چین و انگلیس به ترتیب ۲۹۲ و ۶۹ و ۲۴ هست. نکته جالب توجه قرار گیری اسرائیلی‌ها در رده چهارم لیست با ۱۴ یونیکورن و ۵۳ میلیارد دلار ارزشه در حالی که جمعیتش به ده میلیون هم نمیرسه. wordtune یکی از نمونه استارتاپ‌های مشهور اسراییلی هست.
- در حوزه آموزش مدل‌های بزرگ، آکادمی در رقابت با صنعت رقابت رو وا داده و نرخ مشارکت آکادمی از شصت درصد در سال ۲۰۱۰ به حدود صفر درصد در اکنون رسیده! و به صورت کلی پژوهش از انحصار آکادمی دراومده و یک جوری حالت غیرمتمرکز پیدا کرده.
- شرکت‌های حوزه دفاعی در حال به کار بستن هوش مصنوعی در محصولات و تجهیزات خودشون هستند. این علاقه یک‌طرفه نیست و شرکت های بزرگی نظیر آمازون و مایکروسافت و گوگل هم در تلاش برای عادی سازی استفاده از هوش مصنوعی در صنایع دفاعی هستند.
در نهایت هم چند تا پیش‌بینی برای سال آینده داشتند که جالب‌ترین‌هاشون یک مدل ۱۰ میلیارد پارامتر مولتی‌مودال-یادگیری تقویتی از دیپ‌مایند و ظهور ابزار‌های مولد صوتی است.
این گزارش خوب رو از دست ندید.

لینک گزارش:
Stateof.ai

#read
@nlp_stuff