🟣کدنویسی بصورت اتوماتیک و real-time توسط بینایی ماشین

این مدل هوش مصنوعی توسط گروه teleporthq توسعه یافته است و قادر است با استفاده از بینایی ماشین کدهای مربوط به اشکالی که توسط دست طراحی می‌شوند را بصورت real-time تولید کند.
لینک
@silicon_brain

🟣نکته ای در مورد معماری ترنسفورمر

مدل‌های مبتنی بر #Transformer قادر هستند که متن های ورودی را بصورت موازی پردازش کنند، و مثل مدل‌های #RNN مجبور نیستند که حتماً متن را به صورت متوالی پردازش کنند.
🔹هر بار که مدل به کلمه‌ای در جمله نگاه می‌کند، آن را پردازش می‌کند. اما این حالت هم میتواند مشکلات خاص خود را داشته باشد به این صورت که اگر کل متن را به صورت موازی پردازش کنید، چگونه ترتیب قرارگیری جملات در متن اصلی را تشخیص می‌دهید؟
❓ترتیب قرارگیری کلمات در جمله مسئله مهمی است. اگر ترتیب قرارگیری کلمات را ندانیم، مدلی از کلمات خواهیم داشت که نمی‌تواند معنا و بافت را از جمله استخراج کند. (پاسخ به زودی... فکر کنید)
@silicon_brain

🟣ثبت موقعیت ورودی قبل از ورود به مدل در ترنسفورمر

راه حل سوال مطرح شده استفاده از ثبت موقعیت ورودی (Positional Encoding) است. برای رفع مشکل مربوط به ترتیب قرارگیری کلمات، معماری Transformer موقعیت کلمات را مستقیماً کدگذاری می‌کند.

🔹موقعیت‌های کدگذاری شده در لایه‌های توجه مدل نقش نشانه را ایفا می‌کنند و آن‌ها را قادر می‌سازند جای کلمه یا توالی متنی که به آن نگاه می‌کنند را تشخیص دهد. این ترفند کوچک به این معناست که مدل‌ها می‌توانند توالی‌های متنی با حجم‌ و طول متفاوت را به صورت موازی پردازش کنند و در عین حال ترتیب قرارگیری آن‌ها را در جمله تشخیص دهند.
@silicon_brain

🟣کتابی برای دوستانی که بدنبال منبع فارسی برای #یادگیری_عمیق هستند

کتاب یادگیری عمیق: اصول، مفاهیم و رویکردها
تالیف و گردآوری: میلاد وزان

فهرست فصل‌ها:
✅ مقدمه ای بر یادگیری ماشین و یادگیری عمیق
✅ یادگیری بانظارت عمیق (شبکه های عصبی پیشخور، بازگشتی و همگشتی)
✅ یادگیری بازنمایی بدون نظارت عمیق (خودرمزنگارها و مدلهای مولد)
✅ یادگیری تقویتی عمیق
✅ یادگیری انتقالی عمیق
✅ یادگیری عمیق هندسی (یادگیری بازنمایی گراف)
#کتاب
@silicon_brain

رمزهارو خودکار بدون داشتن کلید، رمزگشایی کن!
هوش مصنوعی و پردازش زبان طبیعی اینبار در زمینه هک و امنیت وارد شده است. می‌خواهید بدانید X چطور رمز شده است؟ Ciphey اکثر مسائل را در چند ثانیه برایتان حل میکند.

@silicon_brain

در این ساختار دلیل بوجود آمدن هر بخش بالایی، وجود داشتن بخش پایینی است. حتی این هرم را زیر RNN و LSTM هم میتوان ادامه داد.
#bert #transformers #attention #rnn #lstm
@silicon_brain

استفاده گوگل از یادگیری ماشین جهت کاهش مصرف انرژی در Google Cloud

گوگل با استفاده از سیستم های مبتنی بر یادگیری ماشین 40 درصد در مصرف انرژی که برای ذخیره و نگه داری داده های دیتاسنتر استفاده میشود، صرفه جویی میکند.
همچنین استفاده از این سیستم باعث بالا رفتن 15 درصدی عملکرد کلی سیستم فضای ابری میشود.

#google #cloud
@silicon_brain

تفاوت دقت مدل های از پیش آموزش داده شده با مدل های ساده

استفاده از مدل های از پیش آموزش داده شده (#pretrained_model) علاوه بر اینکه باعث افزایش دقت در عملکرد میشود:
🔹به دیتای خیلی کمتری احتیاج دارد
🔹در زمان خیلی کمتری آموزش میبینند
🔹توان محاسباتی خیلی کمتری لازم دارد
این موضوع در واقع به یادگیری انتقالی (#transfer_learning) اشاره دارد.

در حوزه تصویر، #Image_net از مهمترین مدل های از پیش آموزش داده شده است. این مدل با 1.2 میلیون تصویر و 1000 برچسب آموزش دیده شده است.
در حوزه ی متن هم به مدل های زبانی مختلف مانند ELMo، GPT و BERT میتوان اشاره کرد که در کانال بسیار در مورد این مدل های زبانی صحبت شده است.
#BERT #ELMo #GPT
@siliocn_brain

کاربرد های پردازش زبان طبیعی در صفحه اینستاگرام سیلیکون برین :

https://www.instagram.com/p/CS1oYjJjaks/?utm_medium=copy_link

#کتاب یادگیری ماشین کوانتومی با پایتون از Google Research
#Quantum
@silicon_brain

چندتا دمو تفریحی هوش مصنوعی

Lyrics Generator - Our AI writes hit songs.
AI Paintings - Our AI creates art.
This Pizza Does Not Exist - Generated by a computer.
Falling Sand - Play with lava, water, napalm and more.
Photo Blender - Two beautiful photos combined into one.
TV Episode Generator - Game of Thrones, The Simpsons, Friends, and more.
Story Generator - Our AI will tell you a story.
AI Colorized Movies - Watch classic films for free.

ادامه‌اش رو هم از این لینک ببینید
@silicon_brain

زبان برنامه نویسی مورد علاقه دانشجویان علوم کامپیوتر دانشگاه MIT
🟣 زبان برنامه نویسی مورد علاقه شما چیه؟
@silicon_brain

تاثیر نویز موجود در برچسب داده ها روی عملکرد الگوریتم های مختلف یادگیری ماشین

برای درک تاثیر نویز برچسب (Label) روی عملکرد الگوریتم یک آزمایش در این مورد انجام میدهیم.

🔹هر بار ۲۰% از برچسب‌ها داده های آموزشی را به صورت تصادفی انتخاب و نویزدار می‌کنیم (برچسب اشتباه میزنیم). البته نویز فقط به دیتاست آموزشی وارد می‌شود و برای مرحله ی تست مدل، از برچسب‌های اصلی که سالم هستند استفاده می‌کنیم.

🔹همانطور که در تصویر بالا هم مشاهده می‌کنید، عملکرد همه‌ الگوریتم ها بعد از تاثیر نویز افت کرده است؛ ولی میزان افت عملکرد هرکدام از الگوریتم ها با دیگری متفاوت است. برای مثال، درخت تصمیم (DT) آسیب‌پذیری بسیار زیادی در برابر نویز دارد. و الگوریتم گروهی مانند XGB، LGB عملکرد تقریباً مشابهی از خود نشان داده‌اند. از سوی دیگر، RF (جنگل تصادفی) نسبت به نویز مقاوم به نظر می‌رسد.
#decision_tree #random_forest #svm #xgb #lgb #noise
@silicon_brain

افزایش ۸ برابری رزولوشن تصاویر با هوش مصنوعی

🔹محقق‌های گوگل موفق شدن هوش مصنوعی به‌نام SR3 توسعه کنند که توانایی افزایش رزولوشن تصاویر بین 4 تا 8 برابر را دارد. نتایج و دقت این روش از الگوریتم ها و مدل‌های مشابه بهتر است.

SR3: Super-Resolution via Repeated Refinements

🔹برای مثال این هوش مصنوعی قادر است رزولوشن یک عکس 64 در 64 پیکسلی را با افزایش جزییات تا 1024 در 1024 پیکسل افزایش دهد. ‌

جالبه بدونید که «محمد نوروزی»، محقق ایرانی ساکن کانادا، یکی از ۶ کارشناس سازنده این پروژه است.

@silicon_brain

بسیاری از افراد سوال میپرسند که چه لزومی به استفاده از یادگیری انتقالی است؟ یا استفاده از آن چه دردی را دوا میکند؟!

🔹 یک مثال ساده میزنیم، فرض کنید یک مساله داریم که هدف این است که یک شبکه‌ی عصبی کانولوشنی (#CNN) را برای مسئله تشخیص شیء آموزش دهیم تا بتواند اشیاء موجود در تصاویر را شناسایی کند.
فرض کنید دیتاست در دسترس شامل 100 دسته است. بیشتر این دسته‌ها تنها شامل ۵۰ تصویر می‌شوند که این تعداد داده برای دستیابی به دقت بالا در یادگیری، کافی نیست. به همین دلیل، به جای این‌که یک CNN را از صفر ساخته و آموزش دهیم، به کمک یادگیری انتقالی، از یک مدل از پیش آموزش دیده استفاده می‌کنیم.

🔹مفهوم کلی یادگیری انتقالی (#transfer_learning) ساده است: مدلی که روی یک دیتاست بزرگ آموزش دیده را می‌گیریم و دانش آن را به یک شبکه‌ی کوچکتر منتقل می‌کنیم. برای اجرای مسئله تشخیص شیء با یک CNN، لایه‌های کانولوشن اولیه را منجمد می‌کنیم و تنها چند لایه‌ی آخر که پیش‌بینی انجام می‌دهند را آموزش می‌دهیم.

🔹در نتیجه‌ی این امر، لایه‌های پیچشی ویژگی‌های عمومی و سطح پایین که در میان همه‌ی تصاویر مشترک هستند (مانند لبه‌ها، الگوها، گرادیان‌ها) را استخراج می‌کنند و لایه‌های بعدی، ویژگی‌های خاص هر تصویر (مثل اعضای کوچک تصویر انسان مثل چشم یا اعضای کوچک تصویر ماشین ما چرخ ها) را تشخیص می‌دهند.

بدین ترتیب می‌توانیم از شبکه‌ای استفاده کنیم که روی دیتاستی بزرگ و غیرمرتبط با مسئله حاضر (که غلب #ImageNet است) آموزش دیده و ویژگی‌های موجود در این داده‌ها، کلی و سطح پایین هستند و در بین همه‌ی تصاویر مشترک‌اند.

@silicon_brain