یادگیری عمیق.pdf
6.7 MB
🟣کتابی برای دوستانی که بدنبال منبع فارسی برای #یادگیری_عمیق هستند
کتاب یادگیری عمیق: اصول، مفاهیم و رویکردها
تالیف و گردآوری: میلاد وزان
فهرست فصلها:
✅ مقدمه ای بر یادگیری ماشین و یادگیری عمیق
✅ یادگیری بانظارت عمیق (شبکه های عصبی پیشخور، بازگشتی و همگشتی)
✅ یادگیری بازنمایی بدون نظارت عمیق (خودرمزنگارها و مدلهای مولد)
✅ یادگیری تقویتی عمیق
✅ یادگیری انتقالی عمیق
✅ یادگیری عمیق هندسی (یادگیری بازنمایی گراف)
#کتاب
@silicon_brain
کتاب یادگیری عمیق: اصول، مفاهیم و رویکردها
تالیف و گردآوری: میلاد وزان
فهرست فصلها:
✅ مقدمه ای بر یادگیری ماشین و یادگیری عمیق
✅ یادگیری بانظارت عمیق (شبکه های عصبی پیشخور، بازگشتی و همگشتی)
✅ یادگیری بازنمایی بدون نظارت عمیق (خودرمزنگارها و مدلهای مولد)
✅ یادگیری تقویتی عمیق
✅ یادگیری انتقالی عمیق
✅ یادگیری عمیق هندسی (یادگیری بازنمایی گراف)
#کتاب
@silicon_brain
This media is not supported in your browser
VIEW IN TELEGRAM
رمزهارو خودکار بدون داشتن کلید، رمزگشایی کن!
هوش مصنوعی و پردازش زبان طبیعی اینبار در زمینه هک و امنیت وارد شده است. میخواهید بدانید X چطور رمز شده است؟ Ciphey اکثر مسائل را در چند ثانیه برایتان حل میکند.
@silicon_brain
هوش مصنوعی و پردازش زبان طبیعی اینبار در زمینه هک و امنیت وارد شده است. میخواهید بدانید X چطور رمز شده است؟ Ciphey اکثر مسائل را در چند ثانیه برایتان حل میکند.
@silicon_brain
🟣مفهوم و رابطه میان بایاس و واریانس و تاثیرشان در عملکرد مدل یادگیری
بایاس تفاوت میان پیشبینی میانگین مدل فعلی و نتایج واقعی است که باید پیشبینی کنیم. مدلی با بایاس بالا نشان میدهد که تمرکز کمتری روی آموزش داده دارد. این پدیده مدل را بسیار کوچک میکند و فاقد دقت بالا در آموزش و تست است.این پدیده با عنوان کمبرازش #underfitting نیز شناخته میشود.
🔹در شکل سمت چپ با دور شدن از مرکز دایره، پیشبینیها بدتر و بدتر میشوند. طبق شکل سمت راست توازن بین مقادیر #واریانس و #بایاس الزامی است:
اگر مدل خیلی ساده باشد و پارامترهای کمتری داشته باشد، ممکن است بایاس زیاد و واریانس کمی داشته باشد.
اگر تعداد پارامترهای مدل زیاد باشد، واریانس زیاد و بایاس کمی خواهد داشت.
#variance #bias
@silicon_brain
بایاس تفاوت میان پیشبینی میانگین مدل فعلی و نتایج واقعی است که باید پیشبینی کنیم. مدلی با بایاس بالا نشان میدهد که تمرکز کمتری روی آموزش داده دارد. این پدیده مدل را بسیار کوچک میکند و فاقد دقت بالا در آموزش و تست است.این پدیده با عنوان کمبرازش #underfitting نیز شناخته میشود.
🔹در شکل سمت چپ با دور شدن از مرکز دایره، پیشبینیها بدتر و بدتر میشوند. طبق شکل سمت راست توازن بین مقادیر #واریانس و #بایاس الزامی است:
اگر مدل خیلی ساده باشد و پارامترهای کمتری داشته باشد، ممکن است بایاس زیاد و واریانس کمی داشته باشد.
اگر تعداد پارامترهای مدل زیاد باشد، واریانس زیاد و بایاس کمی خواهد داشت.
#variance #bias
@silicon_brain
در این ساختار دلیل بوجود آمدن هر بخش بالایی، وجود داشتن بخش پایینی است. حتی این هرم را زیر RNN و LSTM هم میتوان ادامه داد.
#bert #transformers #attention #rnn #lstm
@silicon_brain
#bert #transformers #attention #rnn #lstm
@silicon_brain
استفاده گوگل از یادگیری ماشین جهت کاهش مصرف انرژی در Google Cloud
گوگل با استفاده از سیستم های مبتنی بر یادگیری ماشین 40 درصد در مصرف انرژی که برای ذخیره و نگه داری داده های دیتاسنتر استفاده میشود، صرفه جویی میکند.
همچنین استفاده از این سیستم باعث بالا رفتن 15 درصدی عملکرد کلی سیستم فضای ابری میشود.
#google #cloud
@silicon_brain
گوگل با استفاده از سیستم های مبتنی بر یادگیری ماشین 40 درصد در مصرف انرژی که برای ذخیره و نگه داری داده های دیتاسنتر استفاده میشود، صرفه جویی میکند.
همچنین استفاده از این سیستم باعث بالا رفتن 15 درصدی عملکرد کلی سیستم فضای ابری میشود.
#google #cloud
@silicon_brain
تفاوت دقت مدل های از پیش آموزش داده شده با مدل های ساده
استفاده از مدل های از پیش آموزش داده شده (#pretrained_model) علاوه بر اینکه باعث افزایش دقت در عملکرد میشود:
🔹به دیتای خیلی کمتری احتیاج دارد
🔹در زمان خیلی کمتری آموزش میبینند
🔹توان محاسباتی خیلی کمتری لازم دارد
این موضوع در واقع به یادگیری انتقالی (#transfer_learning) اشاره دارد.
در حوزه تصویر، #Image_net از مهمترین مدل های از پیش آموزش داده شده است. این مدل با 1.2 میلیون تصویر و 1000 برچسب آموزش دیده شده است.
در حوزه ی متن هم به مدل های زبانی مختلف مانند ELMo، GPT و BERT میتوان اشاره کرد که در کانال بسیار در مورد این مدل های زبانی صحبت شده است.
#BERT #ELMo #GPT
@siliocn_brain
استفاده از مدل های از پیش آموزش داده شده (#pretrained_model) علاوه بر اینکه باعث افزایش دقت در عملکرد میشود:
🔹به دیتای خیلی کمتری احتیاج دارد
🔹در زمان خیلی کمتری آموزش میبینند
🔹توان محاسباتی خیلی کمتری لازم دارد
این موضوع در واقع به یادگیری انتقالی (#transfer_learning) اشاره دارد.
در حوزه تصویر، #Image_net از مهمترین مدل های از پیش آموزش داده شده است. این مدل با 1.2 میلیون تصویر و 1000 برچسب آموزش دیده شده است.
در حوزه ی متن هم به مدل های زبانی مختلف مانند ELMo، GPT و BERT میتوان اشاره کرد که در کانال بسیار در مورد این مدل های زبانی صحبت شده است.
#BERT #ELMo #GPT
@siliocn_brain
کاربرد های پردازش زبان طبیعی در صفحه اینستاگرام سیلیکون برین :
https://www.instagram.com/p/CS1oYjJjaks/?utm_medium=copy_link
https://www.instagram.com/p/CS1oYjJjaks/?utm_medium=copy_link
از نظر شما محتوای منتشر شده در کانال بیشتر به چه حوزه ای گرایش دارد؟
Anonymous Poll
18%
حوزه متن
24%
حوزه تصویر
66%
یادگیری ماشین (بصورت کلی)
21%
کتاب و مقالات
21%
اخبار و نوآوری ها
6%
سایر موارد
از نظر شما محتوای منتشر شده در کانال بیشتر در چه سطحی هستند؟
Anonymous Poll
35%
عمومی
57%
تخصصی
8%
فوق تخصصی
چندتا دمو تفریحی هوش مصنوعی
Lyrics Generator - Our AI writes hit songs.
AI Paintings - Our AI creates art.
This Pizza Does Not Exist - Generated by a computer.
Falling Sand - Play with lava, water, napalm and more.
Photo Blender - Two beautiful photos combined into one.
TV Episode Generator - Game of Thrones, The Simpsons, Friends, and more.
Story Generator - Our AI will tell you a story.
AI Colorized Movies - Watch classic films for free.
ادامهاش رو هم از این لینک ببینید
@silicon_brain
Lyrics Generator - Our AI writes hit songs.
AI Paintings - Our AI creates art.
This Pizza Does Not Exist - Generated by a computer.
Falling Sand - Play with lava, water, napalm and more.
Photo Blender - Two beautiful photos combined into one.
TV Episode Generator - Game of Thrones, The Simpsons, Friends, and more.
Story Generator - Our AI will tell you a story.
AI Colorized Movies - Watch classic films for free.
ادامهاش رو هم از این لینک ببینید
@silicon_brain
Boredhumans
Lyrics Generator
Use AI to write the lyrics for a song. Specify a topic, style, or singer/band to sound like.
This media is not supported in your browser
VIEW IN TELEGRAM
زبان برنامه نویسی مورد علاقه دانشجویان علوم کامپیوتر دانشگاه MIT
🟣 زبان برنامه نویسی مورد علاقه شما چیه؟
@silicon_brain
🟣 زبان برنامه نویسی مورد علاقه شما چیه؟
@silicon_brain
تاثیر نویز موجود در برچسب داده ها روی عملکرد الگوریتم های مختلف یادگیری ماشین
برای درک تاثیر نویز برچسب (Label) روی عملکرد الگوریتم یک آزمایش در این مورد انجام میدهیم.
🔹هر بار ۲۰% از برچسبها داده های آموزشی را به صورت تصادفی انتخاب و نویزدار میکنیم (برچسب اشتباه میزنیم). البته نویز فقط به دیتاست آموزشی وارد میشود و برای مرحله ی تست مدل، از برچسبهای اصلی که سالم هستند استفاده میکنیم.
🔹همانطور که در تصویر بالا هم مشاهده میکنید، عملکرد همه الگوریتم ها بعد از تاثیر نویز افت کرده است؛ ولی میزان افت عملکرد هرکدام از الگوریتم ها با دیگری متفاوت است. برای مثال، درخت تصمیم (DT) آسیبپذیری بسیار زیادی در برابر نویز دارد. و الگوریتم گروهی مانند XGB، LGB عملکرد تقریباً مشابهی از خود نشان دادهاند. از سوی دیگر، RF (جنگل تصادفی) نسبت به نویز مقاوم به نظر میرسد.
#decision_tree #random_forest #svm #xgb #lgb #noise
@silicon_brain
برای درک تاثیر نویز برچسب (Label) روی عملکرد الگوریتم یک آزمایش در این مورد انجام میدهیم.
🔹هر بار ۲۰% از برچسبها داده های آموزشی را به صورت تصادفی انتخاب و نویزدار میکنیم (برچسب اشتباه میزنیم). البته نویز فقط به دیتاست آموزشی وارد میشود و برای مرحله ی تست مدل، از برچسبهای اصلی که سالم هستند استفاده میکنیم.
🔹همانطور که در تصویر بالا هم مشاهده میکنید، عملکرد همه الگوریتم ها بعد از تاثیر نویز افت کرده است؛ ولی میزان افت عملکرد هرکدام از الگوریتم ها با دیگری متفاوت است. برای مثال، درخت تصمیم (DT) آسیبپذیری بسیار زیادی در برابر نویز دارد. و الگوریتم گروهی مانند XGB، LGB عملکرد تقریباً مشابهی از خود نشان دادهاند. از سوی دیگر، RF (جنگل تصادفی) نسبت به نویز مقاوم به نظر میرسد.
#decision_tree #random_forest #svm #xgb #lgb #noise
@silicon_brain
This media is not supported in your browser
VIEW IN TELEGRAM
افزایش ۸ برابری رزولوشن تصاویر با هوش مصنوعی
🔹محققهای گوگل موفق شدن هوش مصنوعی بهنام SR3 توسعه کنند که توانایی افزایش رزولوشن تصاویر بین 4 تا 8 برابر را دارد. نتایج و دقت این روش از الگوریتم ها و مدلهای مشابه بهتر است.
SR3: Super-Resolution via Repeated Refinements
🔹برای مثال این هوش مصنوعی قادر است رزولوشن یک عکس 64 در 64 پیکسلی را با افزایش جزییات تا 1024 در 1024 پیکسل افزایش دهد.
جالبه بدونید که «محمد نوروزی»، محقق ایرانی ساکن کانادا، یکی از ۶ کارشناس سازنده این پروژه است.
@silicon_brain
🔹محققهای گوگل موفق شدن هوش مصنوعی بهنام SR3 توسعه کنند که توانایی افزایش رزولوشن تصاویر بین 4 تا 8 برابر را دارد. نتایج و دقت این روش از الگوریتم ها و مدلهای مشابه بهتر است.
SR3: Super-Resolution via Repeated Refinements
🔹برای مثال این هوش مصنوعی قادر است رزولوشن یک عکس 64 در 64 پیکسلی را با افزایش جزییات تا 1024 در 1024 پیکسل افزایش دهد.
جالبه بدونید که «محمد نوروزی»، محقق ایرانی ساکن کانادا، یکی از ۶ کارشناس سازنده این پروژه است.
@silicon_brain
بسیاری از افراد سوال میپرسند که چه لزومی به استفاده از یادگیری انتقالی است؟ یا استفاده از آن چه دردی را دوا میکند؟!
🔹 یک مثال ساده میزنیم، فرض کنید یک مساله داریم که هدف این است که یک شبکهی عصبی کانولوشنی (#CNN) را برای مسئله تشخیص شیء آموزش دهیم تا بتواند اشیاء موجود در تصاویر را شناسایی کند.
فرض کنید دیتاست در دسترس شامل 100 دسته است. بیشتر این دستهها تنها شامل ۵۰ تصویر میشوند که این تعداد داده برای دستیابی به دقت بالا در یادگیری، کافی نیست. به همین دلیل، به جای اینکه یک CNN را از صفر ساخته و آموزش دهیم، به کمک یادگیری انتقالی، از یک مدل از پیش آموزش دیده استفاده میکنیم.
🔹مفهوم کلی یادگیری انتقالی (#transfer_learning) ساده است: مدلی که روی یک دیتاست بزرگ آموزش دیده را میگیریم و دانش آن را به یک شبکهی کوچکتر منتقل میکنیم. برای اجرای مسئله تشخیص شیء با یک CNN، لایههای کانولوشن اولیه را منجمد میکنیم و تنها چند لایهی آخر که پیشبینی انجام میدهند را آموزش میدهیم.
🔹در نتیجهی این امر، لایههای پیچشی ویژگیهای عمومی و سطح پایین که در میان همهی تصاویر مشترک هستند (مانند لبهها، الگوها، گرادیانها) را استخراج میکنند و لایههای بعدی، ویژگیهای خاص هر تصویر (مثل اعضای کوچک تصویر انسان مثل چشم یا اعضای کوچک تصویر ماشین ما چرخ ها) را تشخیص میدهند.
بدین ترتیب میتوانیم از شبکهای استفاده کنیم که روی دیتاستی بزرگ و غیرمرتبط با مسئله حاضر (که غلب #ImageNet است) آموزش دیده و ویژگیهای موجود در این دادهها، کلی و سطح پایین هستند و در بین همهی تصاویر مشترکاند.
@silicon_brain
🔹 یک مثال ساده میزنیم، فرض کنید یک مساله داریم که هدف این است که یک شبکهی عصبی کانولوشنی (#CNN) را برای مسئله تشخیص شیء آموزش دهیم تا بتواند اشیاء موجود در تصاویر را شناسایی کند.
فرض کنید دیتاست در دسترس شامل 100 دسته است. بیشتر این دستهها تنها شامل ۵۰ تصویر میشوند که این تعداد داده برای دستیابی به دقت بالا در یادگیری، کافی نیست. به همین دلیل، به جای اینکه یک CNN را از صفر ساخته و آموزش دهیم، به کمک یادگیری انتقالی، از یک مدل از پیش آموزش دیده استفاده میکنیم.
🔹مفهوم کلی یادگیری انتقالی (#transfer_learning) ساده است: مدلی که روی یک دیتاست بزرگ آموزش دیده را میگیریم و دانش آن را به یک شبکهی کوچکتر منتقل میکنیم. برای اجرای مسئله تشخیص شیء با یک CNN، لایههای کانولوشن اولیه را منجمد میکنیم و تنها چند لایهی آخر که پیشبینی انجام میدهند را آموزش میدهیم.
🔹در نتیجهی این امر، لایههای پیچشی ویژگیهای عمومی و سطح پایین که در میان همهی تصاویر مشترک هستند (مانند لبهها، الگوها، گرادیانها) را استخراج میکنند و لایههای بعدی، ویژگیهای خاص هر تصویر (مثل اعضای کوچک تصویر انسان مثل چشم یا اعضای کوچک تصویر ماشین ما چرخ ها) را تشخیص میدهند.
بدین ترتیب میتوانیم از شبکهای استفاده کنیم که روی دیتاستی بزرگ و غیرمرتبط با مسئله حاضر (که غلب #ImageNet است) آموزش دیده و ویژگیهای موجود در این دادهها، کلی و سطح پایین هستند و در بین همهی تصاویر مشترکاند.
@silicon_brain
👍1
محبوبترین IDE های پایتون در سال ۲۰۲۰
این نمودار از نتایج نظرسنجی بیش از ۲۵۰۰ نفر از فعالان علوم داده ترسیم شده است.
در این نمودار نتایج نظرسنجی سال ۲۰۱۸ با رنگ قرمز و نتایج نظرسنجی سال ۲۰۲۰ با رنگ آبی ترسیم شده که طبق نمودار jupyter و Visual Studio Code رشد خوبی در این سالها داشته اند.
در این نمودار میتوان به افت محسوس PyCharm نیر اشاره کرد که خبر از تغییر علاقه مندی های فعالان از IDE های با قدرت بالا و پیچیده به ساده و نوت بوک وار میدهد.
@silicon_brain
این نمودار از نتایج نظرسنجی بیش از ۲۵۰۰ نفر از فعالان علوم داده ترسیم شده است.
در این نمودار نتایج نظرسنجی سال ۲۰۱۸ با رنگ قرمز و نتایج نظرسنجی سال ۲۰۲۰ با رنگ آبی ترسیم شده که طبق نمودار jupyter و Visual Studio Code رشد خوبی در این سالها داشته اند.
در این نمودار میتوان به افت محسوس PyCharm نیر اشاره کرد که خبر از تغییر علاقه مندی های فعالان از IDE های با قدرت بالا و پیچیده به ساده و نوت بوک وار میدهد.
@silicon_brain
Data Drift چیست؟
در واقع Data Drift تغییر توزیع داده ها در طول زمان است. به عبارتی دیگر تغییر توزیع داده ها در حالت real-time نسبت به توزیع داده هایی است که ماشین روی آن آموزش دیده است.
مثال: فرض کنید در خط تولید یک کارخانه سیستمی مبتنی بر هوش مصنوعی و پردازش تصویر قرار داده ایم تا تولیداتی که دارای نقص هستند را جدا کند.بعد از مدتی به هر دلیلی محیط تغییر پیدا میکند (مثلا نور پردازی محیط عوض میشود یا دوربین عوض میشود) و این ممکن است باعث تغییر توزیع داده های ورودی سیستم و در نهایت باعث تغییر درک مدل یادگیری شود و مشکل آفرین باشد.
#data_drift #concept_drift #MLOps
@silicon_brian
در واقع Data Drift تغییر توزیع داده ها در طول زمان است. به عبارتی دیگر تغییر توزیع داده ها در حالت real-time نسبت به توزیع داده هایی است که ماشین روی آن آموزش دیده است.
مثال: فرض کنید در خط تولید یک کارخانه سیستمی مبتنی بر هوش مصنوعی و پردازش تصویر قرار داده ایم تا تولیداتی که دارای نقص هستند را جدا کند.بعد از مدتی به هر دلیلی محیط تغییر پیدا میکند (مثلا نور پردازی محیط عوض میشود یا دوربین عوض میشود) و این ممکن است باعث تغییر توزیع داده های ورودی سیستم و در نهایت باعث تغییر درک مدل یادگیری شود و مشکل آفرین باشد.
#data_drift #concept_drift #MLOps
@silicon_brian
👍2
🎉 🎈 روز جهانی برنامه نویس مبارک 🎉 🎈
۱۳ سپتامبر بعنوان روز برنامه نویس شناخته میشود چون این روز، روز ۲۵۶ ام سال است. چرا ۲۵۶؟
۱. عدد ۲۵۶ بزرگترین توان عدد ۲ کوچکتر از ۳۶۵ که تعداد روزهای یک سال است، میباشد.
۲. تعداد ۲۵۶ مقدار منحصر به فرد میتواند توسط یک بایت تولید گردد.
۳. عدد ۲۵۶ به صورت کلی برای برنامهنویسها عددی آشناست.
@silicon_brain
۱۳ سپتامبر بعنوان روز برنامه نویس شناخته میشود چون این روز، روز ۲۵۶ ام سال است. چرا ۲۵۶؟
۱. عدد ۲۵۶ بزرگترین توان عدد ۲ کوچکتر از ۳۶۵ که تعداد روزهای یک سال است، میباشد.
۲. تعداد ۲۵۶ مقدار منحصر به فرد میتواند توسط یک بایت تولید گردد.
۳. عدد ۲۵۶ به صورت کلی برای برنامهنویسها عددی آشناست.
@silicon_brain