گام‌هایی برای جلوگیری از بیش‌برازش (overfitting) شبکه عصبی (۳)

رگوله‌سازی وزن

رگوله‌سازی وزن مرحله‌ای است که با کاهش پیچیدگی مدل‌ها به جلوگیری از بیش‌برازش کمک می‌کند. راه‌های مختلفی برای رگوله‌سازی  مانند L1 و L2 وجود دارد. این روش‌ها عمدتاً با جریمه کردن (penalizing) وزن‌های هر تابعی کار می‌کنند و این وزن‌های کوچکتر منجر به مدل‌های ساده‌تر می‌شوند. همانطور که در پشت قبل توضیح داده شد، مدل های ساده‌تر به جلوگیری از بیش‌برازش کمک می‌کند.

همانطور که از نام آن پیداست، این مرحله عبارت منظم‌سازی را به همراه تابع هزینه (Loss Function) اضافه می‌کند بطوری که ماتریس وزن‌ها می‌تواند کوچکتر شود. عمل جمع، یک تابع هزینه (Cost Function) می‌سازد و می‌تواند به صورت زیر تعریف شود.

تابع هزینه = هزینه + ترم رگوله‌سازی

با توجه به فرمول‌ها می‌توان گفت که رگوله‌سازی L1 سعی می‌کند قدر مطلق وزن‌ها را به حداقل برساند اما رگوله‌سازی L2 تلاش می‌کند تا قدر مجذور وزن‌ها را به حداقل برساند.

هر دوی این روش‌ها روش‌های محبوبی هستند و تفاوت اصلی بین آنها این است که روش L1 قوی، ساده و قابل تفسیر است در حالی که رگوله‌سازی L2 قادر به یادگیری داده‌های پیچیده است و چندان قوی نیست. بنابراین انتخاب هر یک از روش ها به پیچیدگی داده‌ها بستگی دارد.
منبع
@Ai_Events

گام‌هایی برای جلوگیری از بیش‌برازش (overfitting) شبکه عصبی (۴)

استفاده از روش Dropout

این مرحله به ما کمک می‌کند تا با کاهش تعداد نورون‌های شبکه تا زمانی که شبکه آموزش ببیند، از بیش برازش جلوگیری کنیم. همچنین می‌توان گفت که این یک تکنیک رگوله‌سازی  است اما برخلاف تابع هزینه، با نورون‌ها کار می‌کند.

این روش ساده است و نورون‌ها را در حین آموزش در هر تکرار(epoch) از شبکه حذف می‌کند. همچنین می‌توانیم به این فرآیند به‌گونه ای فکر کنیم که شبکه را در حین آموزش ساده و متفاوت می‌کند، زیرا درنهایت باعث کاهش پیچیدگی شبکه و تمایل به آماده‌سازی یک شبکه جدید می‌شود. اثر خالص اعمال لایه‌های Dropout در شبکه، به کاهش میزان بیش‌برازش شبکه همگرا می‌شود.
منبع
@Ai_Events

گام‌هایی برای جلوگیری از بیش‌برازش (overfitting) شبکه عصبی (۵)

توقف زودهنگام آموزش 

همانطور که از نام آن پیداست این مرحله روشی برای توقف آموزش شبکه در مراحل اولیه نسبت به مرحله نهایی است. ما می‌توانیم آن را با تکنیک اعتبارسنجی متقابل مقایسه کنیم، زیرا برخی از بخش‌های داده‌های آموزشی به عنوان داده‌های اعتبارسنجی استفاده می‌شوند؛ تا بتوان عملکرد مدل را در برابر این داده‌های اعتبارسنجی اندازه‌گیری کرد. با افزایش عملکرد مدل به نقطه اوج، می‌توان آموزش را متوقف کرد.

این مرحله در حالی که ما مدل را آموزش می‌دهیم نیز کار می‌کند. همانطور که مدل در آموزش یاد می‌گیرد، ما سعی می‌کنیم عملکرد آن را روی داده‌های دیده نشده اندازه‌گیری کنیم و آموزش را تا نقطه‌ای ادامه دهیم که مدل شروع به کاهش دقت در اعتبارسنجی یا داده‌های دیده نشده کند. اگر عملکرد این مجموعه اعتبارسنجی کاهش یابد یا برای تکرارهای خاص ثابت بماند، آموزش متوقف می شود.
منبع
@Ai_Events

سمینار با عنوان:
افق های جدید در درمان و تصویربرداری مولکولی، هوش مصنوعی و دوقلوهای دیجیتال (به علاوه نظراتی بر چگونگی کار موثر)

سخنران: دکتر آرمان رحمیم
استاد تمام رادیولوژی، فیزیک و مهندسی پزشکی در دانشگاه بریتیش کلمبیا (UBC)


زمان برگزاری: شنبه ۱ مرداد ماه ساعت ٨ الی ١٢:٣٠

محل برگزاری: خیابان ایتالیا، نبش وصال و قدس، پلاک 41 ، آزمایشگاه جامع تحقیقات، طبقه دوم

لینک ثبت‌نام:
https://tpcf.tums.ac.ir/FA/workshops/New-Horizons-in-Molecular-Imaging


@TUMS_PreClinical_CF
@Ai_Events

این ویدیوی خیلی جذاب رو نمی‌دونم کی ایجاد کرده، حتی چون سرم شلوغ بود صبح، به نظرم جالب اومد، دانلود کردم و حالا نمیدونم از کجا گرفتمش.

خلاصه این ویدئو داره در مورد Google LaMDA صحبت می‌کنه که یه مدل‌سازی زبانیه برای گفت‌وگو.

اگه می‌دونید صفحه‌شون کجاست لطفا کامنت کنید.

@Ai_Events

کلاس‌ویژن با همکاری آکادمی همراه اول برگزار میکند:

🛎 دوره ضبط شده‌ی "مبانی هوش مصنوعی و یادگیری عمیق"

➕ فهم عمیق هوش مصنوعی و یادگیری ماشین و کاربردهای آن
➕ حل مسئله با الگوریتم های یادگیری عمیق در فریم ورک های مبتنی بر پایتون
➕ اعطای تخفیف جهت ثبت نام در بوت کمپ تابستانی پایتون و هوش مصنوعی
♦️همراه با پروژه های فردی و گروهی

🎤 مدرس: مهندس علیرضا اخوان پور
🔸مدرس یادگیری عمیق در دانشگاه های برتر
🔹مدیر فنی مجموعه دانش بنیان شناسا

⏳شروع ثبت نام: از 12 تیرماه 1401
⏱ مدت دوره:‌ 12 ساعت

کد تخفیف: cvision
🔗 مشاهده اطلاعات بیشتر و ثبت‌نام:
🌐 https://class.vision/product/intro-to-ai-ml-deep/
❓پاسخ به سوالات:
🆔 @academy_hamrah
📞 09191866820

کانال مدرس دوره: @cvision

@Ai_Events

New release for 𝐒𝐮𝐩𝐞𝐫𝐆𝐫𝐚𝐝𝐢𝐞𝐧𝐭𝐬 👇🏼

The 𝐒𝐮𝐩𝐞𝐫𝐆𝐫𝐚𝐝𝐢𝐞𝐧𝐭𝐬 is a Python library that provides a framework for training 𝐝𝐞𝐞𝐩 𝐥𝐞𝐚𝐫𝐧𝐢𝐧𝐠 models with 𝐏𝐲𝐓𝐨𝐫𝐜𝐡 for any 𝐜𝐨𝐦𝐩𝐮𝐭𝐞𝐫 𝐯𝐢𝐬𝐢𝐨𝐧 tasks by Deci AI. It also enables you to import pre-trained SOTA models, such as object detection, classification of images, and semantic segmentation for videos and images .

Version 2.0.0/1 main updates:

Integration with Weights & Biases and DagsHub

KD trainer and resnet50 recipe (81.92 % accuracy)

ViT models (Vision Transformer) - Training recipes and pre-trained checkpoints (ViT, BEiT).


𝐒𝐨𝐮𝐫𝐜𝐞 𝐜𝐨𝐝𝐞: https://lnkd.in/gwyCSH7f
𝐃𝐨𝐜𝐮𝐦𝐞𝐧𝐭𝐚𝐭𝐢𝐨𝐧: https://lnkd.in/gPiZ-QJx
𝐂𝐨𝐥𝐚𝐛 𝐭𝐮𝐭𝐨𝐫𝐢𝐚𝐥𝐬: https://github.com/Deci-AI/super-gradients#quick-start-notebook---classification

@Ai_Events

Google Imagen neural network creates crazy photorealistic images

And it performs it simply by text denoscription.
Google has unveiled its new project called Imagen, an image generator based on a given text denoscription.

According to the developers, the Imagen neural network is superior to OpenAI's DALL-E 2, another image generator with artificial intelligence. Imagen is not currently available to the public, but the samples presented are impressive.

As Google notes, the new text-to-image model features "an unprecedented degree of photorealism and a deep understanding of language."
Imagen generates a 64 x 64 pixel image, then performs two successive enhancements and converts the image to a larger 1024 x 1024 pixel size.

@Ai_Events

همايش "شركتهاى #دانش_بنیان ، #بازارسرمایه ، دور نماى آينده" به همت بورس تهران در تاريخ ٢٢ تيرماه مصادف با روز ملى فناورى اطلاعات برگزار مى گردد. در اين همايش برنامه ريزى شده است علاوه بر سخنرانى معمول مقامات دولتى، شركتهاى دانش بنيانى كه به مرحله بلوغ و توسعه يافتگى رسيده اند فضاى اقتصادى حاكم بر كسب و كار خود را تشريح كنند.در اين همايش #ديجيكالا ، #اسنپ ، #ايرانسل ، #آسياتك و #تپسی از تجربيات خود مى گويند.
بازار سرمايه علاوه بر فراهم آوردن امكان تامين مالى براى كسب و كارها، پذيراى درج سهام شركتهاى دانش بنيان توسعه يافته از طريق پذيرش در بورس اوراق بهادار تهران است. بدون شك پذيرش و درج نماد شركتهاى مبتنى بر دانش فناورى اطلاعات و بر پايه اقتصاد ديجيتال مكمل شركتهاى توليدى و اصطلاحا كاموديتى محور بورس تهران است. از شما جهت حضور در این همایش دعوت به عمل می آید.


توضیح اینکه در بازار سرمایه مباحث هوشمندسازی بسیار مهم هست، اما متاسفانه تا این لحظه، پروژه‌های چندانی در این حوزه بالا نیومده یا حداقل من اطلاع ندارم، امیدوارم این همایش نقطه عطفی باشه برای هر دو طرف.

@Ai_Events

دوران مصورسازی‌های ضعیف در پایتون به سر آمده!


اون اوایل که شروع کردم به یاد گرفتن پایتون، چند تا نقطه ضعف اساسی رو حس می‌کردم که یکی‌شون، packageهایی بود که برای نمودار کشیدن در اختیار قرار می‌داد. Matplotlib که کماکان هم کاربرهای خودش رو داره، هم خروجی‌های خوش‌تیپی نداشت، هم مثل نمودارهای جاوااسکریپتی، تعاملی نبود!

حدود دو سال و نیم پیش با package فوق‌العاده plotly آشنا شدم که بهم کمک کرد نمودارها رو با همون مقدار کد packageهای قبلی، در قالب جاوااسکریپت تولید کنم و توی مرورگرم بتونم ببینم‌‌شون.

اینکه وقتی نمودار رو می‌کشی، می‌تونی روش بزرگنمایی داشته باشی، یا یه سری legendها رو مخفی/نمایش کنی، خیلی جذابه و کلا تعامل باهاش آدم رو می‌رسونه به نقطه‌ای که بگه اوففففففف.

حتما از این لینک نمونه‌هایی که داره رو چک کنید و باهاش کار کنید.

تو پست‌های بعدی، یه بسته دیگه معرفی می‌کنم که اومده با استفاده از plotly، Flask و React یه بسته ساخته که خیییلی خیلی راحت می‌تونید یه داشبورد آپدیت‌شونده خودکار تحت وب ایجاد کنید و کاربرای زیادی بتونن ازش استفاده کنن بدون حتی یک خط HTML زدن!!!

@Ai_Events

سخنرانی در مورد یادگیری عمیق: کاربردها، تئوری و چالشها

لینک مستقیم ورود به جلسه:https://lnkd.in/e4fMkNtr

@Ai_Events

.
همایش واقعا جذاب بود، تقابل دو نوع تفکر کاملا مشخص بود!

مدیر عامل‌های یک سری از بخش‌های دولتی، و خصوصی (از جمله دیجی‌کالا، اسنپ، ایرانسل، هزاردستان، آسیاتک و ...) سخنرانی داشتند.

نکته جالبی که توجه من رو جلب کرد این بود که همه نماینده‌های بخش‌های دولتی، پیش‌وند دکتر داشتند و مدیرعامل‌های بخش خصوصی هیچکدوم دکتر نبودند (ویژگی خوبی برای classification نیست، می‌دونم)!

دکترها همه در قالب جمله‌های سخت و نامفهوم و خواب‌آور صحبت می‌کردند و بخش‌های خصوصی در قالب انگیزه دادن و کمک به بهبود کیفیت زندگی دیگران!

البته صحبت‌های دکتر سورنا ستاری مثل همیشه استثنا بود! سعی می‌کنم voice صحبت‌هاش رو پیدا کنم و به عنوان سوغاتی همایش به اشتراک بذارم.

@Ai_Events

وبينار گامی بلند برای شروع چت بات

سخنران: محمد مهدی حیدری،
کارشناسی ارشد برق از دانشگاه امیرکبیر
توسعه‌ دهنده هوش مصنوعی

زمان برگزاری: شنبه ٢٥ تير ماه ۱۴۰۱، ساعت ٢١

ثبت‌نام و توضیحات تکمیلی:
https://rooydadestan.ir/?p=56012

@Ai_Events

مصاحبه کاری!

معمولا اولین درخواستی که از کارجو در جلسه مصاحبه کاری می‌شه اینه که می‌گن: درباره‌ی خودت بگو!

این سوال اگر چه ساده میاد، اما کلی از ابعاد حرفه‌ای، قدرت بیان، مدیریت زمان و زبان بدن شما رو آشکار می‌کنه و در واقع تاثیر برخورد اول رو دو چندان می‌کنه!

ده دقیقه وقت بذارید و این ویدیوی یوتیوب رو ببینید تا بتونید بُعد حرفه‌ای این سوال رو پوشش بدید.

https://www.youtube.com/watch?v=1ey58zDpBgE

اگه کلیپ یا نظری دارید که ارتقا بده کیفیت این ویدیو رو، حتما زیر این پست بنویسید.

‌@Ai_Events

سخنرانی با عنوان:
Modeling, monitoring, and diagnosis of complex systems with high-dimensional streaming data

سخنران:
Dr. Ana María Estrada Gómez (Assistant Professor at Purdue University, School of Industrial Engineering)

زمان برگزاری: سه شنبه ٢٨ تیر ماه ١۴٠١، ساعت ١٧:٠٠ الی ١٨:٣٠

لینک برگزاری:
https://vc.sharif.edu/ch/ie-seminar

@Ai_Events

بوت‌کمپ یادگیری ماشین کاربردی با پایتون

مباحث دوره:
- آموزش مفاهیم آماری به صورت عملی و شهودی
- آشنایی با انواع مختلف مدل‌سازی مسئله در حوزه یادگیری ماشین
- آموزش روش‌های طبقه‌بندی، خوشه‌بندی و تخمینی در حوزه یادگیری ماشین
- آموزش مفاهیم اساسی یادگیری عمیق و کاربردهای آن در حوزه تصویر و متن
- بحث درمورد افق آینده استفاده تحقیقاتی و صنعتی یادگیری ماشین

شروع دوره: نیمه مرداد ماه


ثبت‌نام و اطلاعات بیشتر:
https://evand.com/events/acm-machinelearningwithpython


@Ai_Events