@karpathy’s Tweet: https://twitter.com/karpathy/status/1121449636403638272?s=09
🙏Thanks to: @Alidiba

معروف ترین زبان های برنامه نویسی در گذر زمان از سال ۲۰۰۸ تا ۲۰۱۸
در سال های اخیر پایتون به دلیل استفاده در زمینه های متعدد مانند یادگیری ماشین، از معروف ترین زبان ها شده است.

🙏Thanks to: @techinsider_channel

#مقاله
Improving the Robustness of Deep Neural Networks via Stability Training
کسانی که دیپ در ویدیو کار کردند حتما با این مشکل مواجه شدند...
دو فریم کاملا مشابه از لحاظ بصری و جواب های کاملا متفات در طبقه بند.

How can we make computer vision networks more robust against image distortions so small that they’re undetectable to the human eye?

https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Zheng_Improving_the_Robustness_CVPR_2016_paper.pdf#utm_source=social&utm_medium=linkedin&utm_campaign=AINotesInitializationDiscussion1&utm_term=TechRecApril252019

"If you're not having fun, you're not learning. There's a pleasure in finding things out." - Richard Feynman

وقتی Chollet به کسایی که عقیده دارند به دلیل پیشرفتهای یادگیری ژرف داریم به strong AI نزدیک میشیم تیکه می اندازد!!
https://twitter.com/fchollet/status/1122330598968705025

#Narrow | #Weak | #Strong | #General #AI
#Super_Intelligence

توئیت های زیادی از افرادی مثل Chollet به اظهار نظر در مورد General/Strong AI و اینکه چه قدر ازش فاصله داریم پرداخته میشه.
ممکنه افرادی در گروه باشند که با این واژه ها آشنا نباشند.
پودمان 5 کتاب دانش فنی هنرستان تحت عنوان"کاربرد هوش مصنوعی" این عبارت را خیلی خلاصه و ساده توضیح داده است.
معرفی این مفاهیم در دبیرستان تحسین بر انگیزه👏👏👏

http://chap.sch.ir/sites/default/files/lbooks/97-98/949/123-156-C212287.pdf

Optimizing TensorFlow Models for Serving

https://medium.com/google-cloud/optimizing-tensorflow-models-for-serving-959080e9ddbf

#آموزش

پارامتر مربوط به regularization وزنها در Keras چیست؟!

#kernel_regularizer vs #activity_regularizer

اگر در مستندات مرتبط کراس نگاه کنید

سه پارامتر برای regularizer در این فریم ورک معرفی شده است:

-kernel_regularizer
-bias_regularizer
-activity_regularizer

برای مثال

from keras import regularizers
model.add(Dense(64, input_dim=64,
kernel_regularizer=regularizers.l2(0.01),
activity_regularizer=regularizers.l1(0.01)))

خب پارامتر bias_regularizer که بر روی وزنهای بایاس است و معمولا به دلیل ابعاد کم استفاده نمیشود.
اما دو پارامتر دیگر چیستند؟ کدام پارامتر برای استفاده از l2 regularization معروف به weight decay است؟

احتمالا با روش L2 Regularization به عنوان روشی برای جلوگیری از overfitting آشنا هستید.

دوستانی که دیپ لرنینگ را با کورس های اندروانگ دنبال کردند
در کورس دوم Deep learning specialization که توسط Andrew Ng تحت عنوان Improving Deep Neural Networks, Hyperparameter tuning, Regularization and Optimization ارائه شد در روش های مختلف Regularization ایشون روشی را با نام L2 regularization معرفی کردند.

روشی که در این کورس مطرح شد و سایر منابع معمولا مطرح میکنند پنالتی بر روی وزنهای شبکه است که قبلا در فریم ورک کراس با پارامتر weight_regularizer بود...

اما این فریم ورک در نسخه ی فعلیش پارامتر weight_regularizer را ندارد و دو پارامتر به نامهای
▪️kernel_regularizer
▪️activity_regularizer
اضافه کرده است.

از بین این پارامتر ها kernel_regularizer در واقع همان weight_regularizer یا روش weigh-decay است که در منابعی مثل کورس اندرو انگ مطرح شدند و پنالتی را بر روی وزنهای شبکه اعمال میکند.

اما activity_regularizer که در کورس اندروانگ توضیح داده نشده ولی کراس آن را پیاده سازی کرده روشی است که پنالتی را بر روی خروجی هر لایه(بعد از تابع فعالیت) اعمال میکند! نکته ی مهم اینکه این روش از قبل نسخه ۲.۱.۴ باگ داشته و اگر میخواهید استفاده کنید باید نسخه کراس شما به روز باشد.

در مورد روش دوم در این لینک کمی توضیح داده شده است:
https://datascience.stackexchange.com/questions/15187/regularization-practice-with-anns/15195#15195

این مطلب در stackoverflow هم مرتبطه با ابهامی که بیان کردم:
https://stackoverflow.com/questions/44495698/keras-difference-between-kernel-and-activity-regularizers

#regularization

#آموزش

پارامتر مربوط به regularization وزنها در Keras چیست؟!

#kernel_regularizer vs #activity_regularizer


https://news.1rj.ru/str/cvision/1219

#keras #tensorflow2 #regularization

#سورس_کد

image similarity deep ranking

در این مخرن، کدهایی برای آموزش دادن ranking به یک شبکه عمیق با هدف یافتن تصاویر مشابه آورده شده است.

این تسک با طبقه بندی تفاوت دارد، مثلا ممکن است سه ماشین در یک خیابان با رنگهای مشکی، سفید و قرمز پارک باشد، از دید طبقه بند هر سه خودرو هستند، از دید شبکه ranking ماشین مشکی در جست و جو به ماشین مشکی تصویر نزدیکتر خواهد بود...

https://github.com/akarshzingade/image-similarity-deep-ranking

#مجموعه_داده
Awesome Public Datasets
این ریپو دیتاست های مختلف در زمینه های مختلف را از سوال و جواب های اینترنتی، بلاگ پست ها و ... جمع آوری و لیست کرده است.
https://github.com/awesomedata/awesome-public-datasets

#مقاله #سورس_کد #ویدیو
#morphnet

MorphNet: Towards Faster and Smaller Neural Networks
در واقع میتوان این مقاله را نوعی روش بهینه سازی شبکه فرض کرد.

در این روش با تعریف Regularization روی منابعی مثل تعداد FLOPها در زمان inference شبکه یا حجم نهایی مدل شبکه های موجود با افت حداقلی درصد یا در خیلی از موارد بدون افت دقت شبکه ی بهینه تر خروجی خواهید گرفت.
مثلا ممکنه در شبکه ی resnet این روش تصمیم بگیره فقط skip-connection باقی بماند و بلاک resnet آن قسمت کلا حذف شود (این تصویر گویا است). یا در معماری Inception خیلی از موازی ها را پاک کند.


* The method was first introduced in #CVPR 2018,
* A overview of the approach as well as new device-specific latency regularizers were prestend in #GTC 2019



🔗Blog post:
https://ai.googleblog.com/2019/04/morphnet-towards-faster-and-smaller.html

🔗MorphNet paper :
https://arxiv.org/pdf/1711.06798.pdf

🔗Source code(#tensorflow ):
https://github.com/google-research/morph-net

🔗slides:
https://github.com/google-research/morph-net/blob/master/g3doc/MorphNet_GTC2019.pdf

🔗Recording and #Video:
https://youtu.be/UvTXhTvJ_wM
https://on-demand.gputechconf.com/gtc/2019/video/_/S9645/

MorphNet: Towards Faster and Smaller Neural Networks

https://news.1rj.ru/str/cvision/1223

#منبع #کورس #آموزش

آخرین تاریخ به‌روزرسانی: 3 آوریل 2019

#cs230

Stanford Deep Learning (CS230) Lectures are now accessible on Youtube and the CS230 website.

Topics:
- Lecture 1: Introduction to CS230
- Lecture 2: Deep Learning Intuition
- Lecture 3: Full Cycle of a Deep Learning Project
- Lecture 4: Adversarial Attacks & Generative Adversarial Networks
- Lecture 5: AI + Healthcare
- Lecture 6: Deep Learning Project Strategy
- Lecture 7: Interpretability of Neural Networks
- Lecture 8: Career Advice & Reading Research Papers
- Lecture 9: Deep Reinforcement Learning
- Lecture 10: Chatbots & Closing Remarks

CS230 website:
http://cs230.stanford.edu/lecture/

Youtube link:
https://www.youtube.com/playlist?list=PLoROMvodv4rOABXSygHTsbvUz4G_YQhOb

مرتبط با: https://news.1rj.ru/str/cvision/1180

#خبر

دوربین های نظارتی امنیتی مجهز به بازشناسی چهره لندن در سال 2016 تا 2018 حدود 96 درصد موارد خطا داشتند...

Facial-recognition systems used by London police were wrong 96% of the time between 2016 and 2018, new data finds. "In one incident, a 14-year-old black child in school uniform was stopped and fingerprinted by police after being misidentified"


https://inews.co.uk/news/technology/met-polices-facial-recognition-technology-96-inaccurate/

🙏Thanks to: @samehraboon
#face

🔔 به‌روزرسانی درایور انویدیا باعث افزایش میزان استفاده از پردازنده شد

به‌روزرسانی جدید درایور گرافیکی انویدیا نسخه‌ی WHQL 430.39 باعث اشکالات متعددی شامل بالا رفتن CPU Usage شده است.

در زومیت بخوانید:
📎 http://bit.ly/2VcF1iX

@myzoomit

#آموزش
An Overview of Human Pose Estimation with Deep Learning
https://medium.com/beyondminds/an-overview-of-human-pose-estimation-with-deep-learning-d49eb656739b

#pose

#سورس_کد #آموزش
پیاده سازی مقاله Fast-SCNN با تنسرفلو 2 + توضیحات
Fast Segmentation Convolutional Neural Network (Fast-SCNN)


Fast-SCNN explained and implemented using Tensorflow 2.0
https://medium.com/deep-learning-journals/fast-scnn-explained-and-implemented-using-tensorflow-2-0-6bd17c17a49e

مقاله اصلی:
https://arxiv.org/abs/1902.04502

#segmentation

Cutting Edge TensorFlow: New Techniques (Google I/O'19)
تاریخ انتشار 9 می 2019 (دیروز)

This session will take you through 4 of the hottest from #Hyperparameter_Tuning with #Keras_Tuner to Probabilistic Programming to being able to rank your data with learned ranking techniques and TF-Ranking. Finally, you will look at TF-Graphics that brings 3D functionalities to #TensorFlow.

مرتبط با : https://news.1rj.ru/str/cvision/1231

#اسلاید #keras

Slides of the Keras Tuner presentation at #io19

مرتبط با https://news.1rj.ru/str/cvision/1230

#Keras_Tuner

#خبر
پیدا کردن هایپرپارامتر بهینه در keras با Keras Tuner یکی از قابلیت جدید معرفی شده در Google I/O 2019 دیروز


دیروز 9 می 2019 در کنفرانس و Google I/O'19 در نشست Cutting Edge TensorFlow چهار ویژگی جدید تنسرفلو معرفی شد.
اولین معرفی این نشست به Keras Tuner اختصاص داشت.
پیدا کردن بهترین کارایی و مدل بهینه کار آسونی نیست، پیدا کردن سایز مینی بچ، پیدا کرن lr مناسب، تعداد لایه ها و ...
این فریم ورک که تازه معرفی شده و هنوز رسما منتشر نشده و در فاز آلفا است به منظور تسهیل در پیدا کردن هایپرپارامترهای شبکه در #Keras است.

فیلم این نشست را از اینجا https://news.1rj.ru/str/cvision/1230
و اسلاید مرتبط با Keras Tuner و نمونه کدها را از اینجا https://news.1rj.ru/str/cvision/1231 مشاهده کنید.

#Keras_Tuner