#مقاله #سورس_کد #ویدیو
#morphnet

MorphNet: Towards Faster and Smaller Neural Networks
در واقع میتوان این مقاله را نوعی روش بهینه سازی شبکه فرض کرد.

در این روش با تعریف Regularization روی منابعی مثل تعداد FLOPها در زمان inference شبکه یا حجم نهایی مدل شبکه های موجود با افت حداقلی درصد یا در خیلی از موارد بدون افت دقت شبکه ی بهینه تر خروجی خواهید گرفت.
مثلا ممکنه در شبکه ی resnet این روش تصمیم بگیره فقط skip-connection باقی بماند و بلاک resnet آن قسمت کلا حذف شود (این تصویر گویا است). یا در معماری Inception خیلی از موازی ها را پاک کند.


* The method was first introduced in #CVPR 2018,
* A overview of the approach as well as new device-specific latency regularizers were prestend in #GTC 2019



🔗Blog post:
https://ai.googleblog.com/2019/04/morphnet-towards-faster-and-smaller.html

🔗MorphNet paper :
https://arxiv.org/pdf/1711.06798.pdf

🔗Source code(#tensorflow ):
https://github.com/google-research/morph-net

🔗slides:
https://github.com/google-research/morph-net/blob/master/g3doc/MorphNet_GTC2019.pdf

🔗Recording and #Video:
https://youtu.be/UvTXhTvJ_wM
https://on-demand.gputechconf.com/gtc/2019/video/_/S9645/

MorphNet: Towards Faster and Smaller Neural Networks

https://news.1rj.ru/str/cvision/1223

#منبع #کورس #آموزش

آخرین تاریخ به‌روزرسانی: 3 آوریل 2019

#cs230

Stanford Deep Learning (CS230) Lectures are now accessible on Youtube and the CS230 website.

Topics:
- Lecture 1: Introduction to CS230
- Lecture 2: Deep Learning Intuition
- Lecture 3: Full Cycle of a Deep Learning Project
- Lecture 4: Adversarial Attacks & Generative Adversarial Networks
- Lecture 5: AI + Healthcare
- Lecture 6: Deep Learning Project Strategy
- Lecture 7: Interpretability of Neural Networks
- Lecture 8: Career Advice & Reading Research Papers
- Lecture 9: Deep Reinforcement Learning
- Lecture 10: Chatbots & Closing Remarks

CS230 website:
http://cs230.stanford.edu/lecture/

Youtube link:
https://www.youtube.com/playlist?list=PLoROMvodv4rOABXSygHTsbvUz4G_YQhOb

مرتبط با: https://news.1rj.ru/str/cvision/1180

#خبر

دوربین های نظارتی امنیتی مجهز به بازشناسی چهره لندن در سال 2016 تا 2018 حدود 96 درصد موارد خطا داشتند...

Facial-recognition systems used by London police were wrong 96% of the time between 2016 and 2018, new data finds. "In one incident, a 14-year-old black child in school uniform was stopped and fingerprinted by police after being misidentified"


https://inews.co.uk/news/technology/met-polices-facial-recognition-technology-96-inaccurate/

🙏Thanks to: @samehraboon
#face

🔔 به‌روزرسانی درایور انویدیا باعث افزایش میزان استفاده از پردازنده شد

به‌روزرسانی جدید درایور گرافیکی انویدیا نسخه‌ی WHQL 430.39 باعث اشکالات متعددی شامل بالا رفتن CPU Usage شده است.

در زومیت بخوانید:
📎 http://bit.ly/2VcF1iX

@myzoomit

#آموزش
An Overview of Human Pose Estimation with Deep Learning
https://medium.com/beyondminds/an-overview-of-human-pose-estimation-with-deep-learning-d49eb656739b

#pose

#سورس_کد #آموزش
پیاده سازی مقاله Fast-SCNN با تنسرفلو 2 + توضیحات
Fast Segmentation Convolutional Neural Network (Fast-SCNN)


Fast-SCNN explained and implemented using Tensorflow 2.0
https://medium.com/deep-learning-journals/fast-scnn-explained-and-implemented-using-tensorflow-2-0-6bd17c17a49e

مقاله اصلی:
https://arxiv.org/abs/1902.04502

#segmentation

Cutting Edge TensorFlow: New Techniques (Google I/O'19)
تاریخ انتشار 9 می 2019 (دیروز)

This session will take you through 4 of the hottest from #Hyperparameter_Tuning with #Keras_Tuner to Probabilistic Programming to being able to rank your data with learned ranking techniques and TF-Ranking. Finally, you will look at TF-Graphics that brings 3D functionalities to #TensorFlow.

مرتبط با : https://news.1rj.ru/str/cvision/1231

#اسلاید #keras

Slides of the Keras Tuner presentation at #io19

مرتبط با https://news.1rj.ru/str/cvision/1230

#Keras_Tuner

#خبر
پیدا کردن هایپرپارامتر بهینه در keras با Keras Tuner یکی از قابلیت جدید معرفی شده در Google I/O 2019 دیروز


دیروز 9 می 2019 در کنفرانس و Google I/O'19 در نشست Cutting Edge TensorFlow چهار ویژگی جدید تنسرفلو معرفی شد.
اولین معرفی این نشست به Keras Tuner اختصاص داشت.
پیدا کردن بهترین کارایی و مدل بهینه کار آسونی نیست، پیدا کردن سایز مینی بچ، پیدا کرن lr مناسب، تعداد لایه ها و ...
این فریم ورک که تازه معرفی شده و هنوز رسما منتشر نشده و در فاز آلفا است به منظور تسهیل در پیدا کردن هایپرپارامترهای شبکه در #Keras است.

فیلم این نشست را از اینجا https://news.1rj.ru/str/cvision/1230
و اسلاید مرتبط با Keras Tuner و نمونه کدها را از اینجا https://news.1rj.ru/str/cvision/1231 مشاهده کنید.

#Keras_Tuner

#Keras_Tuner
مرتبط با:
https://news.1rj.ru/str/cvision/1232

#آموزش

Computer graphics pioneer @AndrewGlassner's overview of Deep Learning is three hours well spent. (link: https://youtu.be/tAOlJ-jcVIY) youtu.be/tAOlJ-jcVIY)

🙏 Thanks to: @MH_Sattarian

#خبر

Startups Are Racing to Commercialize DeepFakes’ Powerful, Internet-Breaking AI
https://medium.com/fast-company/startups-are-racing-to-commercialize-deepfakes-powerful-internet-breaking-ai-141e405e9447



مرتبط با مطالب:

ویدئوی جعلی از باراک اوباما
https://news.1rj.ru/str/cvision/532

تبدیل حالات چهره توسط یادگیری عمیق (#virtual_talking)
https://news.1rj.ru/str/cvision/349
https://news.1rj.ru/str/cvision/350

تبدیل صوت شما به صوت فرد دیگر با یادگیری عمیق!
https://news.1rj.ru/str/cvision/377

Handling Imbalanced Datasets in Deep Learning

#آموزش
دو روش مرسوم در با دیتابیس هایی که تعداد نمونه ها در کلاس های مختلف به شدت متفاوت است و اصطلاحا با imbalanced data مواجهیم به کار میبریم.

روش نخست Weight balancing
روش دوم Over sampling و under sampling
است.

قبلا در این پست نمونه کد Weight balancing برای مواجه با imbalance data را در keras آورده بودیم:
https://news.1rj.ru/str/cvision/937


اگر میخواهید این دو روش را بخوانید پست زیر را ببنید:
https://towardsdatascience.com/handling-imbalanced-datasets-in-deep-learning-f48407a0e758

#imbalance

توئیت توسعه دهنده کراس در مورد #keras_tuner

#Keras_Tuner is a new hyperparameter optimization framework for Keras models, made at Google, with a hosted service for visualization & analysis. You can sign up now!

https://services.google.com/fb/forms/kerastuner/

مطلب مرتبط + اسلاید + فیلم:
https://news.1rj.ru/str/cvision/1232

#آموزش
Extreme Rare Event Classification using Autoencoders in Keras

قبلا در https://news.1rj.ru/str/cvision/1236 در مورد unbalanced dataset ها بحث شد،
اما در دیتابیسهایی مثل حالت هایی که دنبال anomaly هستیم، تو شرایط خیلی بحرانی کلاس مثبت ممکنه ۱ درصد کل داده را تشکیل بده و همه نمونه ها منفی باشه،
در این کار یک #autoencoder روی داده های منفی آموزش داده، و روی خطای reconstruction دیتا، یک طبقه بند برای تشخیص anomaly آموزش داده...

https://towardsdatascience.com/extreme-rare-event-classification-using-autoencoders-in-keras-a565b386f098

#خبر
IEEE RAS International Summer School on Deep Learning for Robot Vision

Santiago & Rancagua, Chile – December 9-13, 2019

http://robotvision2019.amtc.cl/

#چالش جالب و عجیب جدید kaggle

بر اساس تصویر چهره، داشتن یا نداشتن نسبت خونی را تشخیص دهید!

https://www.kaggle.com/c/recognizing-faces-in-the-wild/

#face

#مقاله #سورس_کد
#Adabound
یک optimizer جدید که به خوبی SGD و به سریعی Adam است.
در حال حاضر پیاده سازی pytorch آن است، و ذکر کردند که به زودی نسخه تنسرفلو راهم منتشر میکنند...

An optimizer that trains as fast as Adam and as good as SGD.

https://github.com/Luolc/AdaBound

paper: Adaptive Gradient Methods with Dynamic Bound of Learning Rate
https://openreview.net/forum?id=Bkg3g2R9FX

#optimizer

هرس کردن وزن های شبکی عصبی در تنسرفلو و کراس

این ابزار اکنون قسمتی از Tensorflow Optimization Toolkit و قابل استفاده در #keras است.

در این روش وزنهای نزدیک به ۰ ، ۰ در نظر گرفته میشود، و به تنسورهای sparse میرسند، و علاوه بر کاهش حجم مدل، حافظه مصرفی در زمان اجرا هم کاهش میابد.
در یک آزمایش یک مدل ۱۲ مگابایتی با بهره گیری از این روش در طول آموزش مدلی معادل با ۲ مگ حجم را خروجی داد، و در نهایت با روشهای quantization بعد از آموزش مدل نهایی ۰.۵ مگ شد!!

Keras-based weight pruning API

import tensorflow_model_optimization as tfmot

model = build_your_model()

pruning_schedule = tfmot.sparsity.keras.PolynomialDecay(
initial_sparsity=0.0, final_sparsity=0.5,
begin_step=2000, end_step=4000)

model_for_pruning = tfmot.sparsity.keras.prune_low_magnitude(model, pruning_schedule=pruning_schedule)

...

model_for_pruning.fit(...)

https://medium.com/tensorflow/tensorflow-model-optimization-toolkit-pruning-api-42cac9157a6a

#آموزش ذخیره و لود کردن داده با فرمت #tfrecord در #keras
+کولب نوت بوک

https://codelabs.developers.google.com/codelabs/keras-flowers-data/#4

نکاتی در این مورد از توئیتهای نویسنده نوت بوک، @martin_gorner

The TFRecord format is a way of batching training data into large files. This helps when reading from GCS (Google Cloud Storage). GCS is really fast when reading in parallel from multiple large files. Not good at opening hundreds of thousands of individual files though.

Reading / writing TFRecords is additional work but when using fast accelerators like GPU clusters or TPUs, it pays off.
TFRecord code is less confusing if you remember that
1) in Tensorflow, tf.string is a byte array, not a text string
2) The helper tf.train.FloatList expect lists of floats. But the ill-named tf.train.BytesList expects a list of byte arrays, not bytes.
3) You can store and read variable-length lists of data items in TFRecords but reading from these fields will give you a sparse tensor. (link: http://tf.sparse.to) tf.sparse.to_dense to the rescue.