#Relu
[109] Nair, V. and G. E. Hinton. 2010. “Rectified Linear Units Improve Restricted Boltzmann Machines,” Proc. 27th Int. Conf. Mach. Learn., no. 3, pp. 807–814.

توابع فعالساز دیگری نیز نظیر
Parametric ELU (#PELU)
Exponential Linear Unit (#ELU)
برای شبکه های عمیق مطرح شده اند...

pic: http://deepnn.ir/tensorflow-telegram-files/PELU.PNG

Parametric Exponential Linear Unit for Deep Convolutional Neural Networks
[Submitted to International Conference on Learning Representations (ICLR) 2017]

The #activation function is an important component in #Convolutional Neural Networks (CNNs). For instance, recent breakthroughs in Deep Learning can be attributed to the Rectified Linear Unit (ReLU). Another recently proposed activation function, the #Exponential Linear Unit (ELU), has the supplementary property of reducing bias shift without explicitly centering the values at zero. In this paper, we show that learning a parameterization of ELU improves its performance. We analyzed our proposed #Parametric ELU (PELU) in the context of #vanishing gradients and provide a #gradient-based #optimization framework. We conducted several experiments on CIFAR-10/100 and ImageNet with different network architectures, such as NiN, Overfeat, All-CNN and ResNet. Our results show that our PELU has relative error improvements over ELU of 4.45% and 5.68% on CIFAR-10 and 100, and as much as 7.28% with only 0.0003% #parameter increase on ImageNet. We also observed that Vgg using PELU tended to prefer activations saturating closer to zero, as in ReLU, except at the last layer, which saturated near -2. Finally, other presented results suggest that varying the shape of the activations during training along with the other parameters helps controlling vanishing gradients and bias shift, thus facilitating #learning.
🔗https://arxiv.org/abs/1605.09332
🔗https://arxiv.org/pdf/1605.09332v3.pdf

Poster: 🔗http://deepnn.ir/tensorflow-telegram-files/PELU-DLSS_2016.pdf

related: http://www.kdnuggets.com/2016/03/must-know-tips-deep-learning-part-2.html

دوره آموزشی آنلاین «یادگیری ژرف (#deep_learning):

🔗URL: http://course.fast.ai/

در این دوره رایگان که مدت آن ۷ هفته و هر هفته 10 ساعت زمان نیاز است، مبانی یادگیری عمیق بر اساس سرفصل‌های دانشگاه سان فرانسیسکو در قالب ویدئو تدریس می‌شود:

این ویدیوها قسمت اول است و قسمت دوم ویدیوها در تاریخ
May 2017
در همین سایت به صورت آنلاین قرار خواهد گرفت...

پیش نیازها:
- حداقل یکسال سابقه برنامه نویسی
- ریاضی در حد دبیرستان

0—Why deep learning; Intro to convolutions
1—#Recognizing cats and dogs
2—#Convolutional neural networks
3—#Under_fitting and #over_fitting
4—#Collaborative filtering, embeddings, and more
5—Intro to #NLP and RNNs
6—Building RNNs
7—Exotic #CNN architectures; #RNN from scratch

#course

Two blogs with wonderful posts about deep learning
دو وبلاگ با پست‌های عالی و شگفت‌انگیز در مورد یادگیری عمیق
http://distill.pub
http://colah.github.io
#blog #deep_learning

Neural Style in Tensorflow
#neural_style
http://www.anishathalye.com/2015/12/19/an-ai-that-can-mimic-any-artist/

Some implementations of Neural Style
https://github.com/andersbll/neural_artistic_style
https://github.com/anishathalye/neural-style
https://github.com/jcjohnson/neural-style
https://github.com/jcjohnson/fast-neural-style
#neural_style

👆
مربوط به ارائه ی دکتر اسلامی در دانشگاه تهران است

#Google_Nature_paper
Human-level control through deep reinforcement learning
#deep_reinforcement_learning
#deepmind

احتمالا قبلا در مورد هوش مصنوعی ای که بازی شطرنج بازی میکرد و اکثر بازیکنان حرفه ای شطرنج را برده شنیده اید! اما حقیقت این است که آن هوش مصنوعی تنها قادر بود شطرنج بازی کند و در واقع فقط برای آن بازی آموزش دیده بود و توانایی هیچ کار دیگری نداشت!

محققان گوگل در مقاله ی سال 2015 نیچر با استفاده از ایده ی #یادگیری_تقویتی شبکه عصبی طراحی کردند که قادر بود که خودش بازی ها را یاد بگیرد!
این هوش مصنوعی که به عنوان ورودی صفحه RGB بازی و به عنوان پاداش امتیاز کسب شده از بازی را دریافت میکرد، با 50 بازی آتاری تست شد و نتایج اعجاب انگیزی داشت!

نکته ی جالب این بود یک ساختار شبکه، توانسته بود خودش هر یک از بازی های آتاری را بیاموزد و در بسیاری از بازی ها از بهترین بازیکن ها ی این بازی ها بهتر بازی کند.

ویدیو نتایج بازی منتشر شده توسط google deepmind:
https://youtu.be/TmPfTpjtdgg
یا
http://deepnn.ir/tensorflow-telegram-files/DQN%20Breakout.mp4


با استفاده از ایده‌ی #یادگیری_تقویتی، نیاز به داده هایی که انسان در آن دست برده کم تر شده و مدل یا ربات می‌تواند خودش از دنیای پیرامون اطلاعات کسب کند. در این نوع یادگیری در نهایت تنها پاداش به مدل داده می‌شود.

#reinforcement_learning #rl #deepmind #atari

https://deepmind.com/blog/deep-reinforcement-learning/

Amazingly, DQN achieved human-level performance in almost half of the 50 games to which it was applied; far beyond any previous method. The #DQN source code and Atari 2600 emulator are freely available to anyone who wishes to experiment for themselves.

سورس این شبکه به زبان lua:
https://sites.google.com/a/deepmind.com/dqn/

Atari 2600 emulator برای اجرای بازی های آتاری:
http://stella.sourceforge.net/

فایل صوتی و اسلایدهای آموزش مقدماتی #تنسورفلو توسط آقای لواسانی.
در سمینار آشنایی با مسایل پردازش زبان طبیعی توسط یادگیری ژرف
دانشگاه شهید بهشتی مورخ 24 آذر 1395👆
#beheshti #nlp #Tensorflow

پیاده سازی در #تنسورفلو
https://github.com/devsisters/DQN-tensorflow/
#DQN #deepmind

فیلم ارائه :

📝موضوع : Modern Artificial Intelligence via Deep Learning

http://www.aparat.com/v/ZgHv8#

👤 ارائه دهنده :دکتر علی اسلامی
⏱ زمان: ١١ دى 1395
🔅 محل : دانشگاه تهران

#ارائه #فیلم #سمینار #سخنرانی #eslami #deepmind

@cvision

کانال منابع برنامه نویسی:
https://telegram.me/pythony

دو سورس کد جالب در تنسرفلو برای بازی های ویدیویی

pic: http://deepnn.ir/tensorflow-telegram-files/TensorKart.gif
—----------------------
1:
artificial neural network to play Mario Kart 64
(Published: January 4th, 2017)
🔗http://sdtimes.com/developer-trains-artificial-neural-network-play-mario-kart-64/

پیاده سازی در تنسورفلو
(self-driving #MarioKart with #TensorFlow)
🔗https://github.com/kevinhughes27/TensorKart
—----------------------
2:
#Nvidia 2016 paper:
End to End Learning for #Self_Driving Cars
🔗paper: https://arxiv.org/pdf/1604.07316.pdf

پیاده سازی در تنسورفلو
(A TensorFlow implementation of this Nvidia paper) :
🔗https://github.com/SullyChen/Autopilot-TensorFlow

شبکه CNN که قابلیت پردازش بلارنگ تصاویر با پردازنده موبایل را دارد👇👇👇
http://videolectures.net/eccv2016_rastegari_neural_networks/?q=eccv%202016

#xnor_net

اسلاید ارائه :

📝موضوع : The Next Frontier in AI: Unsupervised Learning


👤 ارائه دهنده :#Yann_LeCun
⏱ زمان: November 18, 2016

#اسلاید

@cvision

🎙📢 دیجی‌کالا FM: گفت‌وگو با دکتر علی اسلامی، نخبه‌ی ۲۹ ساله‌‌ی گوگل!

@DKMag | دیجی‌کالا‌مگ
#DigikalaFM #Interview