Deep Learning 2016: The Year in Review

http://www.deeplearningweekly.com/blog/deep-learning-2016-the-year-in-review

✔️ #Unsupervised and #Reinforcement Learning
✔️ Deep Reinforcement Learning
✔️ #Generative Models
✔️ Continued Openness in AI development
✔️ Partnerships & Acquisitions
✔️ Hardware & Chips

(by Jan Bussieck on December 31, 2016)

In order to understand trends in the field, I find it helpful to think of developments in #deep_learning as being driven by three major frontiers that limit the success of #artificial_intelligence in general and deep learning in particular. Firstly, there is the available #computing power and #infrastructure, such as fast #GPUs, cloud services providers (have you checked out Amazon's new #EC2 P2 instance ?) and tools (#Tensorflow, #Torch, #Keras etc), secondly, there is the amount and quality of the training data and thirdly, the algorithms (#CNN, #LSTM, #SGD) using the training data and running on the hardware. Invariably behind every new development or advancement, lies an expansion of one of these frontiers.
...

Generative Adversarial Denoising Autoencoder for #Face Completion
pic: http://www.cc.gatech.edu/~hays/7476/projects/Avery_Wenchen/images/one.png

🔗http://www.cc.gatech.edu/~hays/7476/projects/Avery_Wenchen/
#GAN
#Generative #adversarial #Generative_Models #Autoencoder

قلب انسان "مغز" دارد !
http://isna.ir/news/95101207026
تحقیقات اخیر نشان می‌دهد که قلب، دارای یک "مغز منحصر به خود" است به این معنی که قلب نیز دارای یک مرکز بوده که اطلاعات را حمل و دریافت می‌کند
"مغز قلب"، قلب را قادر می سازد تا عملکردهایی نظیر یادگیری، یادآوری و تصمیم گیری را جدا از قشر مخ انجام دهد


...آنچه باعث شگفتی می‌شود این است که قلب این اطلاعات را برای اولین بار و حتی زودتر از مغز دریافت می‌کند.

#Ali_Eslami
اسلاید ارائه ی دکتر علی اسلامی با موضوع :
Intelligent Perception
(Beyond Supervised #Deep_Learning)
۸ دی 1395، دانشگاه #شریف

#اسلاید #اسلامی #سمینار #زمستانه

#Ali_Eslami
اسلاید ارائه ی دکتر علی اسلامی با موضوع :

Modern Artificial Intelligence via Deep Learning
(Beyond Supervised #Deep_Learning)
شنبه ١١ دى 1395، دانشگاه #تهران
#اسلاید #اسلامی #سمینار

http://www.kurzweilai.net/apples-first-ai-paper-focuses-on-creating-superrealistic-image-recognition

#apple #GAN

The Alien Style of Deep Learning #Generative Design
https://medium.com/intuitionmachine/the-alien-look-of-deep-learning-generative-design-5c5f871f7d10

[Dec 25, 2016, 3min read]


طراحی های بیگانه، عجیب و کارا توسط یادگیری ژرف!

با استفاده از generative modelها ایده های جالبی برای طراحی های صنعتی یا حتی ایده ی دکوراسیون منزل خروجی بگیرید!

همچنین توانسته یک شبکه ی lstm بهینه را بسازد (کاربرد متا مدل)

این روش به طراحان اجازه می دهد به اهداف طراحی ورودی خاص، از جمله الزامات عملکردی، نوع مواد، روش ساخت، معیارهای عملکرد و محدودیت های هزینه را به عنوان ورودی بدهند.
سیستم پس از ایجاد طرح های مختلف و جستجو در بین طرح های خلق شده، بر اساس نیازمندی های ذکر شده بهترین طرح های پیشنهادی را خروجی میدهد!

#Alien_Style #GAN

چرا استفاده از تابع فعالسازی Relu به جای sigmoid در شبکه های عمیق رایج است؟ چه مزایایی دارد؟
pic: http://jmbeaujour.com/pics/posts_pics/udacity-DL/reLu_function.png
مزایا:
- تنها 50 درصد مواقع این تابع فعال می‌شود و در نتیجه از لحاظ پردازشی صرفه جویی میشود.
- جلوی انفجار گرادیان یا محو شدن آن را میگیرد. (عجب ترجمه ای!)

- با یافته های بیولوژیکی توسط نوروساینتیست ها مطابقت بیشتری دارد (علوم شناختی)

#ReLU provides some important benefits that might not be obvious at first glance:

✔️during the initialization process of a Neural Network model, weights are distributed at random for each unit. ReLU will only activate approximately 50% of the time, which actually saves some processing
power.

✔️The ReLU structure also solves the 'Vanishing Gradient' and 'Exploding Gradient' problems,both of which are well-known issues with the training process.


✔️ as a marginal benefit, this type of activation achieves 'Biological Plausibility', because it's directly relatable to the common biological model of a neuron.

#Relu
[109] Nair, V. and G. E. Hinton. 2010. “Rectified Linear Units Improve Restricted Boltzmann Machines,” Proc. 27th Int. Conf. Mach. Learn., no. 3, pp. 807–814.

توابع فعالساز دیگری نیز نظیر
Parametric ELU (#PELU)
Exponential Linear Unit (#ELU)
برای شبکه های عمیق مطرح شده اند...

pic: http://deepnn.ir/tensorflow-telegram-files/PELU.PNG

Parametric Exponential Linear Unit for Deep Convolutional Neural Networks
[Submitted to International Conference on Learning Representations (ICLR) 2017]

The #activation function is an important component in #Convolutional Neural Networks (CNNs). For instance, recent breakthroughs in Deep Learning can be attributed to the Rectified Linear Unit (ReLU). Another recently proposed activation function, the #Exponential Linear Unit (ELU), has the supplementary property of reducing bias shift without explicitly centering the values at zero. In this paper, we show that learning a parameterization of ELU improves its performance. We analyzed our proposed #Parametric ELU (PELU) in the context of #vanishing gradients and provide a #gradient-based #optimization framework. We conducted several experiments on CIFAR-10/100 and ImageNet with different network architectures, such as NiN, Overfeat, All-CNN and ResNet. Our results show that our PELU has relative error improvements over ELU of 4.45% and 5.68% on CIFAR-10 and 100, and as much as 7.28% with only 0.0003% #parameter increase on ImageNet. We also observed that Vgg using PELU tended to prefer activations saturating closer to zero, as in ReLU, except at the last layer, which saturated near -2. Finally, other presented results suggest that varying the shape of the activations during training along with the other parameters helps controlling vanishing gradients and bias shift, thus facilitating #learning.
🔗https://arxiv.org/abs/1605.09332
🔗https://arxiv.org/pdf/1605.09332v3.pdf

Poster: 🔗http://deepnn.ir/tensorflow-telegram-files/PELU-DLSS_2016.pdf

related: http://www.kdnuggets.com/2016/03/must-know-tips-deep-learning-part-2.html

دوره آموزشی آنلاین «یادگیری ژرف (#deep_learning):

🔗URL: http://course.fast.ai/

در این دوره رایگان که مدت آن ۷ هفته و هر هفته 10 ساعت زمان نیاز است، مبانی یادگیری عمیق بر اساس سرفصل‌های دانشگاه سان فرانسیسکو در قالب ویدئو تدریس می‌شود:

این ویدیوها قسمت اول است و قسمت دوم ویدیوها در تاریخ
May 2017
در همین سایت به صورت آنلاین قرار خواهد گرفت...

پیش نیازها:
- حداقل یکسال سابقه برنامه نویسی
- ریاضی در حد دبیرستان

0—Why deep learning; Intro to convolutions
1—#Recognizing cats and dogs
2—#Convolutional neural networks
3—#Under_fitting and #over_fitting
4—#Collaborative filtering, embeddings, and more
5—Intro to #NLP and RNNs
6—Building RNNs
7—Exotic #CNN architectures; #RNN from scratch

#course

Two blogs with wonderful posts about deep learning
دو وبلاگ با پست‌های عالی و شگفت‌انگیز در مورد یادگیری عمیق
http://distill.pub
http://colah.github.io
#blog #deep_learning

Neural Style in Tensorflow
#neural_style
http://www.anishathalye.com/2015/12/19/an-ai-that-can-mimic-any-artist/

Some implementations of Neural Style
https://github.com/andersbll/neural_artistic_style
https://github.com/anishathalye/neural-style
https://github.com/jcjohnson/neural-style
https://github.com/jcjohnson/fast-neural-style
#neural_style

👆
مربوط به ارائه ی دکتر اسلامی در دانشگاه تهران است

#Google_Nature_paper
Human-level control through deep reinforcement learning
#deep_reinforcement_learning
#deepmind

احتمالا قبلا در مورد هوش مصنوعی ای که بازی شطرنج بازی میکرد و اکثر بازیکنان حرفه ای شطرنج را برده شنیده اید! اما حقیقت این است که آن هوش مصنوعی تنها قادر بود شطرنج بازی کند و در واقع فقط برای آن بازی آموزش دیده بود و توانایی هیچ کار دیگری نداشت!

محققان گوگل در مقاله ی سال 2015 نیچر با استفاده از ایده ی #یادگیری_تقویتی شبکه عصبی طراحی کردند که قادر بود که خودش بازی ها را یاد بگیرد!
این هوش مصنوعی که به عنوان ورودی صفحه RGB بازی و به عنوان پاداش امتیاز کسب شده از بازی را دریافت میکرد، با 50 بازی آتاری تست شد و نتایج اعجاب انگیزی داشت!

نکته ی جالب این بود یک ساختار شبکه، توانسته بود خودش هر یک از بازی های آتاری را بیاموزد و در بسیاری از بازی ها از بهترین بازیکن ها ی این بازی ها بهتر بازی کند.

ویدیو نتایج بازی منتشر شده توسط google deepmind:
https://youtu.be/TmPfTpjtdgg
یا
http://deepnn.ir/tensorflow-telegram-files/DQN%20Breakout.mp4


با استفاده از ایده‌ی #یادگیری_تقویتی، نیاز به داده هایی که انسان در آن دست برده کم تر شده و مدل یا ربات می‌تواند خودش از دنیای پیرامون اطلاعات کسب کند. در این نوع یادگیری در نهایت تنها پاداش به مدل داده می‌شود.

#reinforcement_learning #rl #deepmind #atari

https://deepmind.com/blog/deep-reinforcement-learning/

Amazingly, DQN achieved human-level performance in almost half of the 50 games to which it was applied; far beyond any previous method. The #DQN source code and Atari 2600 emulator are freely available to anyone who wishes to experiment for themselves.

سورس این شبکه به زبان lua:
https://sites.google.com/a/deepmind.com/dqn/

Atari 2600 emulator برای اجرای بازی های آتاری:
http://stella.sourceforge.net/