Contributions:
1. We propose S+U learning that uses unlabeled real
data to refine the synthetic images generated by a
simulator.
2. We train a refiner network to add realism to synthetic
images using a combination of an adversarial
loss and a self-regularization loss.
3. We make several key modifications to the #GAN
training framework to stabilize training and prevent
the refiner network from producing artifacts.
4. We present qualitative, quantitative, and user study
experiments showing that the proposed framework
significantly improves the realism of the simulator
output. We achieve state-of-the-art results, without
any human annotation effort, by training deep neural
networks on the refined output images.

Deep Learning 2016: The Year in Review

http://www.deeplearningweekly.com/blog/deep-learning-2016-the-year-in-review

✔️ #Unsupervised and #Reinforcement Learning
✔️ Deep Reinforcement Learning
✔️ #Generative Models
✔️ Continued Openness in AI development
✔️ Partnerships & Acquisitions
✔️ Hardware & Chips

(by Jan Bussieck on December 31, 2016)

In order to understand trends in the field, I find it helpful to think of developments in #deep_learning as being driven by three major frontiers that limit the success of #artificial_intelligence in general and deep learning in particular. Firstly, there is the available #computing power and #infrastructure, such as fast #GPUs, cloud services providers (have you checked out Amazon's new #EC2 P2 instance ?) and tools (#Tensorflow, #Torch, #Keras etc), secondly, there is the amount and quality of the training data and thirdly, the algorithms (#CNN, #LSTM, #SGD) using the training data and running on the hardware. Invariably behind every new development or advancement, lies an expansion of one of these frontiers.
...

Generative Adversarial Denoising Autoencoder for #Face Completion
pic: http://www.cc.gatech.edu/~hays/7476/projects/Avery_Wenchen/images/one.png

🔗http://www.cc.gatech.edu/~hays/7476/projects/Avery_Wenchen/
#GAN
#Generative #adversarial #Generative_Models #Autoencoder

قلب انسان "مغز" دارد !
http://isna.ir/news/95101207026
تحقیقات اخیر نشان می‌دهد که قلب، دارای یک "مغز منحصر به خود" است به این معنی که قلب نیز دارای یک مرکز بوده که اطلاعات را حمل و دریافت می‌کند
"مغز قلب"، قلب را قادر می سازد تا عملکردهایی نظیر یادگیری، یادآوری و تصمیم گیری را جدا از قشر مخ انجام دهد


...آنچه باعث شگفتی می‌شود این است که قلب این اطلاعات را برای اولین بار و حتی زودتر از مغز دریافت می‌کند.

#Ali_Eslami
اسلاید ارائه ی دکتر علی اسلامی با موضوع :
Intelligent Perception
(Beyond Supervised #Deep_Learning)
۸ دی 1395، دانشگاه #شریف

#اسلاید #اسلامی #سمینار #زمستانه

#Ali_Eslami
اسلاید ارائه ی دکتر علی اسلامی با موضوع :

Modern Artificial Intelligence via Deep Learning
(Beyond Supervised #Deep_Learning)
شنبه ١١ دى 1395، دانشگاه #تهران
#اسلاید #اسلامی #سمینار

http://www.kurzweilai.net/apples-first-ai-paper-focuses-on-creating-superrealistic-image-recognition

#apple #GAN

The Alien Style of Deep Learning #Generative Design
https://medium.com/intuitionmachine/the-alien-look-of-deep-learning-generative-design-5c5f871f7d10

[Dec 25, 2016, 3min read]


طراحی های بیگانه، عجیب و کارا توسط یادگیری ژرف!

با استفاده از generative modelها ایده های جالبی برای طراحی های صنعتی یا حتی ایده ی دکوراسیون منزل خروجی بگیرید!

همچنین توانسته یک شبکه ی lstm بهینه را بسازد (کاربرد متا مدل)

این روش به طراحان اجازه می دهد به اهداف طراحی ورودی خاص، از جمله الزامات عملکردی، نوع مواد، روش ساخت، معیارهای عملکرد و محدودیت های هزینه را به عنوان ورودی بدهند.
سیستم پس از ایجاد طرح های مختلف و جستجو در بین طرح های خلق شده، بر اساس نیازمندی های ذکر شده بهترین طرح های پیشنهادی را خروجی میدهد!

#Alien_Style #GAN

چرا استفاده از تابع فعالسازی Relu به جای sigmoid در شبکه های عمیق رایج است؟ چه مزایایی دارد؟
pic: http://jmbeaujour.com/pics/posts_pics/udacity-DL/reLu_function.png
مزایا:
- تنها 50 درصد مواقع این تابع فعال می‌شود و در نتیجه از لحاظ پردازشی صرفه جویی میشود.
- جلوی انفجار گرادیان یا محو شدن آن را میگیرد. (عجب ترجمه ای!)

- با یافته های بیولوژیکی توسط نوروساینتیست ها مطابقت بیشتری دارد (علوم شناختی)

#ReLU provides some important benefits that might not be obvious at first glance:

✔️during the initialization process of a Neural Network model, weights are distributed at random for each unit. ReLU will only activate approximately 50% of the time, which actually saves some processing
power.

✔️The ReLU structure also solves the 'Vanishing Gradient' and 'Exploding Gradient' problems,both of which are well-known issues with the training process.


✔️ as a marginal benefit, this type of activation achieves 'Biological Plausibility', because it's directly relatable to the common biological model of a neuron.

#Relu
[109] Nair, V. and G. E. Hinton. 2010. “Rectified Linear Units Improve Restricted Boltzmann Machines,” Proc. 27th Int. Conf. Mach. Learn., no. 3, pp. 807–814.

توابع فعالساز دیگری نیز نظیر
Parametric ELU (#PELU)
Exponential Linear Unit (#ELU)
برای شبکه های عمیق مطرح شده اند...

pic: http://deepnn.ir/tensorflow-telegram-files/PELU.PNG

Parametric Exponential Linear Unit for Deep Convolutional Neural Networks
[Submitted to International Conference on Learning Representations (ICLR) 2017]

The #activation function is an important component in #Convolutional Neural Networks (CNNs). For instance, recent breakthroughs in Deep Learning can be attributed to the Rectified Linear Unit (ReLU). Another recently proposed activation function, the #Exponential Linear Unit (ELU), has the supplementary property of reducing bias shift without explicitly centering the values at zero. In this paper, we show that learning a parameterization of ELU improves its performance. We analyzed our proposed #Parametric ELU (PELU) in the context of #vanishing gradients and provide a #gradient-based #optimization framework. We conducted several experiments on CIFAR-10/100 and ImageNet with different network architectures, such as NiN, Overfeat, All-CNN and ResNet. Our results show that our PELU has relative error improvements over ELU of 4.45% and 5.68% on CIFAR-10 and 100, and as much as 7.28% with only 0.0003% #parameter increase on ImageNet. We also observed that Vgg using PELU tended to prefer activations saturating closer to zero, as in ReLU, except at the last layer, which saturated near -2. Finally, other presented results suggest that varying the shape of the activations during training along with the other parameters helps controlling vanishing gradients and bias shift, thus facilitating #learning.
🔗https://arxiv.org/abs/1605.09332
🔗https://arxiv.org/pdf/1605.09332v3.pdf

Poster: 🔗http://deepnn.ir/tensorflow-telegram-files/PELU-DLSS_2016.pdf

related: http://www.kdnuggets.com/2016/03/must-know-tips-deep-learning-part-2.html

دوره آموزشی آنلاین «یادگیری ژرف (#deep_learning):

🔗URL: http://course.fast.ai/

در این دوره رایگان که مدت آن ۷ هفته و هر هفته 10 ساعت زمان نیاز است، مبانی یادگیری عمیق بر اساس سرفصل‌های دانشگاه سان فرانسیسکو در قالب ویدئو تدریس می‌شود:

این ویدیوها قسمت اول است و قسمت دوم ویدیوها در تاریخ
May 2017
در همین سایت به صورت آنلاین قرار خواهد گرفت...

پیش نیازها:
- حداقل یکسال سابقه برنامه نویسی
- ریاضی در حد دبیرستان

0—Why deep learning; Intro to convolutions
1—#Recognizing cats and dogs
2—#Convolutional neural networks
3—#Under_fitting and #over_fitting
4—#Collaborative filtering, embeddings, and more
5—Intro to #NLP and RNNs
6—Building RNNs
7—Exotic #CNN architectures; #RNN from scratch

#course

Two blogs with wonderful posts about deep learning
دو وبلاگ با پست‌های عالی و شگفت‌انگیز در مورد یادگیری عمیق
http://distill.pub
http://colah.github.io
#blog #deep_learning

Neural Style in Tensorflow
#neural_style
http://www.anishathalye.com/2015/12/19/an-ai-that-can-mimic-any-artist/

Some implementations of Neural Style
https://github.com/andersbll/neural_artistic_style
https://github.com/anishathalye/neural-style
https://github.com/jcjohnson/neural-style
https://github.com/jcjohnson/fast-neural-style
#neural_style

👆
مربوط به ارائه ی دکتر اسلامی در دانشگاه تهران است

#Google_Nature_paper
Human-level control through deep reinforcement learning
#deep_reinforcement_learning
#deepmind

احتمالا قبلا در مورد هوش مصنوعی ای که بازی شطرنج بازی میکرد و اکثر بازیکنان حرفه ای شطرنج را برده شنیده اید! اما حقیقت این است که آن هوش مصنوعی تنها قادر بود شطرنج بازی کند و در واقع فقط برای آن بازی آموزش دیده بود و توانایی هیچ کار دیگری نداشت!

محققان گوگل در مقاله ی سال 2015 نیچر با استفاده از ایده ی #یادگیری_تقویتی شبکه عصبی طراحی کردند که قادر بود که خودش بازی ها را یاد بگیرد!
این هوش مصنوعی که به عنوان ورودی صفحه RGB بازی و به عنوان پاداش امتیاز کسب شده از بازی را دریافت میکرد، با 50 بازی آتاری تست شد و نتایج اعجاب انگیزی داشت!

نکته ی جالب این بود یک ساختار شبکه، توانسته بود خودش هر یک از بازی های آتاری را بیاموزد و در بسیاری از بازی ها از بهترین بازیکن ها ی این بازی ها بهتر بازی کند.

ویدیو نتایج بازی منتشر شده توسط google deepmind:
https://youtu.be/TmPfTpjtdgg
یا
http://deepnn.ir/tensorflow-telegram-files/DQN%20Breakout.mp4


با استفاده از ایده‌ی #یادگیری_تقویتی، نیاز به داده هایی که انسان در آن دست برده کم تر شده و مدل یا ربات می‌تواند خودش از دنیای پیرامون اطلاعات کسب کند. در این نوع یادگیری در نهایت تنها پاداش به مدل داده می‌شود.

#reinforcement_learning #rl #deepmind #atari

https://deepmind.com/blog/deep-reinforcement-learning/

Amazingly, DQN achieved human-level performance in almost half of the 50 games to which it was applied; far beyond any previous method. The #DQN source code and Atari 2600 emulator are freely available to anyone who wishes to experiment for themselves.

سورس این شبکه به زبان lua:
https://sites.google.com/a/deepmind.com/dqn/

Atari 2600 emulator برای اجرای بازی های آتاری:
http://stella.sourceforge.net/