در مقاله ی
Efficient Object Localization Using Convolutional Networks
از یک روش dropout به نام Spatial Dropout استفاده کرده است که به جای حذف تصادفی تک تک نورون ها کل یک کانال یا feature map با یک احتمال مشخص حذف میشود.
هدف از اینکار جلوگیری از correlated شدن feature map های هر لایه و در نتیجه regularization بهتر است.

مقاله:
https://arxiv.org/abs/1411.4280

سوال و قطعه کد پیاده سازی مرتبط:
https://stats.stackexchange.com/questions/282282/how-is-spatial-dropout-in-2d-implemented

تابع در تنسرفلو و کراس
https://www.tensorflow.org/api_docs/python/tf/keras/layers/SpatialDropout3D

#keras #tensorflow #dropout #spatialdropout #regularize

#مقاله #سورس_کد

#Pytorch implementation for high-resolution (e.g. 2048x1024) photorealistic video-to-video translation.
https://github.com/NVIDIA/vid2vid

#nvidia #vid2vid #gan

مقایسه تعداد آگهی های شغلی برای هر کدام از فریمورک های یادگیری عمیق.

🙏Thanks to: @partdpai

تعداد جستجوهای انجام شده برای هر کدام از فریمورک ها در موتور جستجوی گوگل

https://bit.ly/2QOkvPS

🙏 Thanks to: @partdpai

تعداد مقالات منتشر شده که به وسیله فریمورک های مختلف یادگیری عمیق پیاده سازی شده اند.

https://bit.ly/2QOkvPS

🙏Thanks to: @partdpai

با ابراز تاسف و تأثر برای حمله تروریستی، وحشیانه و ضد انسانی امروز اهواز، به هم میهنان، خصوصا اهوازی ها تسلیت عرض مینماییم.
✖️حمله‌ی تروریستی به هر شکل و شمایل، و در هر کجای دنیا محکوم است.
@cvision

#آموزش
#Tensorflow Text classification with movie reviews

Hands on tutorial:
https://www.tensorflow.org/tutorials/keras/basic_text_classification

Video part 1:
Prepare your data for ML | Text Classification Tutorial Pt. 1 (Coding TensorFlow)
https://www.youtube.com/watch?v=BO4g2DRvL6U

Video part 2:
Designing a neural network | Text Classification Tutorial Pt. 2 (Coding TensorFlow)
https://www.youtube.com/watch?v=vPrSca-YjFg

#nlp #text

#release
نسخه ۱.۱۱ تنسورفلو منتشر شد


TensorFlow 1.11.0 has been released! Please see the full release notes for details on added features and changes.
https://github.com/tensorflow/tensorflow/releases/tag/v1.11.0

#Tensorflow

#کورس #منبع #یادگیری_ماشین
Introduction to Machine Learning for Coders!

کورس جدید یادگیری ماشین Jeremy Howard مدرس معروف دوره های Fast.Ai معرفی شد.
این ویدیوها در دانشگاه San Francisco تهیه شده
سرفصل ها:
1—Introduction to Random Forests
2—Random Forest Deep Dive
3—Performance, Validation and Model Interpretation
4—Feature Importance, Tree Interpreter
5—Extrapolation and RF from Scratch
6—Data Products and Live Coding
7—RF from Scratch and Gradient Descent
8—Gradient Descent and Logistic Regression
9—Regularization, Learning Rates and NLP
10— More NLP and Columnar Data
11—Embeddings
12— Complete Rossmann, Ethical Issues

آدرس کورس:
http://course.fast.ai/ml

اطلاعات بیشتر:
http://www.fast.ai/2018/09/26/ml-launch/

#خبر

ابزار بصری سازی tfjs-vis برای TensorFlow.jsدر مرورگر معرفی شد:

We are excited to announce tfjs-vis, a browser based visualization library for TensorFlow.js. It has charts to let you see the data flowing through your model, and a convenient hide-able drawer to put them in while developing your apps.

https://github.com/tensorflow/tfjs-vis

یک illusion جذاب!
اگر تصویر سمت چپ را نگاه کنید، چرخش هر سه تصویر در جهت عقربه های ساعت، و اگر تصویر سمت راست را بنگرید، هر سه تصویر پادساعتگرد به نظر میرسند...

#مقاله
آموزش روی مجموعه داده ImageNet در یک ساعت با سایز مینی بچ 8192 بدون افت کارایی.

Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour
https://arxiv.org/abs/1706.02677

مرتبط با پست

https://news.1rj.ru/str/cvision/721
در مقاله ای که در توئیت یان لیکان معرفی شده بود، توصیه شده بود سایز بچ را بزرگتر از 32 نگذاریم
https://news.1rj.ru/str/cvision/560

اما در این مقاله، با استفاده از تکنیک هایی که معرفی کرده توانسته سایز minibatch را با در اختیار داشتن ۲۵۶ پردازنه گرافیکی ۸۱۹۲ قرار بده و افت کارایی نداشته باشه!

#mini_batch

توئیت Jeremy Howard پیرامون تکنیک مقداردهی اولیه پارامترهای قابل یادگیری لایه های BN در مقاله Imagenet in 1 hour

مرتبط با
https://news.1rj.ru/str/cvision/720

#batch_norm

#مقاله #خوشه_بندی

[Pic: https://news.1rj.ru/str/cvision/722]

Web scale photo hash clustering on a single machine
https://ieeexplore.ieee.org/document/7298596

محققان فیس بوک در مقاله سال ۲۰۱۵ با ارائه ی نسخه ای از خوشه بندی k-means و با باینری کردن بردارهای ویژگی تصاویر و سپس index کردن مراکز خوشه های باینری شده برای کاهش زمان جست و جو ، راه حل عملی برای خوشه بندی میلیون ها تصویر بر روی یک ماشین و در چند دقیقه ارائه کردند...
این خوشه بندی بر روی مجموعه داده Imagenet نیز اعمال شده است.

#FLANN is a library for performing fast approximate nearest neighbor
searches in high dimensional spaces. It contains a collection of algorithms we found to work best for #nearest_neighbor search and a system for automatically choosing the best algorithm and optimum parameters depending on the dataset. FLANN is written in C++ and contains bindings for the following languages: C, MATLAB, #Python, and Ruby

code: https://github.com/mariusmuja/flann
project page: http://www.cs.ubc.ca/research/flann/
paper: https://github.com/mariusmuja/flann (2009)

#خبر
امروز به صورت همزمان هم (پیش نمایش) نسخه 1 فریمورک #پایتورچ و هم نسخه 1 کتابخانه یادگیری عمیق سطح بالای fastai (که بر روی پایتورچ نسخه 1 نوشته شده است) منتشر شدند.
کتابخانه :fastai
https://github.com/fastai/fastai
مستندات کتابخانه fastai هم بعد از مدت ها بالاخره منتشر شد.
http://docs.fast.ai

#خبر #framework
توصیه ی Andrej Karpathy برای استفاده از فریم ورک FastAI و خوشحالی شدید Jeremy Howard ...
https://twitter.com/jeremyphoward/status/1047215781023367168

#خبر
گوگل کولب file browser اضافه کرد...
اکنون شما میتوانید فایلهایتان را با یک کلیک آپلود و دانلود کنید.
#colab

#خبر
Introducing #PyTorch across Google Cloud

PyTorch 1.0 Preview is now available on Google Cloud, in virtual machine images, #Kubeflow, #Tensorboard, and on TPUs.

https://cloud.google.com/blog/products/ai-machine-learning/introducing-pytorch-across-google-cloud

معرفی kuberflow برای serve کردن مدلهای PyTorch برای deployment

#Kubeflow is an open source platform designed to make end-to-end ML pipelines easy to deploy and manage. Kubeflow already supports #PyTorch, and the Kubeflow community has already developed a PyTorch package that can be installed in a Kubeflow #deployment with just two commands. Additionally, in collaboration with #NVIDIA, we have extended the #TensorRT package in Kubeflow to support #serving PyTorch models. We aim for Kubeflow to be the easiest way to build portable, scalable and composable PyTorch pipelines that #run_everywhere.

https://www.kubeflow.org/