مروری بر هوش مصنوعی در سال ۲۰۲۱ و پیش‌بینی روند سال آینده
لینک کانال
https://news.1rj.ru/str/project_ml
سال ۲۰۲۱ هم تمام شد و کلی مقاله و مدل و اتفاقات جدید در حوزه هوش مصنوعی رو شاهد بودیم. به همین مناسبت بررسی گزارش StateofAI که از ۲۰۱۸ به اینور در انتهای هر سال راجع به وضعیت و رخداد‌های هوش خلاصه‌ای رو ارائه میده، بسیار جذاب و سودمند میتونه باشه. در گزارش امسالشون هم چهار حوزه پیشرفت‌های علمی، وضعیت عرضه و تقاضا و تمرکز استعدادهای انسانی، زمینه‌های کاربرد تجاری هوش مصنوعی و تاثیراتش بر کسب و کار‌ها، رابطه هوش مصنوعی و مسائل سیاسی و ژئوپلتیک هوش مصنوعی رو بررسی کردند و در نهایت هم پیش‌بینی از رخداد‌های سال آینده ارائه دادند. این گزارش شامل ۱۸۳ اسلاید بسیار غنی است. در زیر سعی شده تا خلاصه‌ای از این خلاصه ارائه بشه:

- در حوزه پیشرفت علمی مهمترین مطالب این گزارش رو میشه رشد یادگیری‌های کمتر نظارتی (مثل خودنظارتی‌ها)، تصرف حوزه‌های مختلف هوش به دست معماری ترنسفورمری (تصویر و صوت)، ظهور معماری های نوین CNN و MLP برای به چالش کشیدن ترنسفورمر‌ها (مثل MLP-Mixer)، پیشرفت قابل توجه دیپ مایند در حوزه بیولوژی و یادگیری تقویتی و به وجود اومدن مساله مهندسی prompt در مدل‌های زبانی دانست. مدل‌هایی مثل DALL-E و CLIP و Codex هم که مدل‌های پر سر و صدای امسال بودند.
- نکته جالب این گزارش در حوزه منابع انسانی حوزه هوش رو هم میشه در رشد سریع هند و به خصوص چین در تولید مقالات و تربیت نیروی انسانی دید. همچنین مطلب دیگه محدودتر شدن ارائه کارهای برجسته به تعداد اندکی دانشگاه‌ و شرکت‌های پولدار و مهاجرت وسیع اساتید از دانشگاه‌ها به شرکت‌هاست.
- در حوزه تاثیرات تجاری هوش هم این گزارش به پیشرفت هوش در صنعت کشف دارو، گسترده‌شدن کاربردهای هوش (از تخمین مصرف برق در شبکه توزیع گرفته تا زمان مناسب لقاح مصنوعی گاو) و البته در نهایت مساله مهم MLOps و به‌راه‌اندازی و استقرار و استفاده از مدل‌های یادگیری ماشین اشاره کرده. مشکلات اخیر بر سر مساله خطیر تولید و تامین نیمه‌هادی‌ها از دیگر نکات مذکور این بخشه.
- در حوزه سیاست هم گزارش راجع به داغ شدن مباحث اخلاقی در کاربرد هوش و نیاز به تفسیرپذیری و قانونمند‌کردن هوش اشاره کرده. همچنین مواردی از رشد هوش در صنایع نظامی هم بحث شده.
- اما در بخش پیش‌بینی، این گزارش هشت پیش‌بینی داشته که از موارد فنی‌تر اونها میشه به جایگزین‌شدن RNN‌ها با ترنسفورمر‌ها در یادگیری تقویتی، پرچمداری مدل‌های هیبریدی ترنسفورمری و CNN کوچک با تعداد پارامتر خیلی کمتر روی مساله دسته‌بندی تصویر، افزایش استفاده از JAX و کد‌های منتشرشده و تولد یک شرکت تحقیقاتی با تمرکز روی AGI (هوش جامع مصنوعی) اشاره کرد.

این گزارش بسیار خوب و مختصر و موجز و مفید مقالات یکسال گذشته رو مرور کرده، از دست ندید.

لینک گزارش و اسلاید‌ها:
https://www.stateof.ai/

#read

لینک کانال
https://news.1rj.ru/str/project_ml

این مقاله نکات خوبی داره برای دوستانی که در مرحله offer negotiations هستن

https://www.cnbc.com/2021/12/01/34-year-old-boosted-salary-by-194000-after-quitting-jobs-6-tips-shares-negotiation-tips-and-exact-noscripts.html

سلام دوستان
@project_ml
من امروز به نکته جالب و مهمی رسیدم که مایلم باهاتون به اشتراک بزارم تا شما هم استفاده کنین
بر خلاف نحوه نوشتن مقاله ای که ما میدونیم و عمل میکنیم (‌حداقل من)٫ از گفتن عنوان به استاد و استاد راهنما و پارتنرمون شروع میکنیم و بعد شاید چکیده رو بنویسیم و..... اما مطلبی که قابل توجه هست اینه که طبق مطلبی که در سایت الزویر منتشر شده٫ مراحل توصیه شده چیز بسیار متفاوتیه! انتخاب عنوان جزو مراحل آخر نگارش یک مقاله است! و مثلا من که شروع به نوشتن میکردم همزمان به هرجا که میرسیدم رفرنس رو درج میکردم اما رفرنس زدن دقیقا آخرین مرحله است! این مطلب منحصرا برای نوع خاصی از مقالات نیست و پیشنهاد میکنم حتی اگر مقالات داخلی کنفرانسی هم مینویسین این مطلب رو بخونین
https://www.elsevier.com/connect/11-steps-to-structuring-a-science-paper-editors-will-take-seriously

کانال تلگرامی

https://news.1rj.ru/str/project_ml

من کلا راجع به GPU On demand نوشتم و برای Spot isntance ها قضیه یه مقدار متفاوته.
1. AWS
من با ‌AWS کار کردم و حدودا ساعتی ٣ دلار بهتون یک GPU V100‌می‌ده(یعنی مثلا ۸ تاش یکساعت می‌شه ۲۴دلار). خوب V100 قدیمی تر از A100 و خیلی اوقاتم GPU هاش پرن و اون instanceی که میخواید توی اون زمانی که می‌خواید گیرتون نمیاد. برای A100 فکر کنم باید حداقل ۸ تا GPU بگیرید و دونه‌ای هم ۴دلار ساعتی می‌ده.
2. Lambda
تجربم با لامبدا این بود که یه workstation خریده بودیم ازشون و یه شرکت خیلی کوچیک هستن. ولی نرخ‌های کلاودشو دیده بودم.
لامبدا ادعا می‌کنه که من V100 رو ۱.۵ دلار می‌دم ولی من چک کردم باید حداقل ۸تا V100 همزمان استفاده کنید که بهتون ساعتی ۱.۵دلار رو بده. اگه شما فقط می‌خواید یه مدل Train کنید و بعدش ذخیره کنید کارتون تموم می‌شه و کدتون هم راحت Multi-GPU می‌شه خوب Lambda به نظرم قیمتش نصفه و یا کمتره و اصلا هدف Lambda هم به نظرم همینه. مثلا برای کارهای دانشگاهی و مقاله و ....
ولی اگه می‌خواید یه pipeline کامل داشته باشید خوب باید روی یه سیستم cloud واقعی داشته باشید اونو برای همین باید از AWS یا GCP استفاده کنید. چون که Train مدل فقط یه بخشی از کل pipelineتونه و اون ۱.۵ دلار ساعتی اضافه هم برای حتی شرکت‌های استارتاپ هم چیزی نیست.
3. GCP
در خصوص GCP من فقط اینو می‌دونم که instance های GPUش برای Deep Learning خیلی تنوعش بیشتر از AWSه. برای همین توصیم برای Train کردن مدل دیپ لرنینگ اونه.
https://lambdalabs.com/service/gpu-cloud/pricing

CS 224: Advanced Algorithms
Prof. Jelani Nelson TF: Jeffrey Yan
http://people.seas.harvard.edu/~minilek/cs224/fall14/index.html

Awesome Machine Learning List on Computer Vision

https://github.com/josephmisiti/awesome-machine-learning#computer-vision-5

سلام اگر از بین دوستان میتونند چندتا اسم خوب برای گفتگوهای مصاحبه با افراد موفق پیشنهاد بدهند ممنونم میشم مثلا

1. Mind beautiful
2. Brain and robot

و .....
لطفا کامنت بزارید

COURSE
Foundations of Deep Learning" course covering deep learning opt, robustness, domain generalization, NTK, GANs, VAE, flows, meta/contrastive learning, interpretability, deep RL

https://colab.research.google.com/drive/1ElEaLiW6PGyXObYGAdULk8ArGd8nLU7p?usp=sharing
Video Lecures https://www.youtube.com/playlist?list=PLHgjs9ncvHi80UCSlSvQe-TK_uOyDv_Jf

سلام اگر از بین دوستان موافق باشند چالش برنامه نویسی قرار به مدت ۱۰۰ روز هر روز به مدت یک ساعت یک مسئله برنامه نویسی رو حل کنیم
زبان برنامه نویسی پایتون ، سی پلاس پلاسه

سطح هم از مبتدی شروع میکنیم تا پیشرفته ( به صورت قدم به قدم )

100 days of code


رو شروع کنیم

از افرادی که علاقه مند هستند لطفا بهم پیام بدهند
@reza_12_34

پست اپدیت شد

قضیه این چالش چیه؟

باید چیکار کنیم؟
قوانین این چالش به این شکله که روزانه در کمترین حالت حداقل ۱ ساعت کد بنویسید، اگر هم خواستید می تونید با هشتگ #چالش_صدروزه_کدنویسی ما رو در جریان کارهاتون قرار بدید و یادتون باشه همیشه تداوم و ثبات در کارها نتیجه میده .

نتایج این چالش چیه؟


1- نمونه کار های خوبی می سازید:

شما نمونه کار ها و پروژه های قانع کننده می سازید کار روی پروژه ها و فعالیت روزمره خودتون رو می تونید از گیت هاب ببینید.


۲- تقویت مهارت هاتون:

شما می تونید مجموعه مهارتهای خودتون رو افزایش بدید و زبان ها ، فریم ورک ها و کتابخانه های جدید رو یاد بگیرید.



۳- نظمتون رو بهبود می بخشه:

در چالش 100 روزه ی کدنویسی می تونید برنامه ریزی داشته باشید و بهره وری و نرخ یادگیری خودتون رو افزایش بدید.

4- عادت های قدرتمندی می سازید:

ساختن عادت مداوم یادگیری چیزهایی جدید باعث میشه توسعه دهنده ی قوی تر و بهتری بشید.

به نمودار نتیجه چالش 100 روزه ی برنامه نویسی ذیل خوب نگاه کنید:

اکثرا افراد اینجا دست از تلاش می کشن دقیقا نقطه ای که قرار اوج بگیرند.

بلد باشین تو سینی فقط دکمه به منیجر بدین!
کاری که خیلی رایج هست اینه که دولوپرهای جونیور، تا می‌گی آره یا نه اون پرچمِ «من جونیور هستم» رو بالا می‌گیرن و تا می‌بینن یه‌جا به بن‌بست خورده‌ان، دستاشون رو بالا می‌گیرن و هیچ کاری نمی‌کنن.
کار درست ولی این هست که این ۴ تا کار بکنین:
مشکل رو شناسایی کنین.
برای مشکل «حداقل دو سه تا جواب» مختلف پیدا کنین. جواب چرت و پرت هم نه، چیزی که واقعاً شدنی باشه و بشه به عنوان گزینه/‌option ارائه‌ش داد.
این جواب‌ها رو از حداقل ۵ بُعد، با هم مقایسه کنین. دقیقاً مزایا و معایب (pros and cons). دقیقاً هم توی یه جدولی که هر جواب/گزینه یه ستون باشه و هر بُعد مقایسه (مثل زمان، هزینه، ریسک، فایده برای آینده، …) هم یه سطر. بعد هر خونه‌ی جدول یا وزن داشته باشه بین ۱ تا ۵ (که مثلاً ۵ ینی خوب‌ترین) یا سبز/قرمز باشه.
نهایتاً و مهم‌ترین قسمت، این‌که نظر و توصیه شخصی خودتون رو هم بگین. بگین به‌نظر من گزینه‌ی «ج» بهترین گزینه هست. و اگه مخالفتی نیست من دوست دارم این رو انجام بدم.
این هم کارِ منیجر رو بسیار آسون می‌کنه (لازم نیست تصمیم بگیره!)، هم نشون می‌ده شما مسئولیت‌پذیر هستین و ریسک‌پذیر، هم نشون می‌ده که برای وقت و تمرکز منیجر ارزش قائل هستین. و خلاصه توی یه سینی فقط ۳ تا دکمه جلوش می‌ذارین و بهش می‌گین «به نظرم سومی رو فشار بده، اگه حال نداری فکر کنی!»

یه developer بایییییید، باااااااید، باااااایییییید، بتونه خودش گلیم خودش رو از آب بیرون بکشه. و باید بتونه دیباگ کنه. باید بتونه کد کثیف بقیه رو بخونه، زیر لب فحش بده، و بفهمه چه‌خبره. و نهایتاً بتونه با کمترین تغییرات و بدون این‌که کل کد رو پاک کنه و دوباره بنویسه، تو ۳ خط بتونه باگ رو فیکس کنه. باید بتونه سرچ کنه. باید بتونه توی stackoverflow هی بگرده و بگرده و بگرده.
این‌که احساس کنین یه نفر همیشه بیاد دست مبارک شما رو بگیره و انگشتاتون رو بذاره رو کیبرد و عین معلم پیانوی بچه‌ی ۳ ساله فشار بده، صرفاً باعث می‌شه زودتر بخوان از شرّ شما خلاص بشن. اگه می‌خواستن خودشون تهش پیانو رو زده باشن، مریضن بیان به یکی پول بدن و وقت بذارن؟
کسی مرض نداره، اما اون‌قدر همیشه سرعت و فشار بالاست که واقعاً وقت ندارن. واقعاً نمی‌رسن/نمی‌تونن. واقعاً همون منیجر بدبخت گاهی باید از این میتینگ به اون میتینگ بدوئه و مغزش و روحش و جسمش نمی‌کشه هی این وسط بیاد پستونک شما رو که از دهنتون افتاده رو زمین، ببره بشوره بیاره بذاره دهن‌تون دوباره.
اینم دقت کنین که درسته که شرکت «جونیور دولوپر» استخدام کرده، اما از بین همه‌ی کندیدیت‌ها اونی رو انتخاب کرده که بیشتر از همه «جونیور دولوپرِ خودکفا» باشه. وگرنه اگه قرار بود مدرسه باشه و دیکته بگن، شما هم تایپ کنین، دیگه مصاحبه نمی‌خواست – در رو باز می‌ذاشتن همه بیان تو! عاشق بوی ادکلن شما نیستن که. پس سعی کنین اثبات کنین که خودکفا هستین و همه‌ی تلاش‌تون رو می‌کنین که باری از رو دوش بقیه بردارین، به‌جای این‌که بذارین.

سلام اگر از بین دوستان میتونند چندتا اسم خوب برای انتخاب نام یک ویدیو کستکه هدفش گفتگو یا مصاحبه های با اساتید و افراد موفق در حوزه زیست شناسی ، پزشکی ، هوش مصنوعی (ماشین لرنینگ ) و.... هر حوزه ی علمی دیگه است تشکییل بدهیم اگر بتونیسید چندتا سم خوبی به ذهنتون میرسه پیشنهاد بدهید ممنون میشم لطفا کامنت بزارید

BOOK
A deep understanding of machine learning

Probabilistic Machine Learning: An Introduction
by Kevin Patrick Murphy.

MIT Press, March 2022.

https://probml.github.io/pml-book/book1.html