https://www.youtube.com/watch?v=CfAL_cL3SGQ

شبکه‌های عصبی( Neural Networks) مخصوصا از نوع مصنوعیش و به صورت عمیقش یکی از چیزایی که همه جا اسمی ازش میشنویم و کاربردای زیادی داره. ولی خب این که دقیقا دارن چیکار میکنن رو خیلی سخت میشه فهمید و تعبیرش کرد.
این ویدیو داره سعی میکنه یه همچین مفهومی رو از دید ریاضی توضیح بده و من برام خیلی جالب بود گفتم اگه خواستید شما هم ببینید.


#video #neural_networks
@SingularThinker

"چشم ها را باید شست، جور دیگر باید دید"

توی ویدیوی پایین یک راه جدید و جالب برای حل معادله درجه ۲ ارائه می‌کنه. خیلی ساده و خلاقانه. درست تو جایی که همه می‌ایستن(دو معادله دو مجهول غیرخطی) دیدش به مسئله رو عوض میکنه یه صورت بندی جدید ارائه می‌کنه و تمام.💣🤯

https://youtu.be/WRl0SRSF3BU

@DLeX_Mathematics

#video #Math
@SingularThinker

فهم سگ ها از فیزیک نیوتونی 🐕 ⬇️

🔗 لینک خبر

توی خبر بالا در مورد این صحبت می‌کنن که سگ‌ها نقض شدن قوانین نیوتن رو در تصاویری که بهشون نشون داده میشه متوجه میشن. این خبر رو جادی هم تو رادیوگیگ قسمت 133.5 (دقیقا اینجا) تعریف می کنه (اگر گوش دادید یا میخواید بدید می تونید این پاراگرافو اسکیپ کنید). داستان اینه که یه سری سگ رو میان و بهشون آموزش میدن کلی که چجوری بشینن جلو تلویزیون و به صفحه‌ی نمایشگر نگاه کنند، بعد از اینکه سگا این کارو یاد گرفتن میرن سراغ مرحله بعدی براشون تصاویر مختلف پخش می‌کنند که قوانین نیوتونی سازگار هست مثلا یه توپی ساکنه یه توپ دیگه میاد بهش میخوره و توپ اول رو به حرکت در میاره و .... بعدش میان تصاویری رو پخش میکنن که با قوانین نیوتن سازگار نیست یعنی توپا یهو شروع به حرکت می‌کنند و ... و اینجا میگن که سگ‌ها متوجه این غیرعادی بودن این اتفاق شدن. از کجا معلوم؟ از چشماشون 👁.
وقتی تصاویر ناسازگار با قوانین نیوتونی رو بهشون نشون میدن، سگ‌ها برای مدت طولانی‎تری به تصویر خیره میشن و مردمک چشماشون بزرگتر میشه. "این اتفاق پیشنهاد می‌کنه که حیوانات شگفت‌زده میشن وقتی که توپ‌ها مطابق انتظارشون به حرکت در نمیان" این جمله رو کریستف ولتر از دانشکده دامپزشکی وین میگه. سپس ادامه میده "این نقطه‌ی شروع برای یادگیریه"، و در ادامه میگه که شما انتظار داری که براساس قوانین فیزیکی در محیط اتفاقاتی بیفته و وقتی خلاف اون اتفاقا رو میبینی توجهت به اونها جلب میشه و سعی میکنی ببینی اونجا چه خبره.
این اتفاق به طور مشابه در نوزاد آدم بعد از 6 ماهگی و در شامپانزه ها هم رخ میده. هم چنین تو متن خبر میگه که تحقیقات نشون داده که بازشدن مردمک چشم معمولا به عنوان یک بازخورد برای اتفاقی است که نیاز به توان ذهنی بالایی دارند، مثل انجام محاسبات یا بروز احساسات پیچیده مثل هیجان‌زدگی یا شگفت‌زدگی.

چیزی که اینجا برام جالبه، مفهومی به اسم شگفتی، تعجب یا همون Surprise هستش و ارتباطش با یادگیری. اول باید ببینیم خود شگفتی چه معنی ای داره؟ به زبان ساده، وقتی اتفاقی می‌افته که ما انتظار اون رو نداریم باشیم میگیم ما شگفت‌زده/متعجب شدیم، در نتیجه به زبان ریاضی(نظریه اطلاعات)، اون اتفاق شگفتی بیشتری به همراه داشته (و این رو مثلا میتونیم با رابطه‌ی log(p)- فرموله کنیم و مقدار شگفتی رو حساب کنیم).
برای واضح‌تر شدن ماجرا این مثال رو در نظر بگیرید: مثلا اگر تو بهمن ماه تو تهران برف ببینیم تعجب نمی کنیم، اما اگر همین اتفاق توی خرداد بیفته شگفتی بالایی برای ما داره چون انتظارش رو نداریم.

به طور کلی این موضوع که تاثیر سیگنال شگفتی در یادگیری تا چه اندازه هست، بحثیه که اخیرا در تقاطع یادگیری تقویتی و علوم اعصاب محاسباتی داره بهش بیشتر توجه میشه، ولی به طور کلی به نظرم، تاثیرش در انواع روش‌های یادگیری یکم دست کم گرفته شده.
به شخصه به نظرم این موضوع مهم و تاثیرگزاری در یادگیری به حساب میاد و ما هم قطعا در این مورد بیشتر صحبت خواهیم کرد و سعی هم می کنیم منابع مفیدی رو به اشتراک بذاریم.
#Note #Surprise #novelty
@SingularThinker

تقلیل گرایی (Reductionism) و پدیداری (Emergence) فلسفه های بسیار پرکاربردی به خصوص در موضوعاتی مثل شبکه و آگاهی (consciousness) هستند. این دو فلسفه خیلی وقت ها به عنوان دو دیدگاه متقابل دیده میشن. در این ویدئو دکتر منتخب توضیح میدن چرا Emergence و Reductionism لزوما با هم در تقابل نیستند و چطور قبول هر دو پدیده در یک سیستم می تونه قابل قبول باشه.

دکتر منتخب عضو هیئت علمی فیزیک دانشگاه شیراز هستند و مقالات جالبی درباره‌ی سیستم های پیچیده، بحرانیت، Self-Organized Criticality، گذار فاز و حتی هوش مصنوعی دارند. اگه چیزایی که تو این ویدئو مطرح شد هم براتون جالب بود پیشنهاد می کنم این پادکست فانوس رو درباره‌ی گذار فاز و بحرانیت در مغز با حضور دکتر منتخب از دست ندید: 🎙 گفتگوی فانوسی شماره سه

منبع ویدئو: TEDx ShirazUniversity

#video #consciousness #network
@SingularThinker

کامبک ConvNet ها ⬇️

🗞 خبر: پس از یه دوره‌ای که Visual Transformer (ViT)
تونسته بودن از Convolution Neural Network(CNN) ها در تسک‌های طبقه‌بندی تصویری جلو بزنند، دوباره دیدیم که گروهی تو فیسبوک تونستن با استفاده از یه سری از تریک‌ها ConvNet ها رو دوباره به صدر جدول برگردونن. از این تریک ها میشه مثلا به استفاده از کرنل های بزرگتر، کمتر کردن تابع‌های فعالساز و ... اشاره کرد.

🎈 چرا جالبه؟
این که برای تسک‌های مشابه معماری های متفاوتی از شبکه عصبی دارند خوب کار میکنند از یه سری جهات به نظرم موضوع جالبیه. اینکه آیا لزوما مثل CNNها - که تا حدی الهام گرفته شده از سیستم های زیستی هستند - ساختاری مشابه این معماری‌های جدید (مثل ViT ها) هم در طبیعت وجود داره؟ یا مثلا اینکه این معماری‌ها در حال اجرای محاسبات مشابهی هستند یا تفاوت های بنیادین در نحوه نگاه کردنشون به مسئله دارن.

🔗 لینک مقاله : A ConvNet for the 2020s

#Note #neural_networks
@SingularThinker

دومین جلسه از سری جلسات brain technology and cognitive science

موضوع : A causal role for anterior insula and dmPFC in multidimensional social decision-making

سخنران: آقای دکتر محمودی

شنبه 9 بهمن ماه 1400 ساعت 17

لینک سخنرانی :
https://join.skype.com/NvHOx1079lnj

@BTCS_UT

چگونه یک استاد راهنما برگزینیم؟ ⬇️

در این مقاله یکی از اساتید استنفورد در مورد نحوه‌ی انتخاب یک استاد راهنمای خوب برای تحصیلات تکمیلی و ویژگی های مهم اون فرد صحبت میکنه. چیزی که من کمتر دیدم توی ایران بهش توجه بشه متاسفانه ولی در حقیقت نقش موثری تو آینده شغلی پژوهشگران میتونه داشته باشه.

#research_stuff
@SingularThinker

در ادامه‌ی صحبت پیرامون مسائل آموزشی، این مقاله کوتاه هم به نظرم میتونه خیلی مفید باشه در مورد اهمیت پرورش تفکر و خردورزی و فلسفه حتی در باب پژوهش‌های کاملا مرتبط با علوم طبیعی.
موضوع اصلی این مقاله شرح دوره‌ای است که در دانشگاه John Hopkins آغاز شده(سال 2018) و در آن پژوهشگران علاوه بر آنکه مطالب ارائه شده را یاد می‌گیرند، دعوت به یافتن نقاط ضعف روش‌ها نیز می شوند.
https://www.nature.com/articles/d41586-018-01853-1

#Note #research_stuff
@SingularThinker

ترکیب نظریه‌بازی‌ها و علوم اعصاب برای من همیشه جذاب بوده و به نظرم بسیار مفید میتونه باشه برای درک بهتر نحوه‌ی کارکرد جوامع بشری و بهتر کردن این جوامع. در ویدیوی زیر یه تاک کوتاه جذاب رو میبنیم.

ولی بیاید یه کار باحال بکنیم توی 1 دقیقه اول ویدیو یه بازی توصیف میشه که از شما میخواد یه عددی بین صفر تا صد انتخاب کنید، همونجا یه لحظه ویدیو رو نگه دارید(حدودا ثانیه 55) بعدش بیاید تو کامنت همون عددی که تو ذهنتون بود رو بنویسید(بدون توجه به کامنت بقیه) ببینیم که نتایج آزمایش واسه ما چطوری میشه؟

https://www.ted.com/talks/colin_camerer_when_you_re_making_a_deal_what_s_going_on_in_your_brain

#video #Game_Theory #DM
@SingularThinker

این یک دوره کامل درسهای علوم اعصاب و بینایی هست که پارسال در NIH یا انیستیتوی ملی سلامت آمریکا توسط دکتر آرش افراز, رضا آزادی، رزا لفر سوزا و الیا شهبازی تدریس شده. به نظر چیز خفنی میاد :) 😁

https://youtube.com/playlist?list=PLV9WJDAawyhZJNfwJxehh1Fkzeqs1Qw6D

با تشکر از @mahscience
#Course #Vision #Neuroscience
@SingularThinker

♟یه چنتا بازی جدولی هستش که من حدودا دو سه هفته ای هست که روزا انجامش میدم در مجموع شاید یه ربع نیم ساعت وقت بگیره ولی مثلا اروم اروم حس میکنم دارم قوی تر میشم و مخم کلمات و معادلات رو راحت تر پیدا میکنه.

ورزش ذهنی خوبیه به نظرم. حال داشتید یه چکی بکنید.

پ.ن: از طرفی یه سری پست باحال در موردش پیدا کردم که احتمالا فردا در موردش بیشتر توضیح میدم گفتم قبلش خود بازی رو هم انجام داده باشید خوبه.

https://nerdlegame.com

https://www.nytimes.com/games/wordle/index.html

https://www.vaajoor.com/

@SingularThinker

خب من ویدیوهای مرتبط با wordle رو دیدم و به نظرم به ترتیبی که بهتره دیده بشن قرارش میدم(از ساده به سخت).

اول میخوام راجع به این ویدیو از جادی صحبت کنم، که توی این ویدیو جادی سعی میکنه پیدا کنه که بهترین کلمه برای شروع wordle چی میتونه باشه. ایده‌اش خیلی ساده است، دنبال کلمه‌های 5 حرفی‌ای میگرده که توی اون کلمه حرف‌های پرتکرار زیادترن. برای اینکار از کد خیلی ساده پایتون استفاده میکنه که نحوه توسعه کدش واقعا جالبه.

https://youtu.be/NQU70thNfAQ

اینم ورژن انگلیسی همون ویدیو است که تو کانال انگلیسیش گذاشته.
https://youtu.be/g33LHUzleRI

پ.ن: به نظرتون راهی که جادی پیشنهاد میکنه بهینه است؟

#video
@SingularThinker

خب حالا توی ویدیوی بعدی، سعی میکنیم بفهمیم که بعد از اینکه حدس اولمون رو زدیم چطوری میتونیم با استفاده از دونستن حروف مشخص شده یا حذف شده تعداد کلمات توی دیکشنری رو محدودترش بکنیم که برای این کار از Regex استفاده میکنه.

خب regex در واقع یه رشته‌ای از کاراکتراست که الگوی خاصی رو مشخص میکنه و کامپیوتر میفهمدش. مثلا اگه بخوای بگی برو ببین تو فلان کلمه ببین اولش با E شروع میشه، وسطش یه o داره و آخرشم k داره، میتونی regex شو بنویسی و بری بگردی تو تمام کلمات و اونایی که این طورین رو بهت برمیگردونه :) یاد گرفتن سینتکساش کار طاقت فرساییه🥴 ولی نیاز نیست ادم حفظشون کنه میتونه شروع کنه به تمرین تا کم کم یادش بگیره.

همین طور که مشخصه تو wordle که خیلی به کار میاد و البته تو کلی جای دیگه. این ویدیو آموزش جامع و کامل regex نیست ولی خب یه مثال کاربردیه برای بهتر یاد گرفتنش.

این سری به توصیه خود جادی، جفت ویدیوها رو ببینید ظاهرا چیزای یکم متفاوتی هست توی دومی😁:
https://youtu.be/Pm7baDkoeiE
https://youtu.be/ZbdTghkVM_4

#video
@SingularThinker

🪄در جواب سوال آخر پست قبلی باید بگم که بله میشه بهتر از اینا هم شروع کرد. مشکلی که روشی که جادی گفت داره در عین سادگی اینه که در سطح حروف داره به قضیه نگاه میکنه نه کلمه. مثلا "nails" و "snail" حروف یکسانی دارن ولی خب الزاما میزان تکرارشون یکسان نیست. یعنی در واقع ممکنه کلمه‌ای سرشار از حروف پرتکرار الفبایی باشه ولی خودش بسیار کم‌کاربرد باشه. خب پس چیکار کنیم؟

خب باید بریم و در سطح کلمات بررسی کنیم و ببینیم کدوم کلمه برای ما بهتره یا در واقع به طور متوسط بیشترین اطلاعات رو فاش می‌کنه، ولی چطوری باید حساب کنیم؟

اینفورمیشن تئوری (نظریه اطلاعات)، درسته! توی این ویدیو از کانال جذاب 3Blue1Brown مفهوم جالب آنتروپی رو توضیح میده به عنوان معیاری برای سنجیدن اطلاعات متوسط یک چیز (به طور دقیق‌تر یک متغییر تصادفی). ماجرای نامگذاریشم واقعا یه نبوغ دیگست از آقا فان نیومن :))

خب اینم از لینک ویدیوهاش، دومین ویدیو اصلاحیه یه اشتباه کوچیک تو ویدیو اوله:

https://youtu.be/v68zYyaEmEA
https://youtu.be/fRed0Xmc2Wg

پ.ن: فقط همون‌طوری که خودش تاکید میکنه در نهایت این چیزا یه بهونه است واسه یادگیری و مرور چیزایی که بلدیم. و قرار نیست لذت حل کردن wordle به روش خودمون رو ازمون بگیره :))
#video
@SingularThinker