در عصری زندگی کردیم که #جادی بودن ۶ سال حبس داشت…

🌐 Ehsan N
📅 1401/10/20

شکسته نفسی به سبک chatGPT

این مدل ماشین لرنینگ شعر مینویسه، کد میزنه، مقاله مینویسه و اگر یه گیتار الکتریک بشه به دستش رسوند احتمالا در حد اسلش سولو بزنه
و به دلیل همین قدرت بالا، کنفرانس معروف ماشین لرنینگ ICML استفاده از chatGPT رو برای تولید متون مقاله ممنوع کرده!

توضیح: از chatGPT پرسیده شده آیا هوش مصنوعی میتونه جای برنامه نویس هارو بگیره؟
جواب میده نه بابا ما کی باشیم و ...
بعد از chatGPT میخواد همین جوابشو به صورت شعر بنویسه که 🤯

مدل GPT-4 هم در راهه و باید ببینیم چقدر قوی‌تر خواهد بود.

@deeptimeai

آیا فرآیند پیر شدن (aging) برگشت پذیر شد؟

پژوهش بلندمدتی که اخیرا در دانشگاه هاروارد به سرپرستی دکتر David Sinclair انجام شده نشون میده علت پیر شدن (aging) در پستانداران یک دلیل نرم‌افزاری هست و نه سخت افزاری. یعنی اگر genetic و DNA رو سخت افزار بدوینم و epigenetic، که مسئول روشن و خاموش کردن رشته‌هایی از DNA رو داره، نرم افزار بدونیم، مسئول فرآیند aging تغییرات epigenetic هست که در طول زمان به دلیل فرآیند ادامه‌ دارِ شکست و ترمیم DNA اتفاق میفته. نکته جالب این هست که این تغییرات نرم‌افزاری رو میشه reboot کرد به تعبیر خودشون. دکتر Sinclair در این رشته توییت با ویدئو و متن توضیح میده.
پژوهش دیگری هفته اخیر از همین مسئله استفاده کرده و عمر موش رو در زمان پیریش (مطابق با 70 80 سالگی انسان)، 2 برابر کرده! و برای انسان هم فرآیندهایی age reversal مربوط به epigenetic گزارش شده.

خلاصه در حالی که جهان داره برای جلوگیری از سرعت پیری کار میکنه کشور ما پیشرفت‌های قابل توجهی در افزایش سرعت پیری داشته ...

@deeptimeai

وبسایت slideslive.com ارائه‌ کنفرانس‌های معروف مثل NeurIPS و ICML رو در قالب خوبی به صورت رایگان داره. قابلیت‌های خاصی هم در رابطه با تنظیم ویدئو و اسلاید متناظرش داره که قطعا برای دیدن کنفرانس‌های علمی از یوتیوب بهتره.

برای مباحث عدم قطعیت در سری زمانی سرچ زدم Conformal Time-Series Forecasting و ارائه‌های خوبی آورد برای مثال این ارائه از دانشگاه کمبریج.

@deeptimeai

عمیقا باور دارم که دنبال کردن #علوم_شناختی و راهکارهای عملیش برای همه افراد یک ضرورت هست. چرا؟ به این دلیل که دنیای کنونی در اوج چالش‌های شناختی و روانی برای افراد هست. برای مثال اگر ما فرضا راهکار مناسبی برای مشکل کمبود تمرکز نداشته باشیم قطعا به شدت ضرر میکنیم و از سمت دیگه، اگر راهکارها و فرآیندهای #علوم_شناختی و #علوم_اعصاب رو بشناسیم حتما با بهینگی بیشتری کار میکنیم و رضایت از زندگی بیشتری خواهیم داشت.

البته خوشبختانه در این دنیا به راحتی (البته در ایران و با این اینترنت به سختی) به منابع درجه یک علمی وصل میشیم. یکی از بهترین منابع برای مباحث علوم شناختی و روانشناسی، همونطور که قبلا گفتم، ویدئوهای دکتر آذرخش مکری هیئت علمی دانشگاه علوم پزشکی هست که البته در کانال تلگرامی به صورت ویس هم قرار میدن. ایشون به پژوهش‌ها و مباحث این حوزه تسلط بالایی دارن.

در ویدئو اخیرشون در مورد بحث کمبود تمرکز و ADHD صحبت میکنن که به نظرم مهمه دیده بشه. در این ارائه با کلمه procrastivity آشنا شدم که فکر کنم حالتی هست که خیلی از افراد با مطالعه هم درگیش هستن. حداقل شخصا جا داره خیلی روی این موضوع کار کنم. در واقع در کنار کلمه procrastination یا اهمال‌کاری، کلمه procrastivity هست که یعنی شما بجای انجام کار اصلی که در اولویته، کار مفید دیگری انجام میدی. مثلا بجای اینکه پروژه کاریت رو انجام بدی یک مقاله غیر مرتبط میخونی و ... . این موارد و راهکارها در ویدئو بحث میشه.

@deeptimeai

Deep Learning Tuning Playbook: A playbook for systematically maximizing the performance of deep learning models
اصولا به نظرم هر کتابی که به طور خاص در یک موضوع متمرکز میشه ارزش خوندن داره. این کتاب هم که توسط افرادی از تیم Google Brain و محققین هاروارد نوشته شده، روی موضوع hyper parameter tuning تمرکز کرده و موارد جالبی مطرح میکنه که در عمل به کار میاد. هرچند به نظرم tuning باید در مراحل آخر مدلسازی انجام بشه و اولویت نیست اما باید تا حد ممکن استاندارد و دقیق انجام بشه.
@deeptimeai

داشتم ویدئو کد زدن GPT رو میدیدم و خب کی بهتر از
Andrej Karpathy
برای آموزش دادن ؟ ( هدفم بیشتر مدل کد زدن - و نحوه تفکر و توضیح دادنش بود)

بعد رفتن ی سری به بخش play list کانال یوتیوبش زدم دیدم به به :
Neural networks: Zero to Hero

و برای آموزش دیدن کی بهتر از مدیر قبلی تیم vision و autopilot شرکت Tesla
کی فکرشو میکرد ی روزی از تسلا بیاد بیرون و بصورت کاملا رایگان دوره آموزش هوش مصنوعی بذاره (پیشنهاد ویژه میدم این دوره رو از دست ندید)
برای اونهایی که سطح Advance هستند هم پیشنهاد می‌کنم این رو ببینید حتما :
Let's build GPT: from scratch, in code, spelled out.

امیدوارم ازین آموزش‌ها لذت ببرید 🌹

خیلی اوقات بعضی ایده‌ها underated هستند و بهشون اونقدری که باید توجه نمیشه. این مورد قطعا یکی از اونهاست (پست مربوط به بیش از یک سال پیش هست!). شاید حالا که صحبت از توسعه مدل‌های زبانی بزرگ هست وقتش رسیده تا به این پژوهش توجه بشه. خصوصا که دیدم دوستم حمیدرضا مازندرانی در این مورد مطلبی در لینکدین گذاشته بود.

#distributed_intelligence
#large_language_models

@deeptimeai

خلاصه پیشرفت‌های اخیر سری زمانی:

• ترنسفورمر ها در forecasting سری زمانی (داده جدولی) همچنان عملکرد چندان خوبی ندارند. البته در موارد خاصی برتری دارند.
• اما ترنسفورمر ها representation داخلی بسیار خوبی از داده سری زمانی میسازند که احتمال عدم ارتباط مناسب بین پیشبینی نهایی و representaion های میانی را افزایش میدهد.
• قدرت خوب ترنسفورمر ها در representation باعث شده Transformer for Time Series Anomaly Detection و همچنین Universal Representation of Time Series بسیار قوی باشن.
• پیشنهاد میکنم مقاله مروری (لینک اول) رو کامل بخونید. تنها نقدی که بهش دارم این هست که Ireegular Time Series (سری زمانی که معمولا در فایننس و بازار مالی دیده میشه) جداگانه بررسی نشده. در انتهای مقاله هم چند مرجع دیتاست و بنچمارک خوب معرفی شده.
• ریپوی گیتهاب Awesome Time Series رو هم داشته باشید که مقالات معتبر این حوزه رو دسته بندی کرده.

@deeptimeai

مواردی به ریپوی Awesome Time Series اضافه کردم خصوصا بخش کتابخونه‌ها و بنچمارک‌ و دیتاست‌ شاید مفید باشه. هرچند همچنان موارد زیادی باید اضافه بشه. این ریپو برای کار پیشبینی خصوصا در مواردی مثل انرژی و خرده فروشی و ... (فایننس نه چندان!) یا برای نوشتن مقالات مروری احتمالا کمک کنندس. نقطه شروع رو حتما از کتابخونه‌های قوی بذارید و البته به نظرم مهمه الگوریتم‌ها از صفر و from scratch کد بشن.

چرا بعضی افراد با وجود شوق اولیه به یادگیری دیتاساینس (یا هر تخصص دیگری) و حتی گذراندن دوره‌های معتبر نمیتوانند مسیرشان را ادامه دهند؟ یا در واقع چرا بعضی افراد به سرعت در یک تخصص رشد میکنند اما بعضی افراد از جایی به بعد دلسرد میشوند؟ (بخش اول)
نکته اینجاست که گذراندن دوره‌های متعدد و انجام پروژه‌های آنها به هیچ عنوان متخصص شدن و ادامه شوق به یادگیری را تضمین نمیکند و موارد بسیار مهم دیگری مطرح است که با توجه به مفاهیمی از علوم شناختی (خصوصا بعضی موارد که دکتر آذرخش مکری مطرح کردند) و تجربه شخصی مینویسم. به خصوص این مطلب را به این دلیل مینویسم که افراد زیادی را از نزدیک میشناسم که با این مسئله مواجه شدند.

1- محیط، شبکه ارتباطی و اضافات
در تمامی پژوهش‌های علوم شناختی اثر محیط و شرایط بسیار بالاست به حدی که تئوری situationism بیان میکند که همه چیز از شرایط و محیط اثر میگیرد و شخصیت (personality) به طور مستقل توهمی بیش نیست. پس اگر هدف برای مثال متخصص شدن در دیتاساینس و ماشین لرنینگ است، باید محیط را برای همین هدف تنظیم کرد. چطور؟ اینترنت بهترین بستر است. دیدن لایو متخصصین این حوزه در یوتیوب، اینستاگرام و ... . دنبال کردن افراد سرآمد این حوزه در یک اکانت توییتر مجزا تا هر روز در معرض منبع با کیفیتی از مطالب این حوزه قرار بگیرید . ارتباط فردی با متخصصین هم طبیعتا خیلی کمک میکند.
نکته مهم این است که اگر کلمات و مباحثی را متوجه نمیشوید اصلا اشکالی ندارد. بعد از مدتی خود به خود مباحثی/کلماتی را که زیاد شنیده باشید پیگیری میکنید تا مسلط شوید.
بحث Redundancy (شاخه و اضافات) هم همینجا مطرح میشود که اهمیت بالایی در ایجاد کشش و شوق دارد. شما باید مثل اساتید دانشگاه و متخصصین، داستانهای مرتبط با حوزه تخصصی خودتان را بدانید. مثلا در هوش مصنوعی داستان آلان تورینگ را بلد باشیم، داستان تاریخی زمستان هوش مصنوعی و رفع آن را بدانیم، مدیرعامل OpenAI را بشناسیم و دنبال کنیم و مواردی از این دست.

2- مسئله‌ای برای حل کردن
بهترین حالت این است که حتی قبل از شروع به یادگیری، مسئله‌ای ذهن را قلقلک دهد. این مسئله برای من پیشبینی بازار بود. یک مسئله جذاب و سخت همیشگی از همان جنسی که پیتر تیل در کتاب صفر به یک مطرح میکند. در این صورت وقتی در دوره ماشین لرنینگ میگویند x و y، شما سریعا x را نسبت قیمت یورو به دلار در فارکس میبینید و y را درصد حرکت در روز بعد! شرکت در مسابقات هم میتواند همین اثر را داشته باشد. اگر مسئله‌ای در ذهنتان نیست پروژه خودتان را استارت بزنید؛ از پیشبینی نرخ‌های فارکس شروع کنید و البته بدانید که این مسئله قرار نیست به راحتی حل شود و فعلا به این منظور است که زمین بازی خوبی برای یادگیری باشد: از یک رگرسیون ساده شروع کنید و به مرور مدل‌های قوی و قوی تری پیاده کنید. دیتاهای پیچیده را کرال کنید، سرعت کد را بیشتر و بیشتر کنید و چه بهتر که در این میان با یکی دو نفر همراه باشید.

3- نوشتن، مشارکت و تدریس
اگر میخواهید واقعا چیزی را یاد بگیرید در موردش بنویسید، سعی کنید به افراد دیگر توضیحش دهید، یا در مراحل بالاتر، تدریسش کنید. وقتی کتاب یا مطلبی مطالعه کنید متوجه میشوید که در آخر فقط بخشی از کتاب یا مطلب را عمیقا می‌آموزید که در جایی مکتوب کرده باشید یا برای دوستی توضیح داده باشید. در سطح بالاتر، تدریس به علت نیاز به تسلط بسیار اثربخش است.
جرمی هاوارد از بهترین دیتاساینتیس‌ها و کارآفرینانی که میشناسم، در خیلی سخنرانی‌ها میگوید که از همان جلسه اول درس یادگیری ماشینی که میگذرانید شروع به بلاگ کردن و نوشتن کنید. قطعا در ابتدا نه به عنوان یک متخصص بلکه به عنوان کسی که تجربه‌اش را به اشتراک میگذارد و شبکه ارتباطی‌اش را گسترش میدهد. مشارکت در توسعه کدها در گیتهاب و به طور کلی هرنوع مشارکت و عمل داوطلبانه به طور اساسی کمک کننده است.

در آخر مهم است بدانیم طبق تحقیقات علوم شناختی، استعدادها و علایق ذاتی نیستند و ساخته میشوند (شرایط آنها را میسازد). همچنین هیچ سبک یادگیری یا نقشه راهی بهترین یا وحی مُنزل نیست.

@deeptimeai

دوستی نقدی به جمله آخر نوشتن که من هم موافقم. اتفاقا بحث situationism که مطرح شد همین رو اشاره میکنه که شرایط همه چیز رو تعیین میکنه. ما فقط بخشی از شرایط و محیط رو میتونیم تغییر بدیم. و خودِ قدرتِ تغییرِ شرایط هم باز به شرایط هر فرد بستگی داره!

بعضی زلزله‌ها مثل زلزله اخیر ترکیه، لزوما حادثه طبیعی نیستن!

مقاله معتبری که سال ۲۰۲۱ چاپ شده نشون میده ساخت سد آتاتورک باعث افزایش بسیار زیاد لرزه خیزی در اون مناطق ترکیه شده. در واقع سطح آب و لرزه خیزی رابطه معکوس بسیار قوی دارن که با آبگیری سدها، سطح آب پایین میاد. شواهد قبلی از چند سال قبل هم وجود داشته.

@deeptimeai

توضیح دوستم آرمان امیدیان @Armann_96 از پژوهشگاه بین‌المللی زلزله: سطح آب زیرزمینی اگه پایین بره باعث فرونشست و تحریک گسل ها میشه (توضیح دقیق تر در مقاله هست)

در این رشته استوری توضیح داده شده که فرآیند Gradient Descent در واقع یک مکانیزم Attention (پایه ترنسفورمر) هست. قبلا هم در این پست صحبت شد که Transformer ها در واقع Graph Neural Network هستند و اتفاقا مدلسازی به شکل GNN کم حجم تر و کم خرج تره.

قطعا با نیاز به پردازش بهینه تر و حتی در سطح edge، این نوع نگاه به پایه ریاضی مدل‌های یادگیری ماشین بیشتر مورد توجه قرار میگیره.

@deeptimeai