ChatGPT Code Interpreter (alpha)

با این پلاگین جدید chatGPT میشه فایل، عکس و دیتا آپلود کرد و درخواست‌های خبیثانه داشت! دیتارو تحلیل میکنه، ویدئو ادیتینگ انجام میده و کارهای مختلف دیگه.
Link

البته باز هم به نظرم اولویت این هست که مهارت درست prompt نوشتن رو یاد بگیریم که خصوصا برای برنامه‌نویس‌ها ضروری هست. و کی بهتر از Andrew Ng به همراه تیم OpenAI که یک کورس برای این کار ساختن. برای این کورس 1.5 ساعتی رایگان ثبت نام کنید:

ChatGPT Prompt Engineering for Developers

@deeptimeai

نمیتونی شکستش بدی، بهش ملحق شو!

جمله بالا توییت چند سال پیش ایلان ماسک بود درباره رشد هوش مصنوعی.
اگر امروز بگم که مطمئنم فلان سهم تا آینده مشخصی n برابر میشه احتمالا خیلیا بخوان روش سرمایه بذارن. اما اگر بگم فلان حوزه و فلان تخصص قرار هست تمام صنایع و شغل‌هارو از بیخ متحول کنه و اکثر پول‌های دنیارو به خودش جذب کنه، حاضرید روی اون تخصص چند سال وقت بذارید؟ هوش مصنوعی و خصوصا Generative AI، نه تنها صنایعی مثل پزشکی، فایننس، سرگرمی و سینما، معماری و طراحی، مکانیک و ... رو داره شدیدا متحول میکنه، بلکه در خود شرکت‌های حوزه داده و تکنولوژی باعث تعدیل نیرو شده. فقط میزان سرمایه‌گذاری روی Generative AI رو ببینید که تو همین چند ماه از سال ۲۰۲۳ چقدر از کل ۲۰۲۲ جلو زده.

@deeptimeai

تشخیص و راهکار مقابله با یکی از بزرگترین معضلات تمرکز یعنی procrastivity

از قبل قرار شد در این مورد بنویسم. شناخت این مسئله نه تنها در سطح فردی بلکه در سطح مدیریتی اهمیت بالایی داره. از تعریف شروع میکنیم:
تعریف:
همونطور که قبلا صحبت شد، بر خلاف procrastination که به معنی اهمال یا به نوعی وقت هدر دادن هست، procrastivity یعنی انجام یک کار مفید که اولویت و ضرورت نیست. برای مثال خوندن یک مطلب علمی غیر مرتبط بجای اتمام پروژه‌ای که در دست داریم.

چرا procrastivity اتفاق می افتد؟
زیرا آن کاری که بجای کار اصلی انجام میدهیم ویژگی‌های زیر را نسبت به کار اصلی دارد:
- مسیر و اعمال شناخته‌ شده‌ تر هست
- معمولا دستی و فیزیکی تر هست
- تخمین زمان واضح تر هست
- وجود ارتباط مستقیم تر بین تلاش و نتیجه
- پایان مشخص و خوشایند است

راهکار مدیریت procrastivity:
راهکار اساسی مقابله با این حالت، مقابله با حس ناخوشاندیست (حس ugh) که از شروع کار اصلی (اولویت اول) داریم که عبارتند از:
- شروع با حداقل اقدام عملی ممکن
- ترسیم اجزا و مراحل انجام کار
- تخصیص زمان مقرر برای هر مرحله
- تبدیل انتزاعی به جامد و مجسم

در این مورد همچنین پیشنهاد میکنم کتاب شروع کردن را تمام کنید، تمام کردن را شروع کنید رو مطالعه کنید. ضمن اینکه این کتاب مربوط به متودولوژی Kanban هست که شبیه Scrum یک متودولوژی توسعه چابک برای پروژه‌های نرم افزاریست.

@deeptimeai

کمتر از ۵۰ درصد درست جواب دادن!
و جواب درست مشخصا انتخاب یا ترکیبی از مدل‌هاست‌. در لینکی که در آخر این پست درباره گزارش مسابقات kaggle و داده tabular گذاشته بودم (اگر خونده بودین!) مشخص هست که مثلا در مسابقه اخیر american express، برنده مسابقه مدل ترکیبی از یادگیری عمیق و boosting استفاده کرده.

نکته اینجاست که اگر ۱۰۰ تا پست Medium و ... خوندید که گفته در مسائل tabular یادگیری عمیق از مدل‌های بر مبنای درخت ضعیف تر هست باید بدونید که اونها صرفا دارن مقایسه میکنن اما در عمل ترکیب این مدل‌ها یا انتخاب یکی از اینها در مسابقات و مسائل مختلف برنده بوده.

@deeptimeai

اما باز هم نکته مهم‌تر، همونطور که اینجا دقیق صحبت شد، این هست که مسائل tabular کاملا از هر مسئله به مسئله دیگه متفاوت هستن و اصلا نمیشه مدل یا معماری یا best practice خاصی مثل مسائل vision یا NLP براشون معین کرد. این جای شکر داره از این نظر که هوش مصنوعی Generative AI و چیزی مثل ChatGPT مشخصا قادر به حل این مسائل (tabular) به طور فول اتومات نخواهد بود و شغل شما امن تر هست.

@deeptimeai

به چیزی فراتر از Transformerها، Diffusion مدل‌ها و chatGPT نیاز داریم! به این مقدار دلخوش نباشید!

همیشه گفته میشه که هوش مصنوعی از زمان پیدایش Deep Learning تونست مراحل feature selection و feature extraction رو حذف و اتومات سازی کنه و به نوعی مسائل end-to-end حل شدن.

ولی این اشتباه هست. جمله بالا صرفا برای داده‌های تصویر و متن و ... صدق میکنه. وقتی داده ما شد داده structured data و جدولی، یک انسان با تخصص در حوزه اون مسئله خاص (مالی، ترافیک، آب و هوا و ...) یا به اصطلاح با domain expertise باید بیاد و feature تعریف و مهندسی کنه. مثلا من میام برای یک مسئله فایننس تعریف میکنم میانگین ۳ دقیقه حجم ورودی به سهم به روی میانگین ۳۰ دقیقه یک فیچر اساسی هست.
در این مسائل همچنان انگار انسانِ متخصص نور رو میندازه و بعد هوش مصنوعی قادر به مدلسازی خواهد بود.

به همین سبک Generative AI هم در داده‌های تصویری و زبانی رشد کرد. اما در مسائل پیچیده که از جنس اعداد جدولی هستن اوضاع اصلا خوب نیست. این که هنوز هوش مصنوعی در مسائل جدولی قادر به تحلیل، Generate به معنای واقعی، و ساخت فیچر نیست یعنی عملا ما به چیزی فراتر از Transformer ها و Diffusion مدل‌ها و LLM ها (مدل‌های زبانی بزرگ مثل chatGPT) نیاز داریم.

@deeptimeai

راه حل؟ باید به مفاهیم برگشت. به بایاس‌ها و کمبود‌های جزئی و کلی. جزئی مثل سلول‌های این سیستم یعنی attention mechanism یا حتی بنیادی تر یعنی back propagation. نیاز به سلول‌های قوی تری برای رسیدن AGI هست. کلی هم مثل توسعه RL و Self Supervised و ترکیب و استفاده بهتر از اونها.
سوال اصلی هم همچنان مثل همیشه این هست که چطور فرآیند یادگیری در نوزاد انسان و انسان بالغ رو بفهمیم و بهتر مدل کنیم. قبلا درباره راه آینده برای AI پست‌هایی مثل این مورد و این مورد درباره سنجش هوش گذاشته بودم.

@deeptimeai

درس‌هایی که در آستانه ۳۰ سالگی‌ام یاد گرفتم

حال که سنم نزدیک به سی سال شده، زمان خوبی فراهم شد تا به ده سال گذشته و درس‌آموخته‌های آن فکر کنم. یاد گرفتم که متواضع باشم و قدردان دوستان، نزدیکان، و حامیان اجتماعی‌ام باشم (بر خلاف جوانی‌ام که هر چه بدست می‌آوردم تنها متنسب به شایستگی ذاتی می‌دانستم و غرور احمقانه‌ای داشتم).

مسیری که طی کردم، دستاوردهایم و موفقیت‌هایم بخش قابل توجهی‌ از آن شانس دخیل بود. بخش دیگرش لطف و مهربانی افرادی بود که مرا می‌شناختند.
اگر آن‌ها نبودند قطعا به خیلی از این موارد نمی‌رسیدم.

مثلا همیشه تصور می‌کردم که از تدریس متنفرم. اگر دکتر حیدرنوری در سال اول دکتری پیشنهاد برگزاری دوره پایتون را نمی‌داد، احتمالا هیچ‌وقت متوجه نمیشدم که چقدر تدریس را دوست دارم و مسیر زندگی‌ام چیز دیگری می‌شد.

یا اگر دکتر رامسین به خاطر آنکه شاگرد اول کلاسش بودم، به من پیشنهاد تدریس به عنوان استاد مدعو در دانشگاه شریف را نمی‌داد، احتمالا چنین شانسی دیگر نصیبم نمی‌شد.

یا برای دوره سربازی نگران یافتن شرکت مناسب بودم. دوستی از کانادا مرا به مدیر عامل یک شرکت معرفی کرد و باعث شد در این مدت با آرامش کار کنم.

خلاصه: قدر آدم‌های زندگی‌تان را بدانید.

@golemcourse

خودم شخصا از دکتر علیرضا آقامحمدی خیلی یاد گرفتم...

الگویی که در طول تاریخ به طور مستمر تکرار شده

ظهور کشاورزی و یکجانشینی، اختراع صنعت چاپ، انقلاب صنعتی و اتوماسیون و در آخر ظهور کامپیوتر و اینترنت صنایع و مشاغل رو متحول کرد، حالا انقلاب هوش مصنوعی با شدت زیادی همه چیز رو متحول خواهد کرد.

اینجا در پنل تخصصی نمایشگاه بین‌المللی صنعت مالی با آرش سروری درباره فایننس، هوش مصنوعی و بازار مالی صحبت کردم. غرفه ما در سالن ۳۵ هست.

لینک گفتگوی کامل

@deeptimeai

مسیر تحصیل رایگان و خودخوان computer science دانشگاه MIT

Path to a free self-taught education in Computer Science!

لینک توییت

حتما یک سر به این ریپو بزنید توش موارد جالبی هست. مثل این بحث یادگیری ابزار دانشگاه MIT که قبلا هم اشاره شد.

The Missing Semester of Your CS Education

@deeptimeai

دوران نوجوانی مثل خیلیا شاید فکر میکردم که دوست دارم عضو یک تیم فوتبال خفن باشم البته کم کم که بزرگ شدم خیلی زود ذهنیتم از فوتبال یا والیبال برای زندگی حرفه‌ای شخص خودم فاصله گرفت. و جذابیت یک کار تیمی خلاقانه و ساختن چیزی که شبیهش نبوده برام بیشتر شد.

حالا در استارتاپمون بیشتر از همیشه این حسو دارم که تیم خیلی خوبی هستیم. خصوصا خوشحالم که این چند ماه سهیل هم از دیجیکالا بهمون اضافه شد و ترکیب فوق‌العاده‌ای شکل گرفت.

طبق پژوهش‌ها تجربیات افراطی‌ای که در زندگی داریم در نهایت تعیین کننده میزان رضایت ما از زندگی هستن. یعنی وقتی در زمان پیری از شما سوال کنن که "آیا خوب زندگی کردی؟" ذهن شما به خاطرات افراطی مراجعه میکنه. تجربه افراطی مثل یک سفر اکتشافی، مثل هزاران ساعت تمرین موسیقی و اجرای یک آهنگ سخت، مثل از شب تا صبح با یک دوست در خیابان قدم زدن و ... . از همه مهم‌تر تجربه افراط در یک مهارت و کار در یک تیم خوب و ساختن چیزی که بدون افراط نمیشه بدستش آورد.

به قول محمدرضا شعبانعلی، دستاورد حاصل عدم تعادل هست‌. که در واقع این هم به افراط اشاره داره. یا همونطور که لوریس چکناواریان بزرگ در این ویدئو میگه:
آدم نرمال به جایی نمیرسه و هیچ چیزی خلق نمیشه بدون دیوونه شدن!

@deeptimeai

چت با ویدئو‌ها و یادگیری سریع! Ortus

یکی از بهترین کاربردهایی که از LLMها دیدم این هست که نرم‌افزارهایی نوشته شده که به واسطش شما میتونید با محتوای ویدئوها چت کنید. این مسئله به شدت کاربردی هست و صرفه‌جویی زمانی بالایی داره. میتونید بپرسید ویدئو یا گفتگو درباره چی بود، خلاصه رو بگه یا مثلا بپرسید در این ویدیو درباره فلان موضوع چه مطلبی گفته شد. جالبیش اینه که حتی میگه جواب رو از چه دقیقه‌ای از ویدئو پیدا کرده که میتونید کلیک کنید و چک کنید.

افزونه کروم Ortus برای چت با محتوای ویدئویی یکسری کانال‌های خاص یوتیوب نوشته شده. کانال‌هایی که در حال حاضر ساپورت میکنه و همشون هم عالین (خصوصا huberman):

Lex Fridman
Huberman Lab
3Blue1Brown
Yanic Kilcher
Kurzgestagt
Alexa Gordic
Y Combinator
Andrej Karpathy
Petar Velickovic
Alex the Analyst
Ken Jee

و حالا با ۲۰۰ ویدئو Jeremy Howard هم میتونید چت کنید و سوالات Deep Learning بپرسید. خصوصا از این کورس. این هم ویدئو معرفی Ortus در یوتوب.

حالا اگر سوال دیپ لرنینگ هم ندارید اما مطمئن باشید از چت با ویدیو‌های کانال Hubermanlab سود میکنید. این استاد نوروساینس استنفرد درباره متابولیسم، خواب، یادگیری، تغذیه، ورزش، هورمون‌ها ... ویدئو‌های تخصصی داره و ابزار کاربردی میگه.
ضمنا میتونید کانال‌ها و ویدئوهایی که فکر میکنید خوبه ساپورت بشه رو براشون علامت بزنید که در آینده اضافه کنن.

@deeptimeai

Keras Core
به لطف تیم Francois Chollet حالا میتونید از اجزاء Tensorflow، Pytorch و JAX به صورت یکجا در Keras Core استفاده کنید. تجمیع سیستم‌های مفید در سطح این سه framework به نظرم کار بسیار ارزشمندی هست. علت اصلی این هست که این چند سال خیلی از افراد مشکل انتخاب framework داشتند. در آینده اگر سیستم‌های بر مبنای Julia هم اضافه کنن، طوری که فقط نیاز داشته باشید API doc خود Keras Core رو بخونید، فوق العاده خواهد بود.

مزایای اصلی:
1- بدون تغییر کد میتونید با یک خط backend رو به JAX، Tensorflow یا Pytorch تغییر بدید و نتیجه رو ببینید
2- میتونید از قسمت‌های خفن هر فریمورک (مثلا dataloader در پایتورچ و serving در Tensorflow یا استفاده گسترده TPU در JAX) استفاده کنید و همه رو یکجا در یک model.py توی Keras Core داشته باشید.
3- قبلا در بهترین حالت هر مدل شما میتونست برای نصف کامیونیتی ML قابل استفاده باشه(تنسورفلو یا پایتورچ). اما الان این مشکل هم وجود نداره. حتی اگر افرادی که میخوان استفاده کنن، با Keras آشنا نباشن.

@deeptimeai

مغز به عنوان ماشین پیشبینی کننده
(بررسی کتاب ماشین تجربه اثر اندی کلارک)

صرف نظر از هر کاری که بهش مشغول هستین شدیدا توصیه میکنم این دو ویدئو (ویدئو1 ویدئو2) رو کامل بین کارهاتون ببینید. اگر وقت ندارید سرعت ویدئو رو بالا ببرید.

نکته اساسی:
مغز ما دقیقا شبیه یک مدل ماشین لرنینگ، بعد از فاز یادگیری (تجربه)، خیلی بیشتر از تکیه بر ادراک و واقعیت بیرون، به پیشبینی ها اتکا میکنه و قسمت ترسناک یا شگفت انگیز ماجرا اینجاست که این پیشبینی ها (که حاصل تجربیات، وضع بدن، جهان اطراف و البته خود مغز هست) میتونن واقعیت رو شکل بدن تا حدی که حتی دردی ایجاد کنند یا دردی رو از بین ببرند و به طور کلی تمام زندگی مارو تحت تاثیر قرار بدن.

@deeptimeai

افت عملکرد GPT-3.5 و GPT-4 در زمان

این مقاله‌ از پژوهشگران استنفرد و برکلی نشون میده GPT-3.5 و GPT-4 در ۴ تسک نشون داده شده در تصویر که از جنس حل مسئله هستن در زمان کوتاهی (بین مارچ و جون ۲۰۲۳) افت عملکرد عجیب داشته خصوصا GPT-4.
این روزها بازار مدل‌های زبانی بزرگ (LLM ها) داغه و الان هم متا llama 2 رو معرفی کرده و خوب بخاطر لایسنس اپن سورسش که اجازه استفاده تجاری رو به همه میده بسیار مورد تحسین قرار گرفته و جالبه. ولی نکته اینجاست که فکر نکنیم هرچیزی جدیدتر اومد به طور پیشفرض بهتر هست و باید این مدل‌ها در زمان مانیتور بشن.

@deeptimeai

ادب از که آموختی از بی ادبان!

برای طراحی یک Meta learner با تکنیک stacking، شما میتونید حتی مدل‌هایی با پرفرمنس بد رو دخیل کنید و متالرنر از اون هم یاد میگیره. مثل ایده weak learner. در واقع چیزی که اهمیت داره این هست که مدل‌های مختلف در جاهای متفاوتی اشتباه کنن. و این باعث میشه که مدل نهایی ادب خفنی رو از بی ادبان یاد بگیره و در واقع Generalization اتفاق میفته.

نکته مهم: با توجه به مطلب بالا توصیه میشه که خیلی تک‌مدل‌های موجود در stacking تون رو بهینه نکنید!

پ.ن: ایده Stacked Generalization توسط Wolpert سال ۱۹۹۲ در کتابش مطرح شد اما همین ۲۰۱۹ بود که بعد از نتایج مسابقات Kaggle متوجه قدرت این مدل برای حل مسائل پیچیده شدند و در Scikit-Learn هم آورده شد. مطلب برگرفته از کتاب The Kaggle Book هست.

@deeptimeai

#معرفی_کتاب

عنوان فارسی: صراحت تمام عیار (انتشارات آریانا قلم)
عنوان انگلیسی:
Radical Candor: Be a Kick-Ass Boss Without Losing Your Humanity

نویسنده کتاب سال‌ها یکی از مدیران ارشد گوگل بوده و تیم‌های بزرگی در یوتیوب و گوگل ادسنس را مدیریت کرده است. ایده کلی کتاب ساده است: چگونه به عنوان مدیر صراحت داشته باشیم و در عین حال به افراد اهمیت بدهیم.
ارزش اصلی کتاب به نظرم به ایده کتاب نیست بلکه به داستان‌ها و تجربیاتی است که نویسنده تعریف می‌کند: از اخراج کردن کارمند مستقیم گرفته تا بازخورد دادن به کارمند مستقیم تا انتقاد از رئیس. هر یک از این خاطره‌ها موقعیتی را شرح می‌دهد که برای من نحوه مدیریت کردن آن خیلی جالب بود.
جزء کتاب‌های مورد علاقه من شد و قطعاً چند بار دیگر آن را خواهم خواند. حتی برخی از جملات کتاب ارزش حفظ کردن هم دارد.
@golemcourse

functime: Time-series machine learning and embeddings at scale

کتابخانه نسبتا جدید و تحسین شده برای Time Series و ML هست که به نظر موارد جالبی نسبت به Prophet، Nixtla و Darts داره. حتما بررسی کنید. از polars استفاده کردن و البته اگر نمیکردن عجیب بود. ما هم در کار خودمون برای feature eng و پردازش داده سری زمانی از polars استفاده میکنیم که شدیدا سرعت بالاتری نسبت به pandas داره. پیشنهاد میکنم حتما کار با polars رو یاد بگیرید.

Github

@deeptimeai

کار جدید تیم Deep Mind گوگل بسیار جالبه RT-2
ترکیب مدل‌ زبانی، مدل تصویری و رباتیک!
یک مدل هوش مصنوعی که داده text و image رو از اینترنت یاد گرفته و بعد روی داده رباتیک fine tune شده

ایده اصلی به گفته اعضای تیم ساده بوده ولی جواب داده. مشخصا برای کنترل یک ربات باید action های رباتیک به عنوان خروجی مدل باشن. ایده این بوده که این action ها به صورت token، مشابه توکن مدل‌های زبانی، در خروجی مدل باشن. مدل از RT-1 برای pretraining استفاده کرده. مدل عملکرد خیلی خوبی در تبدیل یک دستور زبانی پیچیده به حرکت‌های رباتیک داره و در این زمینه نسبت به شرایط و اشياء و ... دیده نشده، عملکرد خوبی داشته.

مطالب و ویدئو‌هارو ببینید:

RT-2: New model translates vision and language into action

@deeptimeai