احتمالا تا الان این کتاب Understanding Deep Learning معروف به UDL رو توی توئیتر دیده باشین.
این کتاب به نظرم یکی از جایگزین‌های جدی کتاب Deep Learning یان گودفلو(Ian Goodfellow) و یوشوا بنجیو(Yoshua Bengio) باشه از 2016 که این کتاب رو دادن کلی مباحث جدید مطرح شده تو یادگیری عمیق که توی کتاب گود فلو نیست
ولی خیلی از این مباحث رو این کتاب جدید UDL پوشش داده.
هنوزم توی نسخه پیش نویسه و نهایی نشده ولی همین الانش نزدیک 550 صفحه است.
یه نگاه کردم حقیقتا نوت بوک‌های خیلی خفنی داره برای هر مبحث.
مباحث‌ش رو هم توی تصویر ببنید خیلی به روز و عالیه.
اینم لینک پی دی افش.
https://github.com/udlbook/udlbook/releases/download/v1.14/UnderstandingDeepLearning_13_10_23_C.pdf

اعتراض به انتشار مدل Llama مقابل دفتر متا

عده‌ای از افراد معترض به انتشار اپن‌سورس مدل Llama مقابل دفتر متا در سانفرانسیسکو اعتراض خود را اعلام کردند. به عقیده این افراد انتشار چنین‌ مدل‌های قدرتمندی به صورت اپن‌سورس می‌تواند توسط هر کسی برای مقاصد شوم مورد استفاده قرار بگیرد. Llama یکی از بزرگترین مدل‌های زبانی است که توسط متا توسعه داده شده و به صورت اپن‌سورس و رایگان در دسترس عموم قرار گرفته است. انتشار این مدل فرصت‌های زیادی را برای افراد و شرکت‌های کوچک که منابع پردازشی کمتری در اختیار دارند فراهم کرده است. اینکه مدل‌های قدرتمند هوش‌مصنوعی توسط چه کسانی با چه اهدافی مورد استفاده قرار می‌گیرد یکی از چالش‌های ایمنی هوش‌مصنوعی است.

#meta
#llama
#ai_safety

@dumannewsletter

صحبت‌های پراکنده‌ای در مورد مدل‌ زبانی بزرگ بعدی و احتمالا GPT-5 میشه که واقعا جذابه:
Geoffrey Hinton
شرکت‌ها در حال برنامه‌ریزی برای آموزش مدل‌ها با 100 برابر محاسبات بیشتر از بهترین وضعیت فعلی هستند، و این کار را طی 18 ماه آینده انجام خواهند داد. هیچ کس نمی‌داند چقدر قدرتمند خواهند بود. و در واقع هیچ قانونی در مورد اینکه چه کارهایی با این مدل‌ها قادر به انجام خواهند بود، وجود ندارد.


این حرف رو احتمالا از مصطفی سلیمان مدیر InflectionAI گرفته:
“ما قصد داریم مدل‌هایی را آموزش دهیم که در سه سال آینده 1000 برابر بزرگتر از حال حاضر خواهند بود. حتی در Inflection، با توان محاسباتی که داریم، مدل‌ها 100 برابر بزرگتر از مدل‌های مرزی فعلی در 18 ماه آینده خواهند بود.”

و این توئیت
"منابع می‌گویند هزینه آموزش GPT-5 بین 2.0 تا 2.5 میلیارد دلار خواهد بود، 500 هزار H100s برای 90 روز یا پیکربندی دیگر. سال آینده شروع می‌شود."

ㅤ
داستان دعوای بین غول‌ها

آقای اندرو انگ که معرف حضور هستند از سوابق ایشون اینکه
موسس deeplearning.ai،
هم‌بنیان گذار Google Brain
دانشمند ارشد Baidu
استاد یادگیری ماشین سم آلتمن(بنیان‌گذار OpenAI) هستند.
رفته یه مصاحبه کرده گفته که این بحث‌های AI Regualtion کار کمپانی‌های بزرگ AI که نمیخوان با خطر مدل‌های بزرگ Open Source برای خودشون تهدید رقیب درست کنند. این حرف بین پدرخوانده‌ّای بزرگ AI دعوا درست کرده .
از یک طرف AI Regulation یه مخالف قوی داره به اسم یان لیکان که میاد تو تیم اندرو انگ. حالا واسه اینکه بیشتر بفهمید چرا یان لیکان اینطوری فکر میکنه باید ببنید مسئولیت فعلی یان لیکان چیه؟ بله یان لیکان دانشمند ارشد FAIR یعنی تیم open-source هوش مصنوعی فیس بوکه. فیس بوک یک تیم AI دیگه هم داره که اون تحقیقاتش دیگه open-source نیست. اینکه می‌بینید که فیس بوک برخلاف گوگل و مایکروسافت و OpenAI و Google Brain و Deep Mind داره Foundation Modelهاش رو با شفایت بالا اپن سورس می‌کنه تحت تاثیر همین رویکرد لیکانه.
بخاطر همینه که لیکان و اندرو الان با هم تو یه تیم هستند.
حالا خیلی از بحث دور نشیم:)

حالا این حرف‌ و مصاحبه اندرو به کی برخورده؟
به طور غیر مستقیم به 375 نفر:)
به طور مستقیم به دو سه نفر: 1. جفری هینتون 2. یوشوا بنجیو

چرا 375 نفر؟ این‌ها همون آدم‌های برجسته صنعت و آکادمی و سرمایه‌گذارهای بزرگ AI هستند که بعد از اینکه نتایج ChatGPT دنیا رو متحیر کرد سریع به فکر افتادند یک بیانیه دادن تحت عنوان (Statement on AI Risk) یعنی «بیانیه بر خطر هوش مصنوعی» مثه خود هینتون و بنجیو و دمیس هاسابیس(دیپ مایند)، خواهر و برادر آمودی(آنتروپیک)، بیل گیتس و لیست کامل رو از اینجا ببنید.


حالا پدرخوانده اول یعنی جفری هینتون از این مصاحبه اندرو ناراحت شده این توئیت رو زده به طور خلاصه میگه: «بیبن اینکه تو میگی کمپانی‌های بزرگ دارن در ترس از AI مبالغه می‌کنند تا رقیب پیدا نکنند چرنده. چرا؟ چون من خودم دو سه ماه پیش از تیم AI گوگل اومدم بیرون تا راحت‌تر بتونم در مورد ریسک AI صحبت کنم اگر قضیه اینطوری بود که تو میگفتی من و گوگل همسو بودیم باید میموندم حرفام رو همونجا میزدم»

لیکان که شاگرد و رفیقشه اومده میگه: «تو(جفری هینتون) و بنجیو عملا ناخواسته دارید باعث می‌شید تحقیقات هوش مصنوعی بره زیر کلید یه سری بیزینس بزرگ که میخوان داده‌ و تحقیقات عمومی و کد و مدل متن باز رو محدود کنن»


اندرو اومده میگه: «من نمیگم نو(جفری هینتون) توهم توطئه زدید ولی داری زیر خطرش رو بزرگ جلوه میدید (OverHyper). یه سری دانشجوها بخاطر شریک جرم نبودن در انقراض بشر دارن از اینکه بیان سمت AI دارن منصرف می‌شن(!). این ترسی که شماها درست میکنید منجر به قانون گذاری بد میشه. قانون‌هایی مثه لاینسنس گذاشتن برای مدل‌های متن باز که عملا متن باز رو به فنا میده و خلاقیت رو نابود می‌کنه»


هنتون دوباره اومده در جواب گفته: «اندرو و لیکان درست نمیفهمن چرا کمپانی‌های بزرگ طرفدار مقررات‌سازی برای AI هستند. اونا میخوان آسیب پذیری خودشون در برابر کیس‌های حقوقی کاهش بدن و با رعایت یه سری مقررات که قانون تعیین می‌کنه از خودشون در برابر مسئولیت بی‌نهایت سلب مسئولیت کنند»


پ.ن: چیزهایی که داخل گیومه اومده نقل قول مستقیم نیست برداشت عامیانه و ساده‌سازی شده از حرف‌های گوینده است.

دلیل اینکه ما به این موضوع می‌پردازیم اینه که مسائل اصلی امروز AI فقط LLM و Foundation Modelها و ... نیستند اینطور مسائل فنی و علمی ما رو نباید از مسائل واقعی‌تر و جد‌ی‌تر AI غافل کنه.
مسائلی مثه AI safety , AI Regulation , جنگ بین آمریکا و چین در صادرات GPU و امثالهم مسائلی به همان اندازه مهم هستند.
به این گفتگو‌ها و دعواها نباید به چشم دعواهای خال‌زنکی نگاه کرد. این‌ حرف‌ها هست که تاریخ AI رو می‌سازه.

استاد اشمیت هوبر(با LSTM شناخته میشه) که از دشمنان خونین پدر خوانده جفری هینتون هستند(برای اینکه بیشتر مطلع بشید از دعواشون برید انتقادش به جایزه هوندا رو بخونید)
اینجا هم طبق انتظار موضعی مخالف هینتون گرفته:) و حرف آنرو انگ رو میزنه
《هیاهوی احمقانه مقررات‌گذاری هوش مصنوعی》
خلاصه میگه:
《مقررات گذاشتن واسه هوش مصنوعی مثه مقررات گذاشتن واسه ریاضیاته. خود هوش مصنوعی نباید براش مقررات گذاشت. مقررات رو باید برای کاربرد وضع کرد کما اینکه همین الان دارن می‌کنند مثه ماشین خودران و حوزه سلامت و ...》

پ.ن: بعدا بیشتر از دعوای این هینتون و هوبر مینویسم.
پ.ن: حقیقتا اشمیت هوبر خیلی آندرریتت هست. خیلی از کارایی که توی دیپ لرنینگ در دهه گذشته شده قبلا ایده‌هاش رو در دهه ۸۰ و ۹۰ داده ولی اون موقع نه جی‌پی‌یو بوده نه شبکه‌عصبی به این شکلی امروز هست.

یاران هینتون:) : این قسمت خانم فی‌فی‌لی
این خانم فی‌فی‌لی خیلی ادم مهمیه انصافا، چرا؟ چون کورس Machine Visionش تو اسنفورد خیلی معروف شده:)؟ نه!
استنفورد ۷۰ هیات علمی CS داره همشون واقعا مهم نیستن اینقدر!
ایشون ادم مهمی در این حد که اگر نبود اصلا شاید deep learning خیلی دیرتر موج‌ش رو توی دنیا شروع می‌کرد! چرا؟ چون توجه به دیپ لرنینگ از مسابقات ILSVRC در سال 2012 شروع شد وقتی که مدل AlexNet بعد ZFNET بعد GoogleNet و بعد ResNet طی چهار سال متوالی با معماری دیپ کمترین خطا در تسک دسته‌بندی ImageNet رو داشتن.
خب ImageNet کار کیه؟ بله خانم FeiFeiLi. کی؟ سال 2007 این پروژه رو شروع کرد! یک تیم جمع کرد ۳.۲ میلیون عکس رو لیبل زد با سرویس Amazon Turk.
اگر ImageNet نبود هیچ وقت مسابقات ILSVRC معنی پیدا نمی‌کرد و اگر هیچ وقت اون داده برچسب نمی‌خورد هیچ وقت داده بزرگی برای نشون دادن قابلیت‌های دیپ نداشتیم.

حالا این خانم‌ هم از یاران هینتون در موضوع ریسک هوش مصنوعیه. هینتون کتاب «جهانی‌هایی که من می‌بینم» رو در این موضوع ازش معرفی کرده.

پ.ن: موقعی که فی‌فی‌لی می‌خواسته این دیتاست رو جمع کنه اون موقع توی پرینستون بوده اون موقع میره پیش بنیانگذار پروژه WordNet از اون مشاوره می‌گیره ImageNet رو می‌سازه. وردنت شبکه‌ی معنایی لغات انگلیسی. برای کسی میخواد دقیق انگلیسی رو یاد بگیره به نرم یه دیکشنری مهمه.

رویداد مغفول مانده...
آقا این خیلی عجیبه که فضای وب و کانال‌های داخلی(فارسی) رو می‌بینم در مورد OpenAI Dev Day که تقریبا سه روز پیش برگزار شد تقریبا هیچ مطلب خاصی ندیدم!(به جز اونی که قبلا فوروارد کردم!)
من نوعا هدفم پوشش دادن اخبار نیست این کار رو کانا‌ل‌های دیگه می‌کنن، علاقه‌ام ارائه بحث‌های چالشی و اطلاعات تحلیلیه.
به دید بنده چیزهایی که Sam Altman از دست‌آورد‌های جدید OpenAI در 8 نوامبر 2023 در رویداد OpenAI Dev Day برای ChatGPT ارائه کرده اتفاقیه به مهمیه ارائه iPhone در سال 2007!
شاید بپرسید مگر عرضه و معرفی آیفون چه رویداد خاصی بود؟
اولین آیفون یک نوآوری فوق العاده جنجالی بود که یک تنه استیوجایز پاش ایستاد و اون به ثمر رسوند. اون زمان اولین اسمارت فون، اولین موبایل تاچ اسکرین بود که قابل اتصال به اینترنت داشت و شبکه اجتماعی رو به موبایل می‌آورد. در باب اهمیت‌ش ارائه آیفون همین بس که میگن ارائه آیفون به طور مستقیم و غیر مستقیم در 3.2 درصد در افزایش GDP دنیا در 2013 تاثیر داشته!
(در باب اهمیت ارائه آیفون حرف زیاد میشه زد بطوریکه حتی تغییرات روند نرخ خودکشی تو دنیا تو سال 2007 رو هم با ارائه آیفون توضیح میدن!)

چیزی که از ارائه سم آلتمن در OpenAI Dev Day کاملا قابل مقایسه با اون ارائه معروف استیوجایز برای اولین آیفونه!
و ارائه‌ی سم آلتمن کاملا می‌تونه اون رو تبدیل کنه به یک استیوجابز!
چیزهایی که در این رویداد ارائه شده زیاده و بررسی هر کدومش چندین پست مطلب لازم داره همه رو یک جا به طور خلاصه از اینجا ببینید:

ولی دو تا از شاخص‌ترین و تاثیرگذار‌ترین ویژگی‌هایی که ارائه میده GPT Builder و GPT Store هستند!
توصیف GPT Builder مفصله فقط باید این ویدئو 4 دقیقه‌ای از سم آلتمن رو ببینید به عظمت این فیچر جدید پی‌ ببرید. این قابلبت به شما کمک می‌کنه چطوری چت بات تولید کنید(در سه دقیقه با چت‌چی‌پی‌تی صحبت می‌کنه میگه من چه جور چت باتی میخوام و اون چت بات رو تولید می‌کنه!)
حالا چت‌بات‌هایی که تولید می‌کنید رو می‌تونید بذارید تو GPT Store و از اون درآمد کسب کنید!
ارائه GPT Store چیزی در حد و اندازه‌ی App Store میتونه تاثیر گذار و مهم باشه! وقتی اپ استور در سال 2008 عرضه شد کاملا تاریخ موبایل و صنعت نرم افزار رو دگرگون کرد بعد از چند سال همین استور رو گوگل هم به اسم پلی استور راه انداخت.
از نزدیک 1.8 میلیون اپ توی استور تا حالا 910 میلیارد دلار درآمد کسب شده!
حالا با قابلیت GPT Builder قراره هر کسی بتونه بات مورد نظر خودش رو به راحتی بسازه.
میانگین زمان توسعه هر اپ چیزی حدود 6 ماه زمان می‌بره به طور میانگین! توسعه هر چت بات چیزی کمتر از 20 دقیقه زمان می‌بره!
قبلا کسانی اپ توسعه می‌دادند که Swift و Objective C‌ و Android و Kotlin بلد بودن! در پارادایم جدید هر کسی میتونه اپلیکشن(چت بات) خودش رو بسازه حتی بچه‌ها!


از چیزهای دیگه‌ای که ارائه شد نسخه توربو GPT-4 بود که قبلا نسخه توربو را برای GPT-3.5 داده بود که توضیح‌ش رو اینجا ببنید.(هزینه پاسخ دادن و پردازش ورودی‌ش در مجموع سه برابر ارزان‌تر شده)

یکی دیگه از قابلیت‌های جدیدش TTS است(همون Text-To-Speech)
الان یک مدل milti-modal کامله!
برای Image2Text قبلا GPT-4V رو معرفی کرده بود.
برای ASR یعنی تشخیص گفتار مدل Whisper 3 رو قرار بیاره.
برای Text2Image از DALLE-3 استفاده می‌کنه.
در کنار متن به گفتار جدیدش تمام قابلیت‌های Multi-Modality رو داره!
(البته اصطلاح Multi-model اینجا علمی نیست چون واقعا به معنای علمی Multi-modal نیست.)
ترکیبه همه‌ی این‌ها با مدل ChapGPT‌ و APIهای فوق العاده ش کم کم داره چیزایی که تو فیلم Her می دیدم رو برامون تحقق می‌بخشه:)


یک پارادایم شیفت جدید!

یک نکته در تکمیل مطلب کانال Deep Time
https://news.1rj.ru/str/deeptimeai/285

اولا که این کانال آقای محمد طلائی از کانالای خیلی خوب هوش مصنوعیه. ایشون از حوزه تخصصی خودش می‌نویسه و در زمینه‌ی تخصص‌شون سری‌های زمانی مالی هست.
اما چرا کانالش خوبه؟ چون تولید محتوا می‌کنه و مطلب می‌نویسه! مطلب نوشتن کار سختیه واقعا:)
بعضی کانال‌ها 90 درصد مطالبشون یک لینکه با یک تیتر که اون لینک رو توضیح میده. این مدل مطلب بی ارزش نیست ولی خیلی هم ارزش افزوده برای مخاطب نداره چون خود اون مخاطب روزانه صدها لینک جذاب می‌بینه وقت و حوصله نداره بازش کنه بخونه لینک پست اون کانال هم صد و یکمی‌ش که نمیخونه.

حالا مطلبم رو درباره پست‌شون در پست بعدی می‌گم.

تجارب من از برنامه نویسی(کد زدن) به کمک chatGPT -( قسمت اول)
دو هفته‌ای است بخاطر درگیری در یک سری پروژه‌ها پیاده سازی وقتی برای خواندن و نوشتن ندارم، اما تجربه‌هایی داشتم که با شما به اشتراک بگذارم.
تقریبا چندماهی است خیلی کم کد می‌نویسم! نه اینکه کد نزنم! نمی‌نویسم! از همینchatgpt استفاده می‌کنم. خود chatgpt هم نه چت bing که جدیدا اسمش را گذاشتم copilot...
چت بینگ یه مزیتی که داره اتصال به اینترنت و سرچ کردنه که اگر پول نداشته باشید chatgpt ورژن 4 رو بخرید باید از همون 3.5 استفاده کنید که قابلیت اتصال به اینترنت نداره البته اگر کاربر طولانی مدت chatgpt بینگ شده باشید سوئیچ میکنه روی chatgpt 4. مثلا من الان دارم در بیگ از نسخه چهار chatgpt استفاده می‌کنم.
کد زدن با مدل زبانی واقعا یک سری کار chore یا به اصطلاح گِل رو از روی دوش برنامه نویس بر میداره و فرصت زیادی برای برنامه نویس فراهم می‌کنه تا به چیزهایی فکر کنه که یه برنامه نویس واقعا لازمه فکر کنه. مثلا چند نمونه‌ش رو اگه بخوام بگم:
1. مثلا اگر تجربه استفاده از کتابخونه‌ی scrapping مثه beautiful soup رو داشته باشید یه کم روی اعصابه بخواهید برید یک <div> از تو در توی کلی تگ html برید بکشید که مثلا هیچ کلاسی نداره. معمولا باید در مود دیباگ صد بار با این المنتهای صفحه ور برید تا ساختارش رو درست پیدا کنید ولی خیلی راحت میتونید بخشی از source page صفحه‌تون رو بدید مدل زبانی بگید این تگ خاص رو برای من استخراج کن! البته همین کار هم چند تا قلق اساسی داره ولی خب اگر کسی بلد باشه واقعا کارش رو راحت می‌کنه!

2. یا اگر مجبور شده باشید در پروژه‌ای از regex استفاده کنید و مثه من خیلی هم regex بلد نباشید اون موقع کاملا درک می‌کنید مدل زبانی چه نعمت بزرگیه! چون regex واقعا زبونش آدمی‌زادی نیست حتی چیزی رو که میخوای رو درست نمیتونی سرچ کنی چون اصلا نمیدونی چی سرچ کنی ولی برای chatgpt که توضیح میدی چی می‌خوای خیلی راحت می‌فهمه و پیچیده‌ترین regex ها رو برات پیاده می‌کنه.

3. یه موقعی از یک کتابخونه جدید می‌خواهید استفاده کنید که اصلا هیچ آشنایی با اینترفیس‌ش ندارید مثلا خودم میخواستم با telethon کار کنم، اگر chatgpt نبود باید می‌رفتم داکیومنت‌ش رو می‌خوندم چند تا سمپل کد می‌دیدم تا ببینم چطوری کار می‌کنه ولی قابلیت‌های خیلی پیچیده این کتابخونه رو اگه خودم میخواستم کتابخونه رو چک کنم پیدا نمی‌کردم خیلی راحت کدش رو بهم می‌داد. البته به این راحتی‌ها نیست چون بعضی موقع‌ها کدهایی می‌نویسه که اصلا وجود نداره و از خودش کد چرندی تولید می‌کنه ولی معمولا در بار دوم و سوم که اشکالات سینتکس رو بهش بگید اصلاح می‌کنه. گاهی هم کد‌های ورژ‌نهای deprecate شده کتابخونه رو میده ولی واقعا اشکالات رایجی نیست کمتر پیش میاد.

4. بهتر از همه‌ اینا کمک کردن در دیباگه!
این یک نقل معروف و واقعی و درسته که در برنامه نویسی ۲۰ درصد زمان صرف نوشتن کد میشه ۸۰ درصد زمان صرف دیباگ میشه!
و از قضا این دیباگ کردنه که پدر آدم رو در میاره:)
واقعا کد زدن با chatgpt این نسبت زمانی ۸۰ درصد رو تغییر داده! از دو جهت: الف) یکی اینکه کدهایی که می‌زنه کم پیش میاد باگ واضح داشته باشند! مثلا بیاد با یه لیست به چشم دیکشنری برخورد کنه. پس خوب کد نوشتنش زمان دیباگ رو کم میکنه و از جهت دیگه اینکه بعضی موقع‌‌ها کدی که خودش تولید کرده یا شما نوشتید یه باگی می‌خوره، شما stacktrace کد رو قلمنبه‌ای کپی می‌کنید براش بهتون میگه مشکل از کجاست. اگر کد رو بهش داده باشین کد رو هم براتون اصلاح می‌کنه اگر هم نداده باشین احتمالات ممکن رو براتون فهرست می‌کنه. اینم از جهت دیگه‌ای که زمان دیباگ واقعا کم می‌شه و واقعا با لذت بیشتری میشه برنامه نوشت.
ادامه...

https://news.1rj.ru/str/tweetdev

قبل از اینکه برم سراغ اشکالات و چالش‌های کد زدن با chatgpt یک تصور اشتباه misconception رو برطرف کنم.
الان به عنوان کسی که نزدیک شش هفت ماه دارم باهاش کار می‌کنم بگم که:
«در حال حاضر فوق العاده خیلی مضحکه اگر کسی فکر کنه بدون اینکه برنامه نویس باشی و واقعا برنامه نویسی بلد بشی می‌تونی با chatgpt برنامه تولید کنی» اگر هم تو یوتیوب می‌بینید کسائی هستند که یه سری برنامه‌ها رو از صفر تا صد با chatgpt می‌نویسن به خاطر اینه که خودشون واقعا برنامه‌نویسن.
اما چرا اگه برنامه‌نویس نباشی و قبلا برنامه‌های کاملی ننوشته باشی نمی‌تونی با chatgpt برنامه کاملی بنویسی؟
نکته اول رو با یه مثال توضیح می‌دم: دیدید کسائی که می‌خوان رانندگی یاد بگیرن و یا تازه یاد گرفتن معمولا در جاده‌های بین شهری و بزرگراه‌ها پشت فرمون می‌شینن؟! چرا؟ با اینکه دارن با ۱۰۰ تا سرعت به بالا رانندگی می‌کنن ولی اون رانندگی فقط نیاز‌منده اینکه بلد باشی از دنده چهار بری دنده پنج و معکوس بکشی و گرنه از گاز و فرمون و آیینه هم خیلی استفاده نمی‌کنن. معمولا کمتر کسی با رانندگی در چنین شرایطی به ذهن‌ش می‌رسه که من راننده شدم چرا؟ چون می‌دونه اگر بهش بگن حد فاصل میدون راه‌آهن تهران و میدون شوش رو رانندگی کن کف دستش از استرس عرق می‌کنه! ولی آدمی که با chatgpt چند تا code snipet رو هم چسبونده اسمش رو گذاشته برنامه معمولا به این فهم نمی‌رسه و توهم برنامه نویس بودن برمیداره! حالا چرا واقعا کسی که چند تا از این کد‌ها رو به هم می‌چسبونه برنامه نویس نیست. در نکته بعد می‌گم.

نکته دوم اینکه، chatgpt به عنوان کسی که یه سری کدهای ما رو می‌زنه، نیرو برنامه‌نویس ما نیست بلکه pair-programmer است یعنی میشینه کنارت بهت کمک می‌کنه «با هم» کد بزنید «با هم»! باز بذارید این رو با یه مثال توضیح بدم، اگر دو تا برنامه نویس تو شرکت بشینن در مورد کد یه پروژه با هم حرف بزنن آیا یک مدیر محصولی که سابقه فنی نداره اگر کنار اینا باشه حرفای اونا رو می‌فهمه؟ ۷۰ درصدش رو نه! اون دو تا برنامه نویس به واسطه دانش و تجربه یه زبان مشترکی دارن که میتونن نیازها و چالش‌ها رو با اون زبان به هم منتقل کنن. گاهی واقعا ۹۰ درصد راه حل مساله بیان مساله است. کسی که اصلا بیان فنی یه مساله رو نمی‌فهمه و نمی‌تونه مساله و مشکل‌ش رو به بیان فنی برای یک pair-programmer که در اینجا chatgpt است مطرح کنه بالتبع اون chatgpt بد بخت هم نمی‌تونه مساله‌‌ای که درست براش تعریف نشده رو حل بکنه. خیلی جاها مساله این نیست که تو برای یک chatgpt یه مساله‌ای رو توضیح بدی اونم بهت کدش رو بده، فرضا که اون بتونه برای هر مساله‌ای که تو براش تعریف کردی کد مساله رو تولید کنه مساله اینه که اصلا اون ادم غیر فنی نمی‌تونه برای این chatgpt بدبخت مساله‌ش رو درست توضیح بده.

نکته سوم اینکه، chatgpt در جایگاه کسی که میخواد کد بزنه رو اینطور میشه توصیف‌ش کرد: «یه برنامه‌نویس خیلی باسواد و باتجربه که خنگه!» یعنی کد کلی رو کتابخونه می‌شناسه طریق استفاده‌شون رو بلده ولی نمی‌تونه برای مساله‌ی خیلی جاها طراحی خوبی انجام بده. نه اینکه فکر کنی نمیتونه طراحی سطح بالای خوبی انجام بده! نه اون که اصلا نباید روش حساب کنی! اون کار خود برنامه نویسه! منظورم توی نوشتن کده! مثلا بهش می‌گی این کد رو بگیر روی این تابعی که داره از نتورک استفاده می‌کنه پراکسی ست کن(مشکلی که 😭😭 پوست‌ ما ایرانی‌ها رو کنده) اگر بتونه بفهمه اون کتابخونه پراکسی ساپورت می‌کنه خیلی شاهکار کرده ولی خیلی بعیده بفهمه که اگر فلان تابع کتابخونه پراکسی ساپورت نمی‌کنه میشه کلاس HttpHandler اون تابع رو override‌ کرد و توی constructor اون کلاس بهش پراکسی پاس داد و HttpHandler جدید رو به تابع پاس داد! این کد رو اگه بخوای بهت بده باید این چنین نمونه کد‌هایی دیده‌ باشی و بتونی براش توضیح بدی که چنین کدی بهم بده و کسی که برنامه نویس نیست واقعا نمیتونه این قضیه رو جمع کنه!

نکته چهارم، یک بخشی از کیفیت تجربه کاربری کد زدن با chatgpt به توانائی و تجربه نوشتن پرامپ برمیگرده. گاهی یک سوال رو ازش می‌پرسید بهتون جواب نمیده و یا هر چی ازش می‌خواهید جوابش رو عوض کنه همون جواب‌های قبلی رو بهتون میده. اینجا هوش شما میاد وسط که چطوری کانتکس اون نشست رو براش طراحی کنید که وقتی اون سوال رو ازش میپرسید توی دره قبلی نیوفته و جواب متفاوت‌تری بهتون بده.


در قسمت بعدی از مصائب و چالش‌های کد زدن با chatgpt براتون میگم...
حتما شما هم اگر تجاربی دارید در کامنت‌های کانال بفرمائيد یاد بگیریم ازتون❤️

https://news.1rj.ru/str/tweetdev

دوران «ماه عسل» مهندسین یادگیری ماشین داره به سر میاد...

این مقاله در مورد تاثیر پیشرفت هوش مصنوعی در بازار کاره.
این جمله رو از کسایی که خیلی به هوش مصنوعی خوش بین هستند شنیدید که هوش مصنوعی قرار نیست جایگزین انسان بشه بلکه به انسان کمک می‌کنه که بهره‌وری بیشتری داشته باشه...
(بابت صراحت کلامم عذرخواهی می‌کنم 🙏)
این مقاله شواهدی میده که این، حرف مفته!
دوره‌‌های همکاری انسان و هوش مصنوعی رو به سه دوره تقسیم می‌کنه:
الف) دوره‌ی قبل از ادغام decoupling
هوش مصنوعی بروزی از هوشمندی داشت ولی نمی‌تونست به انسان کمک کنه. مثلا دوره پیدایش مدلهای زبانی مبتنی بر ترنسفورمر اولیه مثه BERT تا قبل از ChatGPT3.5 به نظرم میشه این دوره.
ب) دوره ماه عسل honeymoon
دوره‌ای که هوش مصنوعی خیلی هوشمنده و عملکرد خیلی خوبی داره ولی هنوز از انسان در اون مهارت بهتر نیست مثه همین الان ما، شبیه به مترجم انسانی ترجمه می‌کنه ولی هنوز بهتر از مترجم انسانی نیست. کد می‌نویسه و هنوز برنامه کامل نمیتونه تولید کنه. تازه یادگرفته مثلا اگه عکس انسان تولید می‌کنه عکسی که تولید میکنه انسان شش انگشتی نباشه(اینجا رو ببنید)!
ج) دوره جایگزینی با انسان substitution
در این دوره هوشمندی هوش مصنوعی از انسان بیشتر شده و در همون عملکردی که یک روزی کمک‌یار انسان بود حالا جایگزین انسان متخصص شده. شبیه استادکاری که یک شاگرد میاره ور دست خودش کارهای گِل رو بندازه رو دوش‌ش تا خودش راحت‌تر بشه ولی اون شاگرد کم کم فوت و فن استادی رو هم یاد می‌گیره از استاد خودش جلو می‌زنه!

برای این موضوع اومده شغل «مترجمی» رو بررسی کرده(احتمالا از داده‌هایی جایی مثه UpWork)
نشون داده از زمانی که ChatGPT اومده درآمد مترجم‌ها ۳۰ درصد کاهش داشته!
ابزارهای هوش مصنوعی اول کمکت می‌کنن راحت‌تر بشی در کارت ولی کم‌کم که داده‌ بیشتری ازت جمع‌آوری می‌کنند از خودت بهتر می‌شن!
به حجم فیدبکی که سرویس‌های Foundation Model چه تصویر چه متن و چه کد برنامه نویسی... از کاربر خودشون جمع می‌کنن فکر کنید همین فیدبک‌هایی که ما در یک نشست چت به ChatGPT میدیم فکر کنید چه دیتاست‌های خفن‌تری در اختیار صاحب مدل قرار میده!
این مساله رو خود نویسنده‌ها هم به استناد رشته ردیت r/translationStudies بهش اقرار دارن!
این موضوع باعث کاهش ۷ درصدی درآمد «نویسندگی» هم شده....

اما نکته جالب‌تر!
این روند داره در برنامه‌نویسی وب و مهندسی یادگیری ماشین هم اتفاق می‌افته ولی! ریسک جایگزینی هوش مصنوعی برای مشاغل حوزه مهندس یادگیری ماشین از ریسک جایگزینی هوش مصنوعی برای مهندس نرم افزار بیشتره!
دلیلش اینه که در حال حاضر مهندس نرم‌افزار سیستم پیچیده‌تر شامل اجزای بیشتری رو داره تولید میکنه ولی تولیدات مهندس یادگیری ماشین معمولا تک زبانه و تک جزئی(component) است.
و مهمتر از اون مدل‌های open source یادگیری ماشین دارن خیلی در دسترس قرار می‌گیرن و از کد‌های open source در مهندسی نرم افزار در دسترس‌تر هستند.

لذا این تصور که چون هوش مصنوعی داره در همه‌ی مشاغل جای انسان رو می‌گیره پس بریم خودش رو یاد بگیریم تا جایگزین نشیم غلطه!
چون هوش مصنوعی داره اول کار مهندسین یادگیری ماشین رو ازشون می‌گیره!
به تعبیر این مقاله ادعا میکنه مهندسین یادگیری ماشین دارن تو چاهی می‌‌افتن که خودش براش کلنگ زدن!

https://news.1rj.ru/str/tweetdev