اگه تا حالا مقالات منتشر شده از اینکه chatGPT و موارد مشابه چطور کار میکنند متوجه نشدی این بهترین مقاله است که بفهمی قضیه چیه و پشت این کار عظیم کارش و نحوه خوندن دستورات و... چطوریه این کمک شایانی در فهم مسئله بهتون میکنه دیگه به زبان کودکانه توضیح دادند

https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/

#مقاله #مبتدی #پردازش_زبان_طبیعی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

رقیبی جدی برای مایکروسافت و گوگل اسکالر و سایر انتشاراتی ها ،به وسیله کلید واژه میتوانید مقاله خاص هر موضوعی را سرچ کنید

https://alpha.openalex.org/works

#خبر #مقاله

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

دوره جدید دکتر Andrew NG در مورد پرامپتینگ و chatGPT که مخصوص دولوپرها هست:
https://www.deeplearning.ai/short-courses/chatgpt-prompt-engineering-for-developers/

#منابع #فیلم #هوش_مصنوعی #کلاس_اموزشی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

app.copilothub.ai/chat?id=3487
بهش بگین با طرح و عکس بهتون بده

خب خب خب،
اگه میخواهید واقعا پردازش زبان یاد بگیرید و بدونید داستان چیه و کل این چت جی پی تی و ... چطوری کار میکنه، دو راه داره:
۱. ولش کنید.
۲. این لیست رو بخونید، حدودا دو سه ماه حداقل وقت می‌بره و به ترتیب بخونید:
پردازش زبان ژورافسکی:
https://web.stanford.edu/~jurafsky/slp3/

یادگیری عمیق:
https://www.deeplearningbook.org/

مقالات مهم و تاثیر گذار پردازش زبان:

LSTM:
https://arxiv.org/abs/1512.08849

اتنشن تو پردازش زبان:
https://arxiv.org/abs/1409.0473

Word2vec, Fasttext

ترنسفرمر:
https://arxiv.org/abs/1706.03762

T5, BERT, Longformer

Instruction fine-tuning:
https://arxiv.org/abs/2204.07705

Bloom:
https://arxiv.org/abs/2211.05100

RLHF:
https://arxiv.org/abs/2009.01325

پیش نیاز:
ریاضی و مخصوصا مشتق و امثالهم
برنامه نویسی پایتون
تفکر نقادانه
یادگیری ماشین

اکسیرِ حیات یا جامِ شوکران
نگاهی به تحولات اخیر هوش مصنوعی

یک.
تصور کنید قرار بوده اکسیری را به مرور زمان در طی چندین سال بنوشیم تا پس از چند دهه توانایی‌های ابرانسانی پیدا کنیم. این اکسیر به ما قدرت می‌داده تا با اَبَرهوش خود، مشکلاتِ فوقِ پیچیدهٔ پزشکی، اجتماعی، اقتصادی، اقلیمی و فضایی را حل کنیم. دکترهایمان البته کمی هم نگرانِ عوارضِ جانبیِ این اکسیر بوده‌اند، با این‌حال خوش‌بین بوده‌اند که در این بازهٔ زمانیِ چند‌ساله که اکسیر هنوز اثر نکرده، راه‌حلِ مقابله با این عوارضِ جانبی را هم پیدا می‌کنند. اکنون اما، پس از نوشیدن جرعه‌ای از این اکسیر، نه تنها اولین نشانه‌های اَبَرهوش بروز پیدا کرده [۱] بلکه دکترها متوجه شده‌اند که گرفتار سرطانی بدخیم شده‌ایم [۲]. این اکسیر البته چیزی نیست جز هوش‌‌ مصنوعی. من طیِ پنج سالِ گذشته مشغول به پژوهش در حوزهٔ هوش مصنوعی و رباتیک بوده‌ام و در این متن، به صورت خیلی مختصر از تحولاتِ اخیرِ این تکنولوژی (پاراگراف دو)، تغییراتِ پیش‌ ِرو (پاراگراف سه)، مخاطراتِ جدی آینده (پاراگراف چهار و پنج)، و چالش‌های احتمالیش در زندگی‌های جمعی (پاراگراف شش) و فردی‌مان (پاراگراف هفت) می‌نویسم.

دو.
قابل‌توجه‌ترین توسعهٔ هوش‌ مصنوعی در چند سال اخیر، پیشرفت در پردازش ِزبان ِطبیعیِ انسان‌ها توسط مدل‌های زبانی بزرگ (LLM) است. این مدل‌های شبکه عصبی مصنوعی، با استفاده از مجموعه‌های عظیمی از داده‌های متنی موجود در اینترنت طوری آموزش می‌یابند که در یک جملهٔ جزئی، باید کلمهٔ بعدی جمله را پیش‌بینی کنند. کاربردهای رایج این مدل‌ها شامل: پاسخ دادن به سوالات، خلاصه کردن متن، ترجمه متن به زبان‌های دیگر، تولید کد کامپیوتر، تولید پست‌ وبلاگ، داستان‌، مکالمه و سایر انواع محتواست. شواهد گزارش شده حاکی از آن است که نسخهٔ اولیه‌ای از یک مدل‌ زبانی با نام GPT-4 محصول شرکت OpenAI، علیرغم اینکه صرفاً یک مدل زبانی است، قابلیت‌های قابل‌توجهی از هوش را در حوزه‌ها و مسائل مختلف، از جمله انتزاع، ادراک، بینایی، برنامه‌نویسی، ریاضیات، پزشکی، حقوق، درک انگیزه‌ها و احساسات انسانی و … نشان می‌دهد. هوشمندیِ GPT-4 در دامنه وسیعی از مسائل در سطحِ هوشمندیِ انسانی یا فراتر از آن است و با وجود محدودیت‌های فعلی‌اش نشانی‌ست از یک تغییرِ پارادایمِ اساسی در زمینهٔ علومِ کامپیوتر و سایر علوم.


سه.
همه‌چیز در شرف تغییر است؛ همه‌چیز! همان‌گونه که ظهور کامپیوتر خانگی، اینترنت، تلفن هوشمند و شبکه‌های اجتماعی همه‌چیز را تغییر داد، هوش مصنوعی به مرحله‌ای رسیده که با نرخی نمایی روز‌به‌روز بزرگ‌تر شود و همه‌چیز را تغییر دهد. تمامی مسیرهایی که ما طی آن‌ها تولید اطلاعات و محتوا می‌کنیم، از متن گرفته تا صوت یا ویدیو، و همگی راه‌های ارتباطاتی ما در جامعه در آستانهٔ تحولاتی انقلابی هستند. هر کسی قادر خواهد بود که بی‌درنگ، افکار، ایده‌ها و تصوراتِ انتزاعی و خلاقانهٔ ذهن خود را به صورتِ تصویری با بقیه به اشتراک بگذارد. تمامی حرفه‌هایی که تکیهٔ اصلی‌شان به زبان، تجزیه و تحلیلِ اطلاعات و ارتباطات است متحول شده و محصولاتشان با کیفیتی بهتر و هزینه‌ای کمتر در دسترس آدم‌های بیشتری قرار خواهند گرفت. از جمله‌ٔ سیستم‌های در آستانه‌ٔ تحول میتوان به: سیستم آموزشی، مراقبت‌های بهداشتی، خدمات حقوقی، پشتیبانی مشتری، روزنامه‌نگاری و تولید محتوا، خدمات اقتصادی و حسابداری، مدیریت منابع انسانی و فروش و بازاریابی اشاره کرد. مهمترین تحولِ پیش‌رو البته در بخش پژوهشِ علمی و توسعهٔ نرم‌افزار رخ می‌دهد، چرا که با فراهم شدن امکان دسترسی به اطلاعاتِ غنی و پردازش شده، بینش‌هایی جدید در همهٔ شاخه‌های علوم ایجاد می‌شود و سرعتِ نوآوری و اکتشافات علمی به صورت نمایی افزایش می‌یابد.

(ادامه در پست بعدی 👇🏽)
@AntiMemoir

(ادامه از پست پیشین👆🏽)

چهار.
اولین مخاطرهٔ جدی پیشِ رو، چگونگی استفاده بشریت از این ابزار جدید است: استنلی کوبریک در فیلم «۲۰۰۱: یک ادیسه فضایی» [۳]، روایتی از نخستین روزهای حضور انسانیان روی زمین را به تصویر می‌کشد. در این تصویر می‌بینیم چگونه وقتی نخستین راست‌قامتان استفاده از یک استخوان به عنوان ابزار را می‌آموزند، در اولین فرصت از این ابزار به عنوان سلاحی برای حذف دیگران استفاده می‌کنند. این تصویر نمادی‌ست از آنکه رابطه بشریت با فناوری، شمشیری‌ست دو لَبه؛ داستانی که بارها در طول تاریخ تکرار شده و ابزارهای بی‌شماری که نخست با هدف ایجاد بهبودی در جامعه طراحی شده‌اند، تبدیل شدند به سلاحی برای اعمال قدرت، کسب ثروت و حذف مخالف. شبکه‌های اجتماعی در واقع اولین محکِ جدی از تماس میانِ انسان و هوش مصنوعی بودند و ما در این ارتباط شکستی جدی خوردیم: بمباران اطلاعاتی، اعتیاد، جنسی‌سازی کودکان، شوم‌گردی، کوتاه شدن بازه زمانی توجه، دوقطبی شدن جامعه، اخبار جعلی و …، همگی محصولاتِ جانبی، ناخواسته‌ و برنامه‌ریزی نشدهٔ استفاده از هوش مصنوعی‌ای بود که تنها با یک هدف بهینه‌سازی شده بود: درآمدزایی بیشتر برای مالکِ تکنولوژی. آیا برای رویارویی با کمپانی‌هایی که با استفاده از هوش مصنوعی‌ای به مراتب قوی‌تر و عمومی‌تر سودای بهره‌کشی بیشتر و سخت‌تر از انسان را در سر دارند آمادگی لازم را داریم؟


پنج.
مخاطرهٔ جدی‌تر اما مسالهٔ چگونگی کنترل هوش مصنوعی‌ (AI Alignment) است: چگونه می‌توان ابرهوشی ساخت که به سازندگانش کمک کند و در عین حال جلوگیری کرد از ساخت ناخواستهٔ ابرهوشی که سازندگانش را از بین ببرد؟ «۵۰ درصد از محققان هوش مصنوعی بر این باورند که با احتمال ۱۰ درصد یا بیشتر، انسان‌ها به دلیل ناتوانیِ ما در کنترل هوش مصنوعی منقرض می‌شوند» [۴]. با وجود اینکه در چند سال گذشته پژوهش‌های مختلفی در زمینهٔ امنیت هوش‌مصنوعی انجام شده است، دانش فعلی ما در این زمینه به هیچ‌وجه متناسب با نیازهایمان برای کنترل کامل هوش مصنوعی نیست. مهمترین دلیل برای این نقطه ضعف هم البته پیشرفتِ فوق سریع و ناباورانهٔ هوش مصنوعی‌ست، به طوری‌که قسمی از دانشمندان این حوزه، ظهورِ تواناییِ فعلیِ هوش ِمصنوعی را شاید تا سال‌ها یا دهه‌های بعد هم ممکن نمی‌دانستند. با این حال ما به همان توصیه‌ها و نتایج ناچیز متخصصانِ امنیتِ هوش مصنوعی هم بی‌توجه بوده‌ایم: ما به هوش مصنوعی کد نوشتن یاد داده‌ایم؛ آن را به اینترنت و سرورهای ابری وصل کرده‌ایم؛ مهمتر از همه با استفاده از شبکه‌های اجتماعی، آن را در معرض شناختِ روان انسان و سازوکارِ دستکاریِ این روان برای رسیدن به هدف مطلوب گذاشته‌ایم. آیا قادر هستیم برای لحظه‌ای بایستیم و از نو به مسالهٔ کنترلِ این ابرهوش نگاه کنیم؟ آیا این سرطان را درمانی هست؟


شش.
نقل قولی هست از یووال هراری که: «آنچه که سلاح‌های هسته‌ای برای دنیای فیزیکی هستند، هوش مصنوعی برای دنیای مجازی و نمادین است». در مرحله کنونیِ هوش مصنوعی، یکی از جنبه‌های زندگیِ جمعی که دستخوشِ دگرگونیِ اساسی می‌شود مسالهٔ اعتماد است. دیپ‌فیک یا جعل عمیق، روشی است که بر اساس هوش مصنوعی برای ساختن تصاویر و صداهای جعلی از انسان‌ها استفاده می‌شود. دیپ‌فیک‌های تولید شده توسط هوش مصنوعی می‌توانند تهدید قابل‌توجهی برای روش‌های احرازِ هویتِ بیومتریک، مانند تشخیص چهره و صدا باشند. متجاوزان با ایجاد تصاویر، ویدیوها یا فایل‌های صوتیِ جعلیِ بسیار واقعی می‌توانند این سیستم‌های احراز هویت را دور بزنند. به عنوان مثال، این تصاویر جعلی می‌توانند شخصی را در حال مشارکت در رفتاری جنسی‌ نشان دهند که در واقع هرگز رخ نداده است، یا می‌توانند برای تغییر کلمات یا حرکات یک سیاستمدار استفاده شود تا ظاهراً به نظر برسد که او چیزی را گفته که در حقیقت هرگز گفته نشده است. در جامعه‌ٔ فعلی ایران که انتشار یک عکس یا فیلم گاهی بهانه‌ای برای قتلی ناموسی می‌شود، آگاهی، اطلاع‌رسانی و آمادگی برای شناخت و رویارویی با چنین ابزار‌هایی اهمیتی دوچندان دارد.

هفت.
بگذارید تا سوال‌های سخت‌تر را زودتر از خودمان بپرسیم. هوش مصنوعی در زندگی فردی ما چه تاثیری خواهد گذاشت؟ آیا هویت و اهداف ما در زندگی به عنوان یک انسان، با ظهور یک ابرهوش تغییری خواهد کرد؟ آیا رابطه احساسی با یک ربات،‌ می‌تواند جایگزین رابطه‌های انسانی شود؟ اگر بله، از جایگزین شدن، چه احساساتی را تجربه می‌کنیم؟ اگر روزی کار تخصصی‌مان توسط یک ربات به مراتب بهتر و سریع‌تر انجام شود چطور؟ آیا با این تغییرات دچار بحران معنایی/وجودی می‌شویم؟ به امید آینده‌ای بهتر برای بشریت.

پی‌نوشت: تصویر این پست را توسط هوش مصنوعی با درخواست زیر ایجاد کردم: برای من یک نقاشی‌ از آینده‌ای دیستوپیایی بکش، به سبک ونسان ون‌گوگ لطفا!

@AntiMemoir

پرامپت رو اینطوری به شکل کد بدید بهتر می‌فهمه مدل!
خیلی جالبه که از قدرت برنامه نویسی مدل میشه اینطوری استفاده کرد!

مقاله:
https://arxiv.org/abs/2304.13250

مقاله امروز به بررسی این موضوع می پردازد که آیا انسان ها + LLM ها که با هم کار می کنند می توانند به تنهایی در کارهای دشوار بهتر عمل کنند یا خیر.
یکی از زمینه های مهم مطالعه برای توسعه سیستم های هوش مصنوعی ایمن و مفید، نظارت مقیاس پذیر است.

نظارت مقیاس‌پذیر با «سیستم‌های نظارتی که به طور بالقوه در بیشتر مهارت‌های مرتبط با کار در دست ما بهتر عمل می‌کنند» سروکار دارد.

بررسی این مشکل چالش برانگیز است زیرا ما هنوز سیستم هایی نداریم که به طور گسترده از توانایی های ما فراتر رود. این کار تکنیکی را برای ارزیابی تکنیک‌های نظارت مقیاس‌پذیر با مدل‌های امروزی پیشنهاد می‌کند.

برای آزمایش، به شرکت‌کنندگان انسانی سؤالات چند گزینه‌ای دشوار (از MMLU و QuALITY ) ارائه می‌شود که انتظار می‌رود یک LLM بهتر از شرکت‌کنندگان عمل کند، اما همچنان می‌تواند اشتباه کند.

🔸 Measuring Progress on Scalable Oversight for Large Language Models

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

اولین مقاله ارزیابی ازمدلهای LLM ها که ابهامات را تشخیص می دهند

-دراین مقاله معیارهای جدید ابهامات توسط زبانشناسان از 1645 نمونه از انواع مختلف ابهام تشریح شده است

- اکنون در GPT-4 در 32 درصد مواقع تصحیح می شود
-مدل NLI می‌تواند ادعاهای سیاسی را که به دلیل ابهامات گمراه‌کننده هستند، برچسب گذاری و علامت گذاریها را را نشان دهد.
🔸 We're Afraid Language Models Aren't Modeling Ambiguity

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

این تبلیغ با هوش مصنوعی ایجاد شده.
تو حوزه مارکتینگ و فیلمسازی به نظر میرسه شاهد تحولاتی بشیم 🧐

سوال بسیاری از دوستان که این فیلم ها رو چطور میسازند در مقاله ای که اخیرا توسط تیم هوش مصنوعی Meta منتشر شده است توضیحات لازم و راهکارها شرح داده شده است. هرچند بیشتر مدلهای منتشر شده توسط مدل diffusion ، clip و... منتشر شده است که با سرچ بیشتر میتوان پیدا کرد و در کانال این ایده‌ها را معرفی کرده ام و میتواند مورد تحقیق قرار داد که هرکدام چه ایده ای را ارایه داده اند.

🔸 Make-A-Video: Text-to-Video Generation without Text-Video Data

🔸 Imagen Video: High Definition Video Generation with Diffusion Models

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

Lamini: The LLM engine for rapidly customizing models
Official repo for Lamini's data generator for generating instructions to train instruction-following LLMs.

All data and LLMs are under a CC-BY license that allows commercial use—all yours, you own it!

✅Your LLM outperforms general-purpose models on your specific use case
✅You own the model, weights and all, not us
✅Your data can build you an AI moat
✅Any developer can do it today in just a few lines of code
✅Commercial-use-friendly with a CC-BY license

🔸 https://lamini.ai/blog/introducing-lamini

🔸 https://github.com/lamini-ai/lamini/

🔸 https://huggingface.co/spaces/lamini/instruct-playground

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

➖➖➖➖➖➖➖➖➖➖➖
مدل خطی - رگرسیون خطی بخش یک | Linear Model - Linear Regression part1

تو این ویدیو به سادگی به مفاهیم باقیمانده‌ها - مجموع مربعات - محاسبه R2 - آماره فیشر - معنی‌دار بودن مدل پرداخته شده. مفاهیم کاملا در سطح بیسیک می‌باشد و قابل فهم برای تمامی رشته‌های تحصیلی در تمامی مقاطع می‌باشد.
➖➖➖➖YouTube➖➖➖➖
https://youtu.be/kh6gqxsC4FU
➖➖➖➖website➖➖➖➖
https://www.dataexperts.ir
➖➖➖➖➖➖➖➖➖➖➖
🔰 @Data_Experts
➖➖➖➖➖➖➖➖➖➖➖

Controlled Text Generation with Natural Language Instructions

-Extract constraints through NLP tools + simple heuristics
-Verbalize them into instructions for training data
-Fine-tune LLM to incorporate constraints

-More flexible, high quality, faster than modifying decoding

https://arxiv.org/abs/2304.14293

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

چطور مدل زبان LLMs سفارشی خودمون رو بسازیم؟
https://blog.replit.com/llm-training

#مقاله #ایده_جذاب #مبتدی

✅ @AI_DeepMind

مدل های زبان LLMs وارد دنیای موبایل ها شدند

https://mlc.ai/mlc-llm/

در لینک زیر هم به صورت اوپن سورس در اختیار همگان قرار گرفته است.
https://github.com/mlc-ai/mlc-llm

#خبر #هوش_هوصنوعی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

احتمالا تو Colab دیدید که وقتی میخواید Hardware Accelerator رو انتخاب کنید
گزینه های GPU, TPU هستن
از GPU استفاده کردن رو که به صورت عادی انتخاب میکنید
اما در مورد TPU میخوام چند تا نکته اشاره کنم:
1. برای اینکه بتونید از TPU به نحو احسنت استفاده کنید از TPUStrategy تنسورفلو میتونید بهره مند بشید.
2. کولب بعد از وصل شدن به کلاستر، 8 تا tpu core در اختیارتون میزاره
3. لینک پایین رو مطالعه کنید که چطوری میتونید حرکت هایی که گفتم رو بزنید و خیلی ساده است، صرفا 4 5 تا خط کد اضافه میکنید.
4. درمورد اینکه چقدر بهبود رخ میده: تو همین لینک مثلا بنچ مارکی که گرفته 90 دقیقه ترین رسیده به 10 دقیقه تقریبا.
5. ممکنه تو یه سری شرایط خاص سرعت برعکس کمتر شه، چون TPUStrategy میاد از همون مدل چندین نسخه کپی تو هر core قرار میده بعدش تو زمان هماهنگ سازی(sync) کردن یا reduce کردن، رو cpu یا یه core دیگه ای land میکنه مدل ها رو و خب یه اورهد محسوب میشه و ممکنه برای مدل های خیلی کوچیک این اورهد باعث شه سرعت ترین کاهش پیدا کنه

https://towardsdatascience.com/using-tpus-on-google-colab-966239d24573



#TPU
#Colab
#مبتدی

تا الان شاید براتون سوال بوده "یادگیری" برای الگوریتم که میگن به چه معنا هستش؟!

زمانی که فرد برای اولین بار با یادگیری ماشینی مواجه می شود، اغلب الگوریتم ها را پشت سر می گذارد، تکنیک به تکنیک و معادله به معادله را دنبال می کند. اما پس از آن است که می توان در مورد روندهای کلی دانشی که آنها به دست آورده اند فکر کرد. معنای «یادگیری» مفهومی بسیار انتزاعی است. هدف این مقاله ارائه دو تفسیر کلی از معنای یادگیری ماشین است. همانطور که خواهیم دید، این دو تفسیر، دو روی یک سکه هستند و همه جا در یادگیری ماشین با آنها برخورد می شود.
وضعیت یک الگوریتم با مقادیر مجموعه پارامترهای آن تعریف می‌شود. پارامترها، در این زمینه، مقادیر غیر استاتیکی هستند که نحوه رفتار یک الگوریتم را تعیین می‌کنند. به عنوان مثال، سعی کنید بازی بولینگ خود را بهینه کنید. چندین پارامتر در دسترس است: وزن توپ بولینگ، پیکربندی انگشتان شما در سوراخ کاسه یا توپ، سرعت شما هنگام آماده شدن برای کاسه، سرعت بازو، زاویه ای که در آن کاسه می زنی، چرخش در لحظه آزاد کردن، و غیره. هر بار که کاسه می‌زنید، وضعیت جدیدی را تعریف می‌کنید، زیرا شما - به عنوان یک الگوریتم بهینه‌سازی - در حال آزمایش پارامترهای جدید هستید (مگر اینکه دقیقاً مانند قبل کاسه می‌زنید، در این صورت به حالت قبلی برمی‌گردید، اما این یک اتفاق نادر است. هم در بولینگ و هم در یادگیری ماشینی).

هر یک از ضرایب در رگرسیون خطی و رگرسیون لجستیک یک پارامتر است. مدل‌های مبتنی بر درخت تعداد پارامترهای ثابتی ندارند، زیرا عمق آنها تطبیقی است. در عوض، آنها می توانند شرایط کمتر یا بیشتر را برای بهینه سازی معیارهای کسب اطلاعات ایجاد کنند، اما اینها همه پارامترها هستند.
https://towardsdatascience.com/what-does-it-really-mean-for-an-algorithm-to-learn-1f3e5e8d7884



#مقاله #هوش_هوصنوعی #مبتدی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind