اگه ترنسفورمر مثل یک حافظه کوتاه مدت عمل میکنه، چطوری به حافظه بلند مدت ماشینی میشه رسید؟

محقق ها سال‌هاست که به دنبال راه‌هایی برای بهبود مدل‌های زبانی هستن. رویکردهای مختلفی برای برخورداری از حافظه قوی وجود داره. مثلا مدل‌های بازگشتی (Recurrent Models) تلاش میکنه تا اطلاعات رو تو یک حافظه با اندازه ثابت، که بهش حالت پنهان (Hidden State) میگن ذخیره کنه.
از طرف دیگه، مکانیزم توجه (Attention Mechanism) این امکان رو می‌ده که مدل به تمام قسمت‌های متن ورودی نگاه کنه و وابستگی‌های بین کلمات رو بهتر درک کنه. اما این روش به دلیل هزینه محاسباتی بالا، مدلو محدود به طول مشخصی از متن میکنه.

برای حل این مشکل، محققان یک ماژول حافظه عصبی جدید طراحی کرده‌اند که میتونه اطلاعات گذشته رو به خاطر بسپاره و به مکانیزم توجه کمک کنه تا با استفاده از این اطلاعات، متن فعلی رو بهتر پردازش بکنه. این حافظه عصبی نه تنها آموزش سریعی داره بلکه در زمان استفاده نیز عملکرد سریعی از خود نشان می‌دهد.

از دیدگاه حافظه، مکانیزم توجه به دلیل محدودیت در طول متن ورودی، مانند یک حافظه کوتاه‌مدت عمل میکنه. در حالی که این رویکرد حافظه عصبی جدید، با توانایی ذخیره‌سازی اطلاعات برای مدت طولانی‌تر، نقش یک حافظه بلندمدت رو ایفا می‌کنه.

بر اساس این دو مفهوم، معماری جدیدی به نام "Titans" معرفی شده که شامل سه نوع مختلفه و نشون میده چگونه میتوان به طور مؤثر از حافظه در این ساختار استفاده کرد. آزمایش‌ها نشون دادن که Titans در مدل‌سازی زبان، استدلال مبتنی بر عقل سلیم، ژنومیکس و تحلیل سری‌های زمانی، عملکرد بهتری نسبت به ترنسفورمرها (Transformers) و مدل‌های بازگشتی خطی مدرن داره. همچنین، این معماری میتونه با دقت بالاتری، متون با طول بیش از ۲ میلیون کلمه را پردازش کند.

دو هفته پس از معرفی Titans، تیمی از محققان ساکانا AI و مؤسسه علوم توکیو، معماری جدیدی به نام «Transformer Squared» رو معرفی کردند که به مدل‌های هوش مصنوعی این امکانو میده تا در زمان اجرا، رفتار خودشو بر اساس وظیفه تغییر بده.
Titans: Learning to Memorize at Test Time

‏

#پادکست
#روز_اول

سوال: آیا می توان با هر رشته و تخصصی، وارد حوزه هوش مصنوعی شد؟

🤖Ai_khozestan

#پادکست
#روز_دوم


🔰سوال: چگونه خیلی سریع وارد بازار کار هوش مصنوعی شویم و ازش کسب درآمد کنیم؟


🤖Ai_khozestan

#پادکست
#روز_سوم

سوال: 3 چالش مهمی که مخصوصا افراد جونیورتر در کار با آن مواجه می شوند چیست؟

🤖Ai_khozestan

🐍دوره‌ی مقدماتی تا پیشرفته پایتون🐍

🎙 مدرس: مهندس امیر محمدی

💰 هزینه:

💰 هزینه دوره: 600 تومن
💰 تخفیف دانشجویی: 400 تومن

🎖 گواهی:

💥 اعطای گواهی از مرکز SCD
💥 و مرکز آپا دانشگاه شهید چمران

🌐 اطلاعات دوره:

📣 8 جلسه (آفلاین)
📣 8 جلسه رفع اشکال (آنلاین)
⌛️ شروع دوره 18م اسفندماه

🎉 تخفیف 33%:

🎁 هزینه برای تیم‌های سه نفره 1,200

📝ثبت‌نام:

https://survey.porsline.ir/s/TICMU515

🛎 پشتیبانی تلگرام: @HAKAN_303
📣 شماره تماس پشتیبانی: 09220630140

✨ (هدف از برگزاری این دوره، زمینه سازی برای  یادگیری هوش مصنوعی میباشد.)

⚠️ (جهت اطلاعات بیشتر کلیک کنید)

✨آکادمی هوش مصنوعی هوکو✨
◎ا─━─━─❪🎓❫─━─━─ا◎

🌟 آینده از آن کسانی است که امروز قدم برمی‌دارند!

💡 اگر تو هم همیشه دوست داشتی برنامه‌نویسی یاد بگیری، اما نمی‌دونستی از کجا شروع کنی؟
دوره پایتون آکادمی هوکو، بهترین فرصت برای ورود به دنیای برنامه‌نویسی و هوش مصنوعیه! 🧠🚀

اطلاعات دوره:

📣 8 جلسه (آفلاین)
📣 8 جلسه رفع اشکال (آنلاین)
⌛️ شروع دوره 25 اسفندماه

💰 هزینه:

💰 هزینه دوره: 600 تومن

🎖 گواهی:

💥 اعطای گواهی از مرکز SCD
💥 و مرکز آپا دانشگاه شهید چمران

🎉 تخفیف 33%:

🎁 هزینه برای تیم‌های سه نفره 1,200

ثبت‌نام:
https://survey.porsline.ir/s/TICMU515

🛎 پشتیبانی تلگرام: @HAKAN_303
📣 شماره تماس پشتیبانی: 09220630140

⚠️ (جهت اطلاعات بیشتر کلیک کنید)

✨افتتاحیه هشتمین دوره‌ی پایتون

⏳️شنبه
🕐ساعت: 20:00
📆مورخ: 1403/12/25

📍بستر: گوگل میت
🎖میهمانان: جناب آقای امیر محمدی (استاد دوره)
سرکار خانم الهام حیدری (ارشد هوش مصنوعی)

لینک ورود:
http://meet.google.com/vse-rfgw-ecb

(حضور برای عموم آزاد)

✨آکادمی هوش مصنوعی هوکو✨

🎉 سال نو مبارک! 🎉

سال ۱۴۰۴ را با آرزوی سلامتی، موفقیت و شادی بی پایان برای شما گرامی میداریم. 🌟 امیدواریم این سال، همراه با فرصت های نوین، یادگیریهای پُربار و دستاوردهای چشمگیر در دنیای جذاب هوش مصنوعی باشد.

همراه شما هستیم تا با همگامی در مسیر دانش، نوآوری و فناوری، آینده ای هوشمندتر و روشنتر بسازیم. 💡🚀

سال نو پیروز، پرانرژی و سرشار از ایده های ناب!
✨ آکادمی هوش مصنوعی هُوکو ✨

✨دوره‌های آموزشی مقدماتی تا پیشرفته‌ی برنامه نویسی و هوش مصنوعی با هوکو

آدرس سایت: Www.hooko.ir

چرا شما باید پایتون یاد بگیرید ؟

🆔 @HomeAI

اگر هدف‌تان ورود به حوزهٔ AIاست، یادگیری پایتون مانند یادگیری الفبای ریاضی است—بدون آن پیشرفت سخت می‌شود، اما نیازی به تسلط روی تمام جزئیات نیست!

سلام دوست خوب من🖐

اینجا قراره اتفاقات خوبی برای #خوزستان رقم بخوره! 🤩


اگه می‌خوای از خبرای خوب و آینده روشن استانمون جا نمونی، حتما پیج زیر رو در اینستاگرام فالو کن!🤍✨️

🆔️https://www.instagram.com/code.studio.ai?igsh=MXR1ajd6Y216eWRiaQ==

منتظر سورپرایزای خفن باش.😎

👋🏻 سلام و وقت بخیر
✨ آکادمی هوکو به دلیل تحولاتی که اخیراً داشته تصمیم بر این گرفته که کانال رو تغییر بده و تنها محتواهای دوره و بوتکمپ هارو بزاره، به همین دلیل این کانال به کانال زیر تغییر پیدا کرده و تا چند روز آینده این کانال پاک میشه.

📣 کانال اصلی:

https://news.1rj.ru/str/hooko_ir

با تشکر از همراهی شما 🙏🏻

اطلاعات دوره‌ی جدید ماشین لرنیگ در کانال جدید آکادمی پخش شد.