🎧 Differential Transformer

The paper introduces the Differential Transformer, a new architecture for large language models (LLMs) that aims to improve their ability to focus on relevant information within long sequences. It achieves this by introducing a differential attention mechanism which calculates attention scores as the difference between two separate softmax attention maps, effectively canceling out noise and promoting sparse attention patterns. This enhanced focus on relevant context leads to improvements in various tasks, including long-context modeling, key information retrieval, hallucination mitigation, in-context learning, and reducing activation outliers. The paper provides experimental evidence to support these claims, showcasing the Differential Transformer's superiority over traditional Transformers in several scenarios.

📎 Link to paper

#Attention_Noise #Long_Context
#ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person
▪️@LlamaCast

روز دختر رو به همه دختران ایران زمین تبریک میگم.🌻

معرفی #کتاب های #یادگیری_عمیق و #یادگیری_ماشین :

✅ Data Mining and Machine Learning (Zaki)
👉link

✅ Deep Learning
Foundations and Concepts, 2023, (Bishop)
👉link

✅ Pattern Recognition and Machine Learning (Bishop)
👉link

✅ Deep Learning (Goodfellow )
👉 link

✅ Probabilistic Machine Learning_ An Introduction, 2022 , (Murphy)
👉link

✅ Probabilistic Machine Learning: Advanced Topics, 2023 , (Murphy)
👉link

✅ Dive into Deep Learning ,2023
👉link

✅ Linear Algebra and Optimization for Machine Learning
👉link

✅ Deep Learning with Python: Chollet, Francois
👉 link

✅ Deep Learning with PyTorch Step-by-Step
👉 link

✅ Mathematics for Machine Learning
👉 link

✅ Hands-On Data Preprocessing in Python
👉 link

✅ Mastering Machine Learning Algorithms
👉 link

✅ Generative Deep Learning (David Foster)
👉 link

اگر کتاب های مهم دیگه ای هم میشناسید لطفا زیر همین پست کامنت کنید.

#هوش_مصنوعی #آموزش #شبکه_عصبی #مدل_های_دیپ_لرنینگ

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

Easiest Way to Fine-Tune LLAMA-3.2 and Run it in Ollama
https://www.youtube.com/watch?v=YZW3pkIR-YE

هوش مصنوعی چگونه در حیطه بایو به کشف ویروسهای کمک کرد.

◾️ Using artificial intelligence to document the hidden RNA virosphere


#ایده_جذاب #علوم_پزشکی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

سلام اول تشکر میکنم از رویدادهایی که داره برای شبکه سازی در هر حیطه ای شکل میگیره و تعدادی نقد در این حیطه این شکبه سازی ها نوشتم. و دو مورد شبکه سازی یکی توسط استیم و یکیم توسط فیلاگر برگزار شد نوشتم و قبلا هم این روند شکل گرفته بود ولی نقدها هیچ کمکی به بهبود نکرد.

فیلاگر حتی سعی نکرد نسخه بهبود یادفته تر از این شبکهه سازی رو نمایش بده و صرفا سعی در نمایش برندینگ خودش داشت و صرفا سعی کرد فقط در یک مقام شومن باقی بمونه

، ولی نقطه مثبت برای فیلاگر یک قدم به جلو بود که به صورت لایو اقدام به شبکه سازیو و پخش سخنرانی ها کردند. نقطه ضعف دیگری از فیلاگر ممانعت از گفتگوی اعضای انلاین باهم بود میکروفون باز میکردی مایک رو ببندید!!
مشارکتی توسط اعضای انلاین و گفتگویی با اعضای داخل مجموعه میسر نبود. و دوربین به صورت فیکس ی جایی ایستاده بود باید منتظر اومدن یکی میشیدی که بیاد راضی شه دوربین رو بچرخونه!😀 اینکه نفهمیدیم حامیان این شبکه سازی کی بود (اگه جایی بوده بگین من اصلاح کنم ) تعدادی افراد تقریبا متخصص در زمینه های پزشکی سخنرانیهایی داشتن ولی کسبو کارها هیچکدوم جایی برای معرفی های بازارهای هدف خودشون نبودند که بیان بگن ما ظرفیتشو داریم بیایید ایدتون رو توسعه بدیم.

سخنران بیشتر اینکه بخواد بگه هدف کجاست داشت انگیزه و نصیحت میکرد بابا تو اول داستان چیه بعد اینها رو بگو!!
دوربین باید در بین مشارکت کنندگان حضوری میچرخید که این اقدام یک حرکتی مثبت تلقی گردد ولی اینطوری نشد . و با افراد حاضر مصاحبه میکرد تا اتفاقهای اتی بیفته و گفتگویی با اعضای انلاین انجام میشد!

این شبکه سازی بیشتر یک اقدامی وقت گیر و ری برندینگ خودشون هست و چیزی اضافه برای ارایه ندارند حداقل بنا برتوانایی های خودشون از کسایی که صاحبان فروشگاه ها و حوزه های تک در ایران هستند دعوت کنید بیان راجب حوزه های هوش مصنوعی و مارکتینگ خودشون ارایه دهند هر فرد پژوهشگری این روند رو خیلی بهتر از سخنرانان شما بلدند با گوگل کار کنند و روند رشد ایده ها در هرمارکتی رو پیگیری کنند ولی با دعوت شما از این مارکتهایی بزرگ ایده عملی شده میتوانند از استعدادهای برتری که در رویداد شرکت کردند علاقمند و ترغیب شوند که انگیزه ای که در تولید یک محصول در سر دارند ببینند،

با چه مارکتی قابل اجراست یا ایده یک استارت اپ را در سر بپروانند؟!

آیا مدل های زبانی بزرگ می‌توانند عمل‌های بالینی را در چین متحول کنند؟

▪️ CliMedBench: A Large-Scale Chinese Benchmark for Evaluating Medical Large Language Models in Clinical Scenarios

#علوم_پزشکی #ایده_جذاب #مقاله

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

دکتر فرانسوا شوله در مورد محدودیت مدلهای زبانی بزرگ میگه
https://m.youtube.com/watch?v=s7_NlkBwdj8

#مقاله #ایده_جذاب #منابع

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

مقاله ای برای دوستان پزشک و ارتوپد

▪️ A Survey of LLMs for Healthcare

#علوم_پزشکی #مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

وبینار بینایی ماشین؛‌
بیایید با هم داستان پردازش تصویر رو ورق بزنیم!

🔹 می‌خوایم یه داستان جذاب براتون تعریف کنیم. داستان اینکه چطور کامپیوترها یادگرفتن دنیا رو مثل ما آدم‌ها ببینن. از تصویرهای ساده تا مدل‌های هوش مصنوعی پیشرفته، هر فصل این قصه پر از شگفتیه که میخوایم توی یک وبینار براتون بگیم.

🔹 قراره از یه سری سرویس هوش مصنوعی جدید هم رونمایی بشه؛ مثل سرویس ایماژ (تبدیل متن به تصویر)، تشخیص چهره، تشخیص اشیا و تشخیص مختصات وسایل نقلیه.

🔹 آخر این وبینار هم یاد می‌گیرید چطور با استفاده از API های هوشمند، محصول خودتون رو مجهز به بینایی ماشین کنید! حتی همین الان هم می‌تونید به سایت بازارچه API ها برید و سرویس‌های بینایی ماشین رو با داده‌های خودتون رایگان تست کنید.

راوی قصه‌مون: رضا آخوندزاده (سرگروه تیم بینایی ماشین مرکز تحقیقات هوش مصنوعی پارت واحد مشهد)

🗓 زمان: 25 مهر 1403، ساعت 15

💥اگه دوست دارید سرفصل‌ها رو ببینید و توی وبینار«داستان پردازش تصویر؛ از پردازش تصاویر کوچک تا مدل‌های عمومی و پایه‌ای» ثبت‌نام کنید، همین حالا روی اینجا کلیک کنید.

ممکنه این جمله‌ی من گفتارش بد باشه ولی،
آدما(تقریبا اکثریت) اونقدر تنبل و سردرگم شدن و درگیر چیزهای پوچ هستن که اگه شما توی هر مسیری ۵ ۶ درصد بیشتر از دیگران اراده داشته باشی موفق شدی!
این درصد برای مثلا سال ۹۴ شاید ۲۰ ۳ می‌بود!

#مشاهدات

سلام دوستان لینک دعوت فیلترشکن برای ی برنامه‌نویسان، گیمرها، دانشجویان، فعالین حوزه رمز ارز، فریلنسرها از لینک دعوت من استفاده کنین هم شما ی فیلترشکن مطمین استفاده کنین بدونین قطعی نداره هم من ی حجمی بدست بیارم😁، هم شما به فیلترشکنی قابل پشتیبان دسترسی داشته باشید
https://news.1rj.ru/str/F14PanelBot?start=invite_56479f968ee3cd3dd92bfa05ebf07fc9

پ.ن: خدماتشون من به شدت راضیم دوستانتون رو دعوت کنید و حجم هدیه بگیرید

علم جواب داد به آینده سلام کن!
موشک استارشیپ جهشی بزرگ در علم ایجاد کرد

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

فرهنگستان ادب و زبان فارسی واژه "گرایه" رو به جای واژه "ترند" تصویب کرده!
‌
عجیب بودن این واژه، خودش می‌تونه یکی از "گرایه‌های" شبکه‌های اجتماعی باشه 🥴
‌
گلایه کنیم یا گرایه 😂

هرکسی ازتون پرسید مشتق و انتگرال کجا بدرد میخوره این ویدیو رو نشونش بدید

هنر مهندسی یعنی یه جسم ۳۵۰۰ تنی رو با سرعت ۶ هزار کیلومتر به سمت زمین برگردونی و اینجوری بگیری بغلت. زنده باد علم...

@silicon_brain | از هوش مصنوعی عقب نمانید

نمایشگاه کار دانشگاه تهران

از 23 تا 25 مهر 1403 واقع در مصلای دانشگاه تهران برگزار میگردد.

اگه کسی بود چهارشنبه بیایید بریم

If you want to build a foundational understanding of LLMs, these 5 review papers can help you do so:


1️⃣ Large Language Models: A Survey
Link:https://ar5iv.labs.arxiv.org/html/2402.06196

2️⃣ A Survey of Large Language Models
Link:https://arxiv.org/abs/2303.18223

3️⃣ A Comprehensive Overview of Large Language Models
Link:https://ar5iv.labs.arxiv.org/html/2307.06435

4️⃣ A Review of Current Trends, Techniques, and Challenges in Large Language Models(LLMs)
Link:https://www.mdpi.com/2076-3417/14/5/2074


5️⃣ Retrieval-Augmented Generation (RAG) for Large Language Models: A Survey
Link:https://arxiv.org/abs/2312.10997



Source:LinkedIn-Youssef Hosni

#LLMs
#LargeLanguageModels
#NaturalLanguageProcessing