Faster RAG re-ranking with ColBERT

After re-ranking using GPT-4 yesterday, I tested out ColBERT for re-ranking today.

Test:
• Re-ranking Airbnb's 10-K, like before.

Results:
• ColBERT and GPT-4 were identical in ranking quality

However, ColBERT was lightning-fast.

Re-ranking speed:
• 3.41 secs for ColBERT
• 25.47 secs for GPT-4

ColBERT is a game-changer for re-ranking tasks.

Excited to try it out in production with Oxygen.

https://gist.github.com/virattt/b140fb4bf549b6125d53aa153dc53be6

Overcome Lost In Middle Phenomenon In RAG Using LongContextRetriver

▪️Lost in the Middle: How Language Models Use Long Contexts
https://arxiv.org/pdf/2307.03172.pdf

یه دوره کلاسی رایگان #علم_داده از دانشگاه نیویورک

▪️ Data Science for Everyone: course text
▪️ NYU course: Data Science for Everyone

#منابع #مقدماتی #کلاس_آموزشی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

کورس کلاسی جدید از دانشگاه CMU

▪️ Neural code generation / Spring 2024
▪️ Foundations: Pretraining and scaling laws

#منابع #مقدماتی #کلاس_آموزشی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

تا حالا سوالاتی از Quantization پرسیدید و جوابی براش نداشتید که کدوم روش مناسبه برای مسیله خودتون اینجا میتونین انواعش رو مطالعه کنید. یک رودمپی برای یادگیری LLMمیخواید این ریپازتوری خیلی مناسبیه تا جون آدمیزاد اینجا میتونین پیدا کنید 😂
🎓 LLM Course

#ایده_جذاب #منابع #مقدماتی #کلاس_آموزشی #یادگیری_ماشین #هوش_مصنوعی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

این مقاله به بررسی این سوال آیا می توان مدل های موجود را در یک مدل قوی تر ادغام کرد پرداخته است.
با معرفی FuseLLM گفتند چطوری از نقاط قوت LLMs برای استفاده در یک مدل یکپارچه استفاده کنیم.

▪️Knowledge Fusion of LLMs

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

Last Man Standing
#موزیک

برای محمد قبادلو 🖤🌸

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

در دنیای علم داده، یادگیری ماشین، هوش مصنوعی و تحلیل داده، یکی از مشکلات رایج مواجهه با داده‌های گم‌شده یا داده‌های ناکارآمد است. اما این مشکل نباید مانع پیشرفت شود. روش‌های زیادی برای مدیریت داده‌های گم‌شده وجود دارد و بهترین راهکار به نوع داده و تحلیل موردنظر شما بستگی دارد. استراتژی‌های حذف، که شامل حذف سطرها یا ستون‌های دارای داده‌های گم‌شده است، و تکنیک‌های پر کردن، که شامل جایگزین کردن داده‌های گم‌شده با مقادیر تخمینی یا پیش‌بینی شده است، از جمله روش‌های رایج برای مدیریت داده‌های گم‌شده هستند. نکات اضافی نیز وجود دارد که شامل بررسی الگوهای ناقصی در داده‌هایتان، تست روش‌های مختلف و مقایسه نتایج، و آگاهی از محدودیت‌های هر روش است. با پیروی از این نکات، می‌توانید با داده‌های گم‌شده در تحلیل داده‌هایتان برخورد کنید و نتایج دقیق و قابل اعتمادی به دست آورید.

قشنگه دوست داشتم بفرستمش اینجا خاطره‌ها بسازین

#متفرقه

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

وضعیت دانشجوی دکترا و استاد راهنما😂

نظرتون چیه؟!

#فان


🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

Öyle günler var

#متفرقه

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

کتاب جدید منتشر شده
▪️ State Space Models: A Modern Approach

#کتاب #منابع

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

وقتی که دیزاینرها قراره بی کار بشن 😀
مدل های بنیاد و تبدیل text-to-3D
«هرکسی در آینده میتونه دیزاین داخلی ساختمان خودشو به هوش مصنوعی بده و قبل چیدمان وسایل ساختمان میشه نظر #هوش_مصنوعی رو پرسید!»

▪️ Text-to-3D Foundation Model

#پروژه #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

Automatically calculate the family tree of a given model. It also displays the type of license each model uses (permissive, noncommercial, or unknown).
https://huggingface.co/spaces/mlabonne/model-family-tree

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

مقاله خوبیه راجب vision-language models

▪️ Red Teaming Visual Language Models

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

مدلهای بنیادی و کلی اتفاق جذاب دیگه که میشه زندگیو راحتتر کرد!!

▪️ Lumiere: A Space-Time Diffusion Model for Video Generation

* Text-to-Video
* Image-to-Video
* Stylized Generation
* Inpainting
* Cinemagraphs

#پروژه #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

#کتاب جدید #یادگیری_ماشین برای مهندسین منتشر شده علاقه داشتید مطالعه کنید

▪️ Machine Learning Engineering


#منابع

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

مقاله جدید متا

▪️ Deconstructing Denoising Diffusion Models for Self-Supervised Learning

#پروژه #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

استاد بزرگ گفتن :
"A 4-year-old child has seen 50x more information than the biggest LLMs that we have."

LLMs may have consumed all available text, but when it comes to other sensory inputs...they haven't even started.

#هوش_مصنوعی

پ.ن: نظر شما چیه ؟ کامنت کنید

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

پادکست خوب میخواهید گوش کنید بفرمایید تو کار #فریلنسرر هستید جان وینسور، بنیانگذار علوم نوآوری‌ دانشگاه هاروارد درباره فریلنسری صحبت کرده

▪️ HBR IdeaCast: What the New Freelance Economy Means for Your Talent Strategy

#پادکست #منابع

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

▪️ New embedding models and API updates

• text-embedding-3-small: 5x cheaper and stronger performance compared to the previous generation
• text-embedding-3-large: our best performing model, creating embeddings with up to 3072 dimensions

#پروژه #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person