هرچی خوندین تا حالا بزارین کنار اینو بخونین
https://avt.im/blog/on-successful-research/


#مقاله

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

The main idea is to take two small models:
- a small base model (M2)
- a finetuned base model (M3)
1) The goal was to
A. instruction-tuning
B. domain adaptation
C. task-specific finetuning

improve a Llama 2 70B Base model to the level of Llama 2 70B Chat but without doing any RLHF to get the model from Base -> Chat.

2) They took a 10x smaller Llama 2 7B model and instruction-finetuned it.

3) After finetuning, they computed the difference in logits over the output vocabulary between 7B Base and 7B Finetuned

4) They applied the difference from 3) to the Llama 2 70B Base model. This pushed the 70B Base model's performance pretty close to 70B Chat.

▪️ Tuning Language Models by Proxy

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

تاریخچه Text Embeddings

▪️ The 1950-2024 Text Embeddings Evolution Poster

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

Faster RAG re-ranking with ColBERT

After re-ranking using GPT-4 yesterday, I tested out ColBERT for re-ranking today.

Test:
• Re-ranking Airbnb's 10-K, like before.

Results:
• ColBERT and GPT-4 were identical in ranking quality

However, ColBERT was lightning-fast.

Re-ranking speed:
• 3.41 secs for ColBERT
• 25.47 secs for GPT-4

ColBERT is a game-changer for re-ranking tasks.

Excited to try it out in production with Oxygen.

https://gist.github.com/virattt/b140fb4bf549b6125d53aa153dc53be6

Overcome Lost In Middle Phenomenon In RAG Using LongContextRetriver

▪️Lost in the Middle: How Language Models Use Long Contexts
https://arxiv.org/pdf/2307.03172.pdf

یه دوره کلاسی رایگان #علم_داده از دانشگاه نیویورک

▪️ Data Science for Everyone: course text
▪️ NYU course: Data Science for Everyone

#منابع #مقدماتی #کلاس_آموزشی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

کورس کلاسی جدید از دانشگاه CMU

▪️ Neural code generation / Spring 2024
▪️ Foundations: Pretraining and scaling laws

#منابع #مقدماتی #کلاس_آموزشی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

تا حالا سوالاتی از Quantization پرسیدید و جوابی براش نداشتید که کدوم روش مناسبه برای مسیله خودتون اینجا میتونین انواعش رو مطالعه کنید. یک رودمپی برای یادگیری LLMمیخواید این ریپازتوری خیلی مناسبیه تا جون آدمیزاد اینجا میتونین پیدا کنید 😂
🎓 LLM Course

#ایده_جذاب #منابع #مقدماتی #کلاس_آموزشی #یادگیری_ماشین #هوش_مصنوعی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

این مقاله به بررسی این سوال آیا می توان مدل های موجود را در یک مدل قوی تر ادغام کرد پرداخته است.
با معرفی FuseLLM گفتند چطوری از نقاط قوت LLMs برای استفاده در یک مدل یکپارچه استفاده کنیم.

▪️Knowledge Fusion of LLMs

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

Last Man Standing
#موزیک

برای محمد قبادلو 🖤🌸

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

در دنیای علم داده، یادگیری ماشین، هوش مصنوعی و تحلیل داده، یکی از مشکلات رایج مواجهه با داده‌های گم‌شده یا داده‌های ناکارآمد است. اما این مشکل نباید مانع پیشرفت شود. روش‌های زیادی برای مدیریت داده‌های گم‌شده وجود دارد و بهترین راهکار به نوع داده و تحلیل موردنظر شما بستگی دارد. استراتژی‌های حذف، که شامل حذف سطرها یا ستون‌های دارای داده‌های گم‌شده است، و تکنیک‌های پر کردن، که شامل جایگزین کردن داده‌های گم‌شده با مقادیر تخمینی یا پیش‌بینی شده است، از جمله روش‌های رایج برای مدیریت داده‌های گم‌شده هستند. نکات اضافی نیز وجود دارد که شامل بررسی الگوهای ناقصی در داده‌هایتان، تست روش‌های مختلف و مقایسه نتایج، و آگاهی از محدودیت‌های هر روش است. با پیروی از این نکات، می‌توانید با داده‌های گم‌شده در تحلیل داده‌هایتان برخورد کنید و نتایج دقیق و قابل اعتمادی به دست آورید.

قشنگه دوست داشتم بفرستمش اینجا خاطره‌ها بسازین

#متفرقه

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

وضعیت دانشجوی دکترا و استاد راهنما😂

نظرتون چیه؟!

#فان


🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

Öyle günler var

#متفرقه

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

کتاب جدید منتشر شده
▪️ State Space Models: A Modern Approach

#کتاب #منابع

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

وقتی که دیزاینرها قراره بی کار بشن 😀
مدل های بنیاد و تبدیل text-to-3D
«هرکسی در آینده میتونه دیزاین داخلی ساختمان خودشو به هوش مصنوعی بده و قبل چیدمان وسایل ساختمان میشه نظر #هوش_مصنوعی رو پرسید!»

▪️ Text-to-3D Foundation Model

#پروژه #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

Automatically calculate the family tree of a given model. It also displays the type of license each model uses (permissive, noncommercial, or unknown).
https://huggingface.co/spaces/mlabonne/model-family-tree

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

مقاله خوبیه راجب vision-language models

▪️ Red Teaming Visual Language Models

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

مدلهای بنیادی و کلی اتفاق جذاب دیگه که میشه زندگیو راحتتر کرد!!

▪️ Lumiere: A Space-Time Diffusion Model for Video Generation

* Text-to-Video
* Image-to-Video
* Stylized Generation
* Inpainting
* Cinemagraphs

#پروژه #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

#کتاب جدید #یادگیری_ماشین برای مهندسین منتشر شده علاقه داشتید مطالعه کنید

▪️ Machine Learning Engineering


#منابع

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

مقاله جدید متا

▪️ Deconstructing Denoising Diffusion Models for Self-Supervised Learning

#پروژه #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person