درود 😁👋

از اونجایی که امشب قراره یک وبینار جمع و جور درمورد Semantic Search و Word Embedding و VectorDB ها داشته باشیم - به جهت این‌که قبل از وبینار یه Big Picture از کلیت ماجرا گرفته باشید و بدونید که قراره چیکار کنیم یک‌سری توضیحات رو به صورت متنی براتون مینویسم.

- فقط دوتا نکته‌ی کوچیک...

🔕 تمام پیام‌های بعد از این پست تا انتهای بحث به صورت Silent ارسال میشه که مزاحمتون نشه.

🧑‍🎓 من خودم درحال یادگیری هستم و تازه وارد این مسیر شدم و از اون‌جایی که فیلد تخصصیم نیست - سعی میکنم تا جایی که ممکنه از توضیحات تکنیکال خودداری کنم و مطالب رو ساده و جوری که فهمیدم و از صحت‌شون اطمینان دارم براتون بگم - برای توضیحات تکنیکال میتونید سرچ بزنید و از رفرنس‌های معتبر استفاده کنید

♥️ پیشاپیش امیدوارم که براتون مفید باشه و ازش لذت ببرید.

حالا باید بدونیم هرکدوم از اینا چیکار میکنن و کجا مناسب هستن؟

- ما قطعا با هر ۴ حالت به طور مستقیم و غیرمستقیم بارها و بارها درگیر بودیم اما اسمشون رو نمیدونستیم (حداقل من که خودم شخصا نمیدونستم و اخیرا فهمیدم) شمارو نمیدونم 😁


1. لکسیکال سرچ
این حالت به سرچ مستقیم و دقیق کوئری (exact search) توی متن میگن.

از این حالت توی دیتابیس ها هم میتونید به راحتی استفاده کنید - مثلا توی SQL وقتی WHERE LIKE میزنید - دقیقا دارید Lexical Search انجام میدید.

مثال بخوایم بزنیم به این صورت میشه که:

🔥 فرض کنید که شما کلمه‌ی "آب" رو سرچ کردید - خروجی که به شما برگشت داده میشه این خواهد بود:

۱. علی در أبان ماه پیام داد.
۲. آسمان آبی است.
۳. آبشار بسیار زیبا بود.
۴. بابا آب داد.

به دلیل اینکه کلمه آب توی تمام متون وجود داره - همگی به شما برگشت داده میشن.

این روش چه مزایا و معایبی داره؟

✅ مزایا
۱. خیلی سریع و efficient هست
۲. پیاده سازی و استفاده ازش ساده‌تر از بقیه هست
۳. برای exact search خیلی کاربردیه
- مثلا دنبال ای‌دی یک محصول یا یک شناسه یونیک مثل کدملی یا پلاک خودرو و ... میگردید.

❌ معایب
۱. نمیتونه معنا و کانتکس رو مشخص کنه.
- همونطور که توی مثال های بالا دیدید با سرچ آب ممکنه خروجی آبان - آبی و أبشار رو هم بگیرید.
۲. حساس به غلط املایی هست
- مثلا اگه بجای سرچ آب دستتون بخوره و آپ رو سرچ کنید هیچ یک از نتایجی که توی مثال بالا داشتیم بهتون برنمیگرده
۳. درصورت عدم استفاده از کلمه دقیق نتایج درستی بهتون برنمیگرده

۲. سرچ فازی
این حالت تقریبا همون لکسیکال سرچ پرو مکسه :))
چرا؟ چون همون عملکرد لکسیکال سرچ رو داره اما بهبود هایی هم داشته به این صورت که میتونه غلط های املاییتون رو هم تحمل کنه و سرتون غر نزنه و همچنان نتایج مرتبط بده و یکمی هم توی اصلاح کردن کوئریتون کمک میده.

- مثلا شما اگه بجای سلام بنویسید شلام - باز هم نتایج مرتبط با سلام رو میگیرید
- اگه دستتون بخوره و یه حرف تکرار بشه - باز هم نتایج مشابه میگیرید. مثلا بنویسید سلااااااااام - نتایج مرتبط با سلام رو میگیرید.

اگه بخوایم یه سرویس که این عملکرد رو در اختیارتون میزاره مثال بزنیم TypeSense میتونه مثال خیلی خوبی باشه.

🔗 https://typesense.org

حتی میتونید به مستندات سایت‌های مختلف هم سر بزنید مثلا فیلامنت و لاراول و ... که از Algolia استفاده میکنن و شما اگه یه کلمه رو اشتباه هم بنویسید بازم نتایج مرتبط میگیرید.


مزایا و معایبش چیه؟

✅ مزایا
۱. اشتباهات تایپی و غلط املایی رو خیلی خوب مدیریت میکنه
۲. لغات و دیتای مشابه رو براتون پیدا میکنه
۳. پیاده سازی نسبتا ساده‌ای داره (در رتبه ۲ - بعد از لکسیکال سرچ و قبل از سمانتیک سرچ قرار میگیره)

❌ معایب
- راستش زیاد معایب که نمیشه بهشون گفت ولی:
۱. گاها این امکان براش وجود داره که دیتای بی ربط زیادی رو برگردونه در شرایط مختلف
۲. توانایی درک معنایی رو نداره (لکسیکال سرچ هم این توانایی رو نداره)
۳. عملکردش با دیتاست های بزرگ زیاد efficient نیست

⚠️ گفتیم که سرچ فازی همون لکسیکال سرچه تقریبا و بهبود پیدا کرده اما یک سری ایرادات همچنان داخلش هست مثلا شما اگه Apple رو سرچ بزنید ممکنه Application هم براتون توی نتایج بیاره و این مشکل توی همون حالت لکسیکال هم وجود داره که ریشه‌ی این مشکل عدم امکان درک معنای لغات هست.

۳. سرچ معنایی
این حالت از سرچ - معنای نهان کوئری شمارو متوجه میشه و حتی اگه کلمات کلیدی بهش نداده باشین میتونه ارتباط و مفهوم کلمات رو متوجه بشه و خروجی مناسب و مرتبطی رو به شما بده

⚠️ حالا اینکه معنای کلمات رو چطوری میفهمه رو جلوتر توضیح میدم و این همون چیزیه که ما امشب قراره باهاش کار کنیم و درموردش صحبت کنیم)

مثال بخوایم بزنیم - توی این حالت اگه شما سرچ کنید
🔥 "من یک چیزی میخوام که باهاش پادکست گوش بدم"

نتایجی مثل:‌
- هدفون
- ایرپاد
- هندزفری
- اسپیکر
و ... رو به شما برمیگردونه - با این‌که شما هیچ اشاره‌ای به هیچکدوم از این موارد نکرده بودید توی متن‌تون.

مزایا و معایب این روش چیه؟

✅ مزایا
۱. معنا و مفهوم کلمات رو متوجه میشن و اطلاعات مرتبط (از نظر معنایی)‌ به شما برمیگردونن
۲. مترادف‌هارو درک میکنن
۳. ضمینه (context) کوئری شمارو متوجه میشن
- مثلا اگه بگید "من میخوام شنا کنم دنبال آب میگردم" براتون آبشار و أب رو میاره اما آبان و آبی رو نمیاره.

❌ معایب
۱. هزینه اجرایی و محاسباتی بالا
۲. ذخیره سازی پیچیده
۳. نیاز به فضای بالا در ماتریس ها و فضاهای برداری بزرگ
۴. نیاز به pre-train کردن embed model توی دیتاست‌های خیلی بزرگ

خب تبریک میگم 🥳
شما الان میدونید سرچ چیه و چطوری کار میکنه (در همین نقطه شما یک لول از آدم‌هایی که صرفا سرچ میکنن و روحشون هم خبر نداره پشت پرده چی میشه جلو افتادید)

برای خود من که این دیتا جالب بود - نمیدونم برای شما هم جذابیت دارن این نوع اطلاعات یا نه.

بالاتر یه اشاره‌ای به یک کلمه شد - "دیتاست" - بیاید اینم تعریف کنیم؛ البته کوتاه و بدون مثال 😁

ℹ️ ساده تر بخوایم تعریفش کنیم به این صورت میشه که:

ما با استفاده از Word Embedding میتونیم تمام کلمات و لغت‌های استفاده شده توی یک زبان رو توسط یک مجموعه‌ای از اعداد اعشاری در قالب بردار (Vector) بیان کنیم.

پس میشه گفت که Word Embedding ها - بردار (Vector) های n بعدی هستن که تلاش میکنن معنای لغت‌ها و محتواشون رو با مقادیر عددی‌شون بیان کنن.

هر مجموعه‌ای از اعداد که ما توی این سناریو در دسترس داریم یک "Word Vector" یا بردار کلمه به حساب میاد.

⚠️ نکته‌ای که وجود داره اینه که این بردار کلمات ممکنه همیشه برای سودمند نباشن.

❔ چه بردار کلماتی برای ما سودمند هست؟
- بردارهای کلماتی برای ما سودمند هستند که معنا و مفهوم و ارتباط کلمات رو دقیقا همونطوری که به صورت طبیعی استفاده میشن بیان کنن.

❓ منظور از طبیعی چیه؟
- روالی که توسط انسان اتفاق میفته و ارگانیک هست رو طبیعی میگیم.

مثلا ما میدونیم گربه و پیشی - سگ و هاپو باهم مرتبط هستند.

ماشین اگه توی بردار کلماتی این شباهت و ارتباط رو نتونه تشخیص بده برای ما سودمند نخواهد بود.

بیاید یک مرحله برگردیم عقب تر - حالا که ما میدونیم اگر متن هامون رو تبدیل به بردارها و مجموعه‌ای از اعداد کنیم و به ماشین بدیم میتونه معنی‌شون رو بفهمه؛ چطوری میتونیم این پروسه رو انجام بدیم؟


❔ در ساده ترین حالت ممکن به روش‌هایی که داده‌های متنی Encoding Techniques میگن.

تکنیک هایی مثل
One Hot Encoding
Label Encoding
TF-IDF
توی این دسته قرار میگیرن که جلوتر درموردشون صحبت میکنیم.

اماااا - ‌‌‌Word Embedding درواقع نوع پیشرفته تری از همین Encoding Technique ها هستش که نه تنها وجود کلمه - بلکه معنا و ارتباطاتش رو هم با کلمات دیگه و موضوع کوئری شما در نظر میگیره.

توی Word Embedding روش هایی مثل موارد زیر رو داریم:
Word2Vec
GloVe
FastText
که درمورد اینا هم جلوتر صحبت میکنیم.