تعریف Tokenization در NLP:
به پروسه شکستن یه متن و تبدیل اون به واحدهای کوچیک تر مثل لغت، عبارت و یا جمله  tokenization میگن و یکی از مراحل آماده سازی دیتا در NLP هست که یه متن Unstructured رو به فرمت Structured تبدیل میکنه که به راحتی بتونه توسط الگوریتم های NLP آنالیز بشه.

تعریف Stemming (ریشه یابی): به پروسه ی کاهش یک کلمه و رسیدن به ریشه ی اون کلمه stemming میگن مثلا حذف پیشوند و پسوند از یک لغت.

تعریف Lemmatization (ریشه یابی لغوی): به پروسه ی کاهش یک کلمه و رسیدن به ریشه معنادار اون کلمه میگن.


فرق Stemming و Lemmatization: هر دو یک کلمه رو کاهش میدهند ولی در Stemming ممکنه کاهش کلمه منجر به رسیدن به ریشه معنادار از اون کلمه نشه! برای مثلا کلمه "Caring" اگه stem کنیم میشه "Car" که از لحاظ معنایی هیچ ربطی ندارند به هم! ولی در Lemmatization وقتی کلمه رو کاهش میدیم در نهایت میرسیم به ریشه ی معنادار. مثلا همون "Caring" اگه Lemma کنیم میشه "Care".

کتابخونه ای که ابزار Lemmatization داره مثل NLTK  برای زبان انگلیسی خودش توانایی تشخیص ریشه معنادار رو داره.

معمولا هم‌پروسه ی Stemming با سرعت بیشتری از Lemmatization انجام میشه.

اینا مطالبی بود که من سرچ کردم و متوجه شدم حالا خودتون هم سرچ کنید تا تفاوت بین این دو رو کامل متوجه بشید.

این سه تا پروسه Tokenization, Stemming و Lemmatization جزو مراحل مهم آماده سازی متن قبل از اعمال الگوریتم های NLP هستند که به راحتی با دو سه خط کد پایتون انجام میشه!

اگه براتون سواله که ابزارهایی مثل ماشین مجازی، گیت، داکر، دیتابیس‌ها و ... چطور ساخته شدن و چطور خودتون می‌تونید یکی از اون‌هارو بسازید این ریپازیتوری گیتهاب رو ببینید، خیلی باحاله:

https://github.com/codecrafters-io/build-your-own-x

امشب یه کتاب خیلی جالب میخوام بهتون معرفی کنم.

(خیلی دلم میخواد مدل جادی بیام کتاب های جدیدی که میخونم رو معرفی کنم و نقد و بررسیش کنم ولی مدتیه یکم inroverted شدم نمیدونم چرا🥺. )

کتاب "تاریخ علم در ایران"

اول بگم چرا میخوام امشب این کتاب رو معرفی کنم؟ چون تو این زمونه جای خالی یه چیزی رو احساس کردم.
ما به عنوان یک ایرانی هنوز جایگاه علمی خودمون رو در جهان نمیدونیم. تاریخ کشورمون داره فراموش میشه. این کتاب رو بخونیم و متوجه بشیم چقدر ایرانیان در گذشته، بنیان گذار علوم و فنون مختلف در جهان بودند! متاسفانه ما خودمون رو باختیم فراموش کردیم که چی بودیم و چی کار کردیم! تا وقتی ما جایگاه خودمون رو ندونیم مردم کشورهای دیگه هم جایگاه مارو نمیدونند و برامون ارزش قائل نمیشن.

در نظر خیلی از کشورهای دیگه الان یه کشور جهان سومی عقب مونده ایم! این همه آمریکا و کشورهای اروپایی پز تکنولوژی شون رو به ما میدن در صورتی که اگه تاریخ رو بخونیم میبینیم بسیاری از علوم بنیادی و مهارت های پایه ای جهان از دل تمدن ایرانی ها بیرون اومد. در طول تاریخ علم به تدریج پیشرفت کرد.

غیر ازین کتاب خودتون هم تحقیق کنید، ببینید افرادی مثل خوارزمی، ابوریحان بیرونی و... چی کار کردند.

در آینده هر جای دنیا رفتید کار کنید با افتخار از اصالت ایرانیتون بگید و برای همه تعریف کنید ما کی بودیم.

کتاب تاریخ علم در ایران نویسنده اش استاد دانشگاه شیراز بوده، دکتر مهدی فرشاد. نویسنده برای من معتبر و قابل اعتماده.


به کتاب هایی که میخونید توجه کنید! اینم بدونید هیچ وقت یک کتاب لزوما یک منبع علمی معتبر نیست!

کتاب فقط زاییده ذهن نویسنده اش هست، هرکی میتونه کتاب بنویسه و چاپش کنه ولی دلیل بر درست و علمی بودن محتواش نمیشه!
اینو حواستون باشه همیشه.

این خبر امروز منو ساخت! خیلی وقت بود از شنیدن یه خبر انقدر خوشحال نشده بودم🥳🤗.

چقدر خوب میشد اگه دانشگاه های ایران هم یه همچین ریسرچ هایی داشتند، ولی الان متاسفانه فقط شدند کارخونه تولید مقاله! مقاله های پوچ که هیچ فایده ای ندارند و کلی از بودجه مملکت رو هدر میدند!

AI Usage Disclosure:

I am Melanee and as an AI developer committed to ethical practices, I hereby disclose that all codes, repositories, and models developed by me are intended solely for positive and beneficial applications for humanity. I strictly prohibit the use of my work for any detrimental, harmful, or unethical purposes.

Melanee, 1 December 2023

من ملانی هستم و به عنوان یک توسعه دهنده هوش مصنوعی متعهد به اصول اخلاقی، بدینوسیله اعلام میکنم که تمام کدها، مخازن و مدل های توسعه یافته توسط من صرفاً برای کاربردهای مثبت و مفید برای بشریت در نظر گرفته شده است. من اکیدا استفاده از کارهای خود را برای اهداف منفی، مضر یا غیراخلاقی ممنوع می کنم.

ملانی ۱ دسامبر ۲۰۲۳ میلادی


https://github.com/Melanee-Melanee


#disclosure

وقتی یه کدی، مدلی چیزی مربوط به ai رو منتشر میکند یه متن Disclosure شبیه این تهش بزارید.


امیدوارم پیشرفت تکنولوژی در حوزه ی AI آینده ی مثبتی رو برام مردم دنیا رقم بزنه و بشدت معتقدم قانونگذاری تو این حوزه باید سریعا انجام بشه والا سو استفاده از علوم هوش مصنوعی ممکنه خطرهای زیادی برای بشریت به همراه بیاره.

چرا لینوکس برای متخصصین هوش مصنوعی یا دیتاساینتیست ها مهم هست؟

۱. دیپلوی مدل های ماشین لرنینگ اکثرا روی سرورهای لینوکسی انجام میشه.

۲. سیستم عامل لینوکس منابع سخت افزاری قوی تری برای پردازش موازی و یا train کردن مدلهای دیپ لرنینگ میتونه فراهم کنه مثلا تامین و تنظیم GPU, CPU.

همیشه دلم میخواست بدونم کی ها کتابخونه Hazm که مهمترین کتابخونه NLP فارسی هست رو نوشتند.

کاش میشد در یک مراسمی همشون رو دعوت کنند و ازشون تجلیل و قدردانی بشه.
واقعا کار بزرگی کردند.

#nlp
#natural_language_processing

#پردازش_زبان_طبیعی

https://github.com/roshan-research/hazm

این برنامهه بود که با پایتون نوشتم و تونستم با کامپیوترم حرف بزنم، خب؟

سورس کدش رو در گیت هابم امروز منتشر کردم😎.

برنامه ی جالبیه  مخلوط NLP و Speech Recognition هست.‌

اگه دوسش داشتید به این ریپو من star بدید⭐.


https://github.com/Melanee-Melanee/Speech-Recognition-Chatbot

اینم ببینید😎🤖

در هر حرفه و شغلي كه هستيد نه اجازه دهيد كه به بدبيني هاي بي حاصل آلوده شويد و نه بگذاريد كه بعضي لحظات تاسف بار كه براي هر ملتي پيش مي آيد شما را به ياس و نا اميدي بكشاند.
در آرامش حاكم بر آزمايشگاه ها و كتابخانه هايتان زندگي كنيد.
نخست از خود بپرسيد: من براي يادگيري خود چه كرده ام؟
سپس همچنان كه پيش تر مي رويد بپرسيد: من براي كشورم چه كرده ام؟
و اين پرسش را آنقدر ادامه دهيد تا به اين احساس شادي بخش و هيجان انگيز برسيد كه: شايد سهم كوچكي در پيشرفت و اعتلاي بشريت داشته ايد.

اما صرفه نظر از هر پاداشي كه زندگي به تلاش هايمان بدهد يا ندهد، آنگاه که به هدف اصلی نزدیک میشویم؛ هر كدام از ما بايد بتوانیم بگوييم:
من آنچه در توان داشته ام انجام داده ام...


لویی پاستور
(۱۸۲۲-۱۸۶۵ میلادی)

این متن لویی پاستور رو سالها پیش خوندم و تا به الان تو زندگیم بهش معتقدم❤.