⁉️ چجوری کد تو ادیتورم واقعا معنی پیدا میکنه؟ امروز این مسئله رو حل میکنیم.

✅ قبل از اینکه بخوایم جلوتر بریم باید با یه اصطلاح آشناتون کنم: «Lexical Tokenization»

⭐️ به فرآیندی گفته میشه که یک ورودی به فرمت متن، به یک چیز دیگه‌ای که از نظر معنایی یا نحوی و دستوری معنی میده تبدیل میشه. ( نحوی و دستوری = syntax )

⭕️ این فرایندِ تبدیل توسط چیزی که بهش میگیم «Lexer» انجام میشه. این Lexer درواقع در مرحله‌ی اول فرانت‌اند کامپایلر قرار داره. البته که کاربرد هاشون محدود به کامپایلر ها نیست و حتی Linter ها هم میتونن ازش استفاده بکنن.

این پروسه حتی تو LLM ها یا Large language model ها هم کاربرد داره.
برای تحلیل و بررسی متن ورودی و پرامپت کاربر ازش استفاده میشه اما خب اونجا tokenizer ها بر اساس احتمالات کار میکنن. و یک مرحله دومی هم دارن که این توکن هارو به مقادیر عددی تبدیل میکنه.

⚡ تو برنامه‌نویسی، Lexer ما میاد عملگر ها، identifier ها، دیتاتایپ ها، کلمه های کلیدی و رزرو شده و خیلی چیز های دیگه‌ی متن کد مارو بر اساس یک «Lexical Grammar» جدا میکنه و مشخصشون میکنه. ( دقت کنید که میدونیم تو LLM ها اساس کارشون با احتمالات بود )

🧠 جالبه بدونید مغز ما آدم ها هم این کار رو انجام میده موقعی که چیزی میخونید یا میشنوید و صحبت میکنید و بر اساس یک Grammar که طی زندگیتون یادش گرفتید، ورودی هارو tokenize و طبقه بندی میکنه و متوجهشون میشه!

به کل این پروسه «Lexing» میگیم که از دو مرحله‌ی:
1️⃣ اسکن کردن:‌ که متن رو به قطعه هایی که بر اساس Grammar میدونه تیکه تیکه میکنه و به «Lexeme» ها تبدیلشون میکنه.

2️⃣ ارزیابی (evaluate) کردن: که Lexeme های مرحله بالارو به مقادیر پراسس شده و تحلیل شده تبدیل میکنه.

این موضوع گسترده رو تحت عنوان «Lexical Analysis» میشناسیم.

کنجکاو بمونید.
#computer_science 🆕 #lexical_tokenization
🖇 Reference

🔗 @NimaCodez | © | Go Deep, Learn Deep, Ask Deep 🧠

نقطه چین ها جایی هست که باید باشه(نسبت به قبل)، خط های متصل یعنی چیزی که الان هست

رسما دارن کلادفلر رو حذف میکنن از اینترنت ایران، آپلود روش محدود شده بشدت و هیچ سامانه هی نیست که وضعیت اپلود رو بگه، دانلود هم بین پکت ها دیلی میندازن و وضعیت افتضاحه، با ایرانسل شروع شد این وضعیت الان داره روی نت های دیگه هم اعمال میشه

✅ @SEYED_BAX