یه بنچمارک برای ارزیابی LLMها روی زبان فارسی ساختم به اسم ParsiEval.
می‌خواستم یه معیار درست و حسابی داشته باشیم که ببینیم مدل‌ها تو فارسی و تسلط روی فرهنگ و دانش ایرانی واقعاً چیکاره‌ان، مدل gpt-4o با ۷۹٪ دقت در صدره بعدشم horizon-beta (احتمالا gpt-5-mini) ولی مدل‌های اوپن سورس kimi و llama-4 هم خیلی نزدیک دنبالش می‌کنن. مدل‌های جدید اپن‌سورس OpenAI یعنی gpt-oss هم عملکرد نسبتا خوبی داشتن و نسخه ۱۲۰ میلیارد پارامتریش به دقت ۷۰٪ رسیده.

این بنچمارک ۳۶۴ تا سوال چهارگزینه‌ای از دانش عمومی، تاریخ و علم داره. هدفش اینه که فهم و استدلال مدل‌ها رو به چالش بکشه، نه فقط حفظیات.

این نسخه اول ParsiEval هست. دارم روی نسخه دوم کار می‌کنم که دیتاست ارزیابی خیلی بزرگتری داره و مدل‌های جدیدتر رو هم پوشش میده تا یه مقایسه کامل‌تر داشته باشیم.

کل پروژه، کدها و نتایج رو روی گیت‌هاب گذاشتم. اگه براتون مفید بود یه ستاره بزنید. دمتون گرم.

https://github.com/mshojaei77/ParsiEval

@DevTwitter | <Shojaei/>