نخستین بنچمارک مستقل و قابل‌تکرار برای سنجش مدل‌های زبانی بزرگ روی زبان فارسی: ۱۲,۰۰۰ سوال در ۶ دسته آزمون، با روش ارزیابی کور ترکیبی (خودکار + داوری انسانی). پژوهش آزمایشگاه پارس به سرپرستی سپهر قاسمی.
در این پژوهش، هفت مدل زبانی بزرگ — شامل ParsGPT-2 (مدل بومی فارسی)، GPT-5، Claude 4 Opus، Gemini 2.5 Ultra، Qwen 3، Grok 3 و DeepSeek V3 — روی مجموعه‌داده PAB-2026 ارزیابی شدند. نتیجه روشن است: مدل‌های جهانی در «فارسیِ کتابی» قابل قبول‌اند، اما در فارسیِ واقعی بازار ایران — اصطلاحات صنفی، زبان محاوره، کنایه و متن‌های حقوقی/مالی — فاصله معناداری دارند.
۱) ParsGPT-2 در ۵ آزمون از ۶ آزمون بالاترین نمره را کسب کرد (میانگین کلی ۹۲.۶). ۲) بزرگ‌ترین شکاف در «اصطلاحات تخصصی ایرانی» است: ۹۲.۸ در برابر ۷۴.۶ برای GPT-5. ۳) تنها آزمونِ برنده مدل‌های خارجی، «ترجمه انگلیسی به فارسی» است (GPT-5 با ۹۱.۶). ۴) زبان محاوره و کنایه فارسی، پاشنه‌آشیل مدل‌های خارجی است: برخی زیر ۶۰ scored کردند.
| مدل | درک مطلب | تولید محتوا | اصطلاحات تخصصی | خلاصه‌سازی | ترجمه EN→FA | محاوره و کنایه | میانگین |
|---|---|---|---|---|---|---|---|
| بومیParsGPT-2 (70B) | ۹۴.۱ | ۹۵.۳ | ۹۲.۸ | ۹۳.۵ | ۸۸.۲ | ۹۱.۷ | ۹۲.۶ |
| خارجیGPT-5 | ۸۸.۷ | ۸۹.۲ | ۷۴.۶ | ۹۰.۱ | ۹۱.۶ | ۶۹.۸ | ۸۴.۰ |
| خارجیGemini 2.5 Ultra | ۸۷.۵ | ۸۸.۴ | ۷۳.۹ | ۸۹.۸ | ۹۱.۱ | ۶۸.۹ | ۸۳.۳ |
| خارجیClaude 4 Opus | ۸۶.۲ | ۸۷.۸ | ۷۱.۳ | ۸۹.۴ | ۹۰.۳ | ۶۶.۵ | ۸۱.۹ |
| خارجیQwen 3 | ۸۲.۹ | ۸۳.۱ | ۶۸.۲ | ۸۴.۷ | ۸۶.۴ | ۶۴.۳ | ۷۸.۳ |
| خارجیDeepSeek V3 | ۸۱.۶ | ۸۰.۲ | ۶۶.۴ | ۸۲.۹ | ۸۵.۲ | ۶۱.۷ | ۷۶.۳ |
| خارجیGrok 3 | ۷۹.۴ | ۷۸.۹ | ۶۲.۷ | ۸۰.۳ | ۸۳.۸ | ۵۸.۱ | ۷۳.۹ |
روش امتیازدهی: میانگین وزن‌دار امتیاز خودکار (Persian-BERTScore) و داوری سه‌گانه انسانی کور. جزئیات در بخش متدولوژی.
در آزمون اصطلاحات صنفی (مالیاتی، حقوقی، پزشکی، بازاری)، مدل‌های خارجی به‌طور سیستماتیک مفاهیم را «ترجمه‌شده» تفسیر می‌کنند نه «بومی». نمونه خطای پرتکرار: ترجمه «ثبت صیادی چک» به معادل بانکی انگلیسی، یا تفسیر نادرست «ارزش افزوده فصلی». ParsGPT-2 چون روی اسناد واقعی ایرانی آموزش دیده، این لایه را درست می‌فهمد.
منصفانه بگوییم: در ترجمه انگلیسی به فارسی، GPT-5 و Gemini روان‌تر و idiomaticتر عمل کردند (۹۱.۶ و ۹۱.۱ در برابر ۸۸.۲). دلیل آن پوشش گسترده‌تر جفت‌زبان‌های موازی در آموزش آن‌هاست. این تنها دسته‌ای است که در آن توصیه ما استفاده از مدل خارجی است.
جملاتی مثل «قیمت‌ها سر به فلک کشیده» یا «این کار آب پاکی را روی دست مشتری می‌ریزد» برای مدل‌های خارجی اغلب به‌صورت تحت‌الفظی تفسیر می‌شوند. در این آزمون، Grok 3 با ۵۸.۱ پایین‌ترین نمره کل گزارش را گرفت، در حالی که ParsGPT-2 با ۹۱.۱ اختلافی نزدیک به ۲۲ امتیاز ساخت.
۱۲,۰۰۰ سوال در ۶ دسته، استخراج‌شده از اسناد واقعی فارسی (قرارداد، فاکتور، مقاله خبری، گفت‌وگوی محاوره) با مجوزهای لازم و پاک‌سازی حریم خصوصی.
نام مدل‌ها از خروجی‌ها حذف شد؛ سه داور انسانی مسلط به فارسی بدون اطلاع از منبع، پاسخ‌ها را امتیاز دادند. همزمان Persian-BERTScore به‌صورت خودکار محاسبه شد.
هر سوال ۳ بار با seed متفاوت اجرا شد؛ میانگین گزارش شده. بازه اطمینان ۹۵٪ برای همه نمرات زیر ±۰.۸ است. اسکریپت ارزیابی در Pars Log منتشر خواهد شد.
آزمون‌ها بین شهریور تا مهر ۱۴۰۵ در آزمایشگاه پارس (دیتاسنتر پاریس و تهران) اجرا شد. نسخه‌های مدل‌ها دقیقاً همان‌هایی بودند که در تاریخ آزمون به‌صورت عمومی در دسترس بودند.
Ghasemi, Sepehr. (2026). The Persian AI Benchmark Report 2026: Evaluating Seven Large Language Models on Persian (PAB-2026). ParsTech Research Lab. Retrieved from https://www.parstech.click/weblog/persian-ai-benchmark-2026/
استفاده از داده‌ها با ذکر منبع و لینک به این صفحه آزاد است (مجوز CC BY-NC 4.0). برای دریافت فایل کامل داده‌ها، از طریق صفحه تماس با موضوع «همکاری و مشارکت» درخواست دهید.
