AI Tutor Grounding و Evaluation

روان و قانع‌کننده بودن، مساوی grounded بودن نیست

یک Tutor به سؤال learner پاسخ بسیار خوب و روانی می‌دهد. model grader هم نمرهٔ بالایی می‌دهد. اما trace نشان می‌دهد retrieval از revision قدیمی درس آمده، یک جمله هیچ source مجازی ندارد، و prompt به‌اشتباه answer پنهان assessment را در اختیار Tutor گذاشته است. spot check معمولی ممکن است هر سه خطا را رد کند.

در این درس Grounded AI Tutor Evaluation Harness & Evidence Ledger v1 را می‌سازیم. هر case به learner-state versioned، مرز allowed/forbidden context، source snapshot، retrieval evidence، claim/citation alignment، deterministic check، model grading، human-expert review در جای لازم، assessment integrity/refusal و نسخه‌های model/prompt/retrieval متصل می‌شود. Promotion تصمیمی بر اساس dimensionهای evidence است، نه جایزه‌ای برای متن روان یا یک aggregate score.

قاعدهٔ اصلی: اول پاسخ را به evidence مجاز trace کن؛ بعد quality و regression را جداگانه ارزیابی کن.

مخاطب: مهندس learning platform، تیم AI Tutor، RAG/retrieval، instructional QA و governance. غیرهدف: release از روی یک گفت‌وگوی خوب، تبدیل LLM judge به ground truth، expose کردن answer key برای راحتی eval، یا پوشاندن failure حیاتی با میانگین نمرهٔ بالا.

جایگاه درس و مرز مالکیت

MKN-023 فقط مالک AI Tutor Grounding و Evaluation است. prerequisite فریز‌شده MKN-021 سخت و MKN-022 نرم است. MKN-022 مالک notification delivery و MKN-024 مالک portfolio/profile compiler است. این درس می‌تواند context محدود آنها را مصرف کند ولی outcome آنها را جذب نمی‌کند.

مسیر foundation با field map و یک negative case هدایت‌شده کار می‌کند؛ مسیر repair فقط dimension شکست‌خورده را rerun می‌کند؛ مسیر experienced دربارهٔ dataset، calibration، human-review trigger و regression policy تصمیم می‌گیرد بدون اینکه همه‌چیز را به یک score تبدیل کند.

Checkpointها: F1 مرز و یک non-goal؛ F2 تشخیص یک failure با field/state دقیق؛ F3 rerun suite ثابت + failure cluster هدفمند بعد از تغییر مدل و تصمیم از روی evidence dimensionها.

مدل ذهنی: fixture → trace → evidence dimension → promotion gate

ترتیب مرجع:

versioned learner/source fixture → tutor run + retrieval trace → claim/source alignment → deterministic integrity checks → rubric/model graders → human review where required → per-dimension regression report → PROMOTE / REVIEW_REQUIRED / HOLD

شش لایه را جدا نگه دار: learner state مجاز، source authority، claimهای تولیدشده، violationهای deterministic، judgmentهای احتمالاتی، و release governance. model grader می‌تواند rubric را اندازه بگیرد، اما اجازهٔ دسترسی به forbidden context نمی‌دهد، citation گمشده را repair نمی‌کند و failure integrity را pass نمی‌کند.

قرارداد پایه: هر ورودی تعیین‌کننده version دارد

Dimensionهای Bible را حفظ کن: eval_suite_version, test_case_id, learner_state_fixture, allowed_context_ref, forbidden_context_ref, source_snapshot_id, retrieval_query, retrieved_source_ids, citation_alignment, grounded_claim_id, unsupported_claim, contradiction_state, expected_behavior, rubric_version, deterministic_grader, model_grader, human_expert_review, assessment_integrity_state, refusal_state, model_version, prompt_version, retrieval_version, regression_delta, promotion_state, failure_cluster, trace_ref.

Invariantها: source بازیابی‌شده باید عضو snapshot اعلام‌شده باشد؛ answer مخفی assessment نباید allowed context شود؛ unsupported claim باید type خودش را حفظ کند؛ deterministic grounding/integrity failure با میانگین score حذف نمی‌شود؛ grader/rubric version باید معلوم باشد؛ model/prompt/retrieval/eval suite با هم ثبت شوند؛ تغییر model نیازمند regression evidence است؛ و promotion از ضعیف‌ترین blocking dimension قوی‌تر نمی‌شود.

توضیح عمیق: Eval provider، grader و authority محلی

OpenAI Evals. API فعلی Eval را با data-source configuration/schema و testing criteria تعریف می‌کند و یک evaluation definition را می‌توان روی model/configurationهای مختلف اجرا کرد. این capability برای harness تکرارپذیر مفید است، اما learner-state policy، pedagogy و threshold MAKNOW را تعریف نمی‌کند.

Graderها. API فعلی grader شامل string check، text similarity، model-based grader، Python grader و multi-grader است. propertyهای exact مثل ID، forbidden-context exposure، citation binding و version را deterministic بسنج؛ quality rubric را در جای مناسب با model grader بسنج. هیچ grader به‌تنهایی release authority نیست.

NIST AI RMF Generative AI Profile. NIST AI 600-1 trustworthiness را در design/development/use/evaluation می‌بیند و guidance داوطلبانهٔ risk management است. acceptance score یا instructional policy MAKNOW را تعریف نمی‌کند.

پس dataset، allowed context، source authority، rubric، blocking dimension، human-review trigger، threshold و release gate MAKNOW DESIGN هستند.

مثال‌های حل‌شده: یک trace خوب و دو موفقیت ظاهری

Baseline. case ALG-07 با learner state LS-07 و snapshot COURSE-ALG-v5 اجرا می‌شود. sourceها عضو snapshot هستند، claimها citation معتبر دارند، forbidden context absent است، deterministic checkها pass می‌شوند و model grader مناسب است؛ با این حال pedagogical release هنوز human review می‌خواهد. نتیجه: REVIEW_REQUIRED، نه auto-promotion.

خطای فریبنده ۱: ALG-v5-S2 با ALG-v4-S2 عوض می‌شود، درحالی‌که similarity بالا می‌ماند. پاسخ شاید درست به نظر برسد، ولی snapshot conflict دارد: HOLD_SOURCE_REVISION_MISMATCH.

خطای فریبنده ۲: average model score از 0.86 به 0.93 می‌رسد اما deterministic citation_alignment برای claim اصلی fail می‌شود. score aggregate حق override ندارد: HOLD_GROUNDING_FAILURE.

Failure modeهایی که نباید پنهان شوند

• stale-but-similar retrieval از revision قدیمی؛
• قرارگرفتن hidden assessment solution در allowed context؛
• claim روان ولی unsupported؛
• contradiction موجود ولی grounded اعلام‌شده؛
• استفاده از یک model judge هم به‌عنوان evaluator و هم release authority؛
• تغییر model بدون ثبت suite/prompt/retrieval/regression؛
• پاسخ مستقیم وقتی expected behavior باید refusal/redirect باشد؛
• مخفی‌شدن blocking failure زیر aggregate score؛
• حذف failure clusterهای low-resource بعد از بهبود mean score.

این‌ها evidence failure هستند، نه مجوز ساخت success state.

گزینه‌ها و trade-offها

Suite کوچک deterministic reproducible است ولی nuance آموزشی را کم می‌بیند. model judge منعطف است ولی drift و blind spot دارد. human review برای pedagogy ارزشمند است ولی هزینه و calibration می‌خواهد. benchmark بزرگ coverage می‌دهد اما با تغییر traffic و failure cluster می‌تواند stale شود.

راه بهتر یک stack لایه‌ای است: deterministic invariantها، fixed regression caseها، targeted failure clusterها، calibrated model grader برای rubric، و human review برای judgmentهای pedagogical/high-impact. authority هر لایه باید explicit باشد.

پل experienced: eval harness خودش یک product versioned است

Dataset revision نیاز به change control دارد؛ grader prompt/model باید version داشته باشد؛ retrieval fixture باید source snapshot identity داشته باشد؛ failure cluster owner و retirement criteria می‌خواهد؛ promotion receipt باید trace reproducible داشته باشد.

گزارش مفید «score=91%» نیست. matrix grounding، contradiction، integrity، refusal، pedagogy و regression را بر اساس learner/source segment نشان بده و blocking failureها را قبل از aggregate بنویس. mean بالا همراه با رشد unsupported claim در low-resource lesson regression است.

تمرین هدایت‌شده و مستقل

هدایت‌شده: MKN-023-LAB1 را روی baseline اجرا کن. promotion را prefill نکن؛ از evidence derive کن. سپس فقط source revision retrieval را عوض کن و اولین field/state invalid را نام ببر.

مستقل: hidden solution در allowed context، unsupported claim با model score بالا، تغییر model بدون regression evidence، و failure refusal را تشخیص بده. برای هرکدام dimension، evidence، terminal state و minimal repair را ثبت کن.

Transfer: model جدید average rubric score را بهتر کرده ولی unsupported claim در low-resource lessonها بیشتر شده است. fixed suite + targeted cluster را دوباره اجرا کن؛ تصمیم باید از per-dimension regression بیاید.

Verification و evidence

Lab کاملاً synthetic و offline است: JSON + Python، بدون network/API key و بدون learner production data. checkها source-snapshot membership، forbidden-context separation، unsupported claim، contradiction، assessment-integrity/refusal، grader layering، version binding، regression و transfer recomputation را می‌سنجند.

Evidence ledger باید پاسخ دهد: learner state مجاز چه بود؟ sourceها از کدام snapshot آمدند؟ کدام claim grounded و کدام unsupported بود؟ چه deterministic checkهایی pass شدند؟ کدام grader/rubric version اجرا شد؟ human review کجا لازم بود؟ نسبت به model/prompt/retrieval قبلی چه regressionی داریم؟ چرا promotion state bounded است؟

Assessment و transfer gate

چهار assessment blocking داریم: مرز MKN-023؛ ساخت harness baseline؛ diagnosis source قدیمی؛ و transfer برای model جدیدی که mean score را بهتر ولی unsupported claimهای low-resource را بیشتر کرده است.

Transfer fail می‌شود اگر verdict baseline کپی شود، فقط aggregate score دیده شود، targeted cluster حذف شود، یا LLM judge deterministic grounding/integrity failure را override کند.

منابع، freshness و مرز authority

OpenAI — Create eval https://developers.openai.com/api/reference/java/resources/evals/methods/create FACT: eval شامل data-source configuration/schema و testing criteria است و روی model/configهای مختلف قابل اجراست. مرز: mechanism provider است، نه pedagogy یا threshold MAKNOW.

OpenAI — Grader Models https://developers.openai.com/api/reference/ruby/resources/graders/subresources/grader_models FACT: graderهای string، similarity، model، Python و multi-grader در API فعلی وجود دارند. مرز: وجود grader، validity evaluator را تضمین نمی‌کند.

NIST — AI RMF Generative AI Profile (NIST AI 600-1) https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence FACT: guidance داوطلبانه برای trustworthiness و risk management در چرخهٔ GenAI. صفحهٔ AI RMF نیز می‌گوید AI RMF 1.0 در 2026 در حال revision است. مرز: tutor score یا release policy MAKNOW را تعریف نمی‌کند.

منابع در 2026-09-13 دوباره بررسی شدند. semantics ابزار OpenAI حداکثر تا 2026-10-18 یا زودتر در material change و guidance NIST تا 2027-01-01 یا زودتر در revision مهم بازبینی می‌شود. dataset، threshold، integrity policy، human-review trigger و release decision MAKNOW DESIGN هستند.