Diagnostic/Adaptive Assessment Design

وقتی یک score یکسان نباید به یک next action یکسان برسد

دو learner می‌توانند scalar estimate یکسان داشته باشند اما به next action متفاوت نیاز پیدا کنند. یکی ممکن است evidence گسترده از prerequisite و transfer item داشته باشد و دیگری همان عدد را فقط با چند transfer item باکیفیت به‌دست آورده باشد. اگر سیستم adaptive، alignment، ترکیب evidence، uncertainty، stop condition و routing را پشت یک score مخفی کند، دیگر نمی‌توان توضیح داد چرا item بعدی انتخاب شده یا چرا آن score نباید بی‌صدا به mastery تبدیل شود.

در این درس Diagnostic & Adaptive Assessment Decision Matrix v1 را می‌سازیم؛ contractی که estimate تشخیصی، uncertainty، item selection، accommodation، route/stop و mastery effect را جدا و قابل ممیزی نگه می‌دارد.

مرز درس و مسیرهای یادگیری

MKN-005 مالک Diagnostic/Adaptive Assessment Design است. MKN-001 prerequisite مفهومی HARD و MKN-004 پل SOFT برای مفهوم mastery طولی است. outcomeهای مجاور جدا می‌مانند: این درس Longitudinal Skill State را دوباره طراحی نمی‌کند و credential صادر نمی‌کند.

مسیر Foundation با نقشه ۱۷ فیلدی جلو می‌رود. مسیر Repair اولین field/state خراب را جدا می‌کند. مسیر Experienced باید توضیح دهد چرا دو estimate یکسان وقتی uncertainty یا evidence composition فرق دارد می‌توانند route متفاوت بسازند. هیچ learner record واقعی یا سرویس production تغییر نمی‌کند.

مدل ذهنی: target → item evidence → estimate + uncertainty → selection/stop → route → mastery review جدا

جریان اصلی:

competency target → aligned item → response evidence + weight → estimate before/after + uncertainty → selection rule → next item | repair route | stop → accommodation-aware delivery → separate mastery effect/review

diagnostic estimate خلاصه evidence تحت یک rule مشخص است. uncertainty می‌گوید چقدر باید به آن estimate اعتماد کرد. selection rule دلیل انتخاب item یا route بعدی را آشکار می‌کند. stop condition دلیل پایان assessment را توضیح می‌دهد. mastery effect مشخص می‌کند نتیجه تشخیصی چه اجازه‌ای برای تغییر mastery دارد؛ در این درس auto-promotion مجاز نیست.

Contract پایه: هفده بُعد قابل ممیزی

Matrix این فیلدها را ثبت می‌کند: assessment_id، competency_id، item_id، item_alignment، item_difficulty_band، response_state، evidence_weight، estimate_before، estimate_after، uncertainty_band، selection_rule_id، next_item_or_route، stop_condition، accommodation_ref، mastery_effect، review_state و provenance.

identity و alignment می‌گویند چه چیزی سنجیده شده. response و evidence weight می‌گویند item چه evidenceی اضافه کرده. estimate و uncertainty state مدل را visible می‌کنند. selection/route/stop policy adaptive را قابل بازرسی می‌کنند. accommodation باید access یا delivery را عوض کند، نه اینکه بدون تغییر evidence semantics، weight یا estimate را دست‌کاری کند. mastery effect و review state مانع تبدیل assessment تشخیصی به certification پنهان می‌شوند.

توضیح عمیق: FACT، INFERENCE و DESIGN را جدا نگه دار

FACT — QTI 3. منابع رسمی فعلی 1EdTech، QTI را specification تعامل‌پذیری برای test، section، item و داده‌های assessment معرفی می‌کنند و QTI 3 native support بیشتری برای Computer Adaptive Testing دارد. این استاندارد mechanism می‌دهد؛ threshold mastery یا routing policy MAKNOW را تعیین نمی‌کند.

FACT — alignment assessment. راهنمای Carnegie Mellon تأکید می‌کند assessment باید با learning objective مورد سنجش هم‌راستا باشد. item مربوط به competency مجاور فقط به‌خاطر score مناسب، evidence معتبر competency هدف نمی‌شود.

INFERENCE — یک score audit trail نیست. وقتی alignment، evidence weight، uncertainty، selection rule و route فیلد مستقل باشند reviewer می‌تواند تصمیم را بازسازی کند. اگر همه در یک scalar مخفی شوند، دو عدد یکسان می‌توانند stateهای evidence کاملاً متفاوت را پنهان کنند.

DESIGN — MAKNOW. diagnostic estimate از mastery جداست. uncertainty و stop condition explicit هستند. accommodation نباید evidence را بی‌صدا reweight کند. adaptive engine می‌تواند route یا review بسازد اما نمی‌تواند competence را بی‌صدا certify کند.

مثال‌های حل‌شده: baseline repair، uncertainty بالا، accommodation و transfer

Baseline. learner سه prerequisite item آسان را درست جواب می‌دهد و یک medium transfer item را غلط. estimate از 0.72 به 0.64 می‌رسد، uncertainty برابر MEDIUM می‌ماند و policy قبل از transfer check بعدی route:repair-transfer را انتخاب می‌کند. learner accommodation متنی/کیبوردی خواسته، پس delivery بعدی باید آن را رعایت کند. state برابر DIAGNOSTIC_REPAIR_ROUTE_REQUIRED است و mastery در review جدا می‌ماند.

همان estimate، uncertainty بیشتر. estimate را روی 0.78 ثابت نگه دار ولی uncertainty را از LOW به HIGH ببر. کپی کردن route قبلی «ready for review» غلط است؛ سیستم باید evidence بیشتری بخواهد: DIAGNOSTIC_CONTINUE_ASSESSMENT.

Accommodation بدون mutation evidence. accommodation را اضافه کن ولی item semantics، response و evidence quality را ثابت نگه دار. delivery می‌تواند عوض شود اما evidence weight و estimate صرفاً به‌خاطر support accessibility نباید بازنویسی شوند.

Transfer. learner دوم همان estimate 0.78 را با تعداد کمتر ولی transfer itemهای باکیفیت می‌گیرد. uncertainty و next action باید دوباره محاسبه شود. در fixture ما breadth کمتر است، uncertainty MEDIUM می‌شود و یک transfer item دیگر لازم است؛ با وجود score یکسان.

failure modeهایی که باید fail-closed باشند

اگر assessment/competency identity گم باشد، alignment نامعتبر باشد، difficulty یا response نامعلوم باشد، evidence weight خارج از محدوده باشد، estimate ناممکن یا غیرقابل ردیابی باشد، uncertainty نامعلوم باشد، selection rule یا next action گم باشد، stop state ناسازگار باشد، provenance وجود نداشته باشد یا review_state بدون human decision به APPROVED رفته باشد، outcome باید HOLD بماند.

دو failure خیلی مهم‌اند. Auto-promotion: estimate بالا نباید mastery را MASTERED کند. Accommodation contamination: اضافه‌شدن accessibility accommodation نباید evidence weight یا estimate را عوض کند مگر خود response/evidence واقعاً تغییر کرده باشد. Transfer هم وقتی baseline decision بعد از تغییر evidence composition reuse شود fail است.

trade-offها: precision، burden، breadth و fairness

item بیشتر uncertainty را کم می‌کند اما burden و fatigue را بالا می‌برد. transfer item سخت‌تر ممکن است برای competency informativeتر باشد ولی accessibility یا prerequisite confound ایجاد کند. stop زودهنگام زمان assessment را کم می‌کند اما ممکن است قبل از evidence decisive تمام شود؛ stop محافظه‌کارانه evidence بهتر می‌دهد اما هزینه زمانی بیشتر دارد.

یک weighted score ساده است ولی evidence composition را مخفی می‌کند. Matrix غنی‌تر storage/review بیشتری می‌خواهد اما route را قابل بازسازی می‌کند. accommodation ممکن است presentation، timing یا modality را عوض کند؛ تا وقتی construct هدف همان است نباید خودش semantic value evidence را عوض کند. هدف طولانی‌کردن test نیست؛ هدف explainable کردن transition از evidence به action است.

پل Experienced: estimator state را از policy state جدا کن

برای engineer باتجربه حداقل دو لایه مدل کن: estimator layer مالک response، weight، estimate و uncertainty است؛ policy layer مالک eligibility، selection، route، stop و review است. یک governance boundary سوم mastery effect را کنترل می‌کند. این جداسازی اجازه می‌دهد CAT algorithm عوض شود بدون اینکه mastery policy بی‌صدا تغییر کند.

estimate_after oracle نیست. سیستم adaptive معتبر می‌تواند از evidence pathهای متفاوت estimate یکسان بسازد ولی به‌خاطر uncertainty، coverage، alignment یا stop budget next action متفاوت بدهد. path evidence لازم برای بازسازی این judgment را نگه دار.

تمرین هدایت‌شده و مستقل

1. baseline را اجرا کن و توضیح بده چرا miss در transfer item به repair route می‌رود نه mastery. 2. score را ثابت و uncertainty را زیاد کن و تغییر next action را ببین. 3. alignment item را به competency مجاور تغییر بده و recomputation را اجباری کن. 4. accommodation اضافه کن ولی response evidence را ثابت نگه دار و verify کن weight/estimate ثابت بمانند. 5. قبل از transfer evidence decisive به stop budget برس و توضیح بده چرا نتیجه review-required است نه mastered. 6. learner دوم را بدون baseline oracle از نو بساز.

در تمرین مستقل expected decision حذف می‌شود و فقط ۱۷ field، fixture facts و deterministic ruleها visible هستند.

شواهد Verification: reviewer چه چیزی را باید بازسازی کند؟

Reviewer باید assessment و competency identity، item و alignment/difficulty، response و evidence weight، estimate before/after، uncertainty، selection rule، next action، stop state، accommodation، mastery effect، review state و provenance را بازسازی کند. همچنین باید نشان دهد تغییر alignment یا evidence composition recomputation ساخته و accommodation evidence semantics را بی‌صدا تغییر نداده است.

Lab deterministic حالت‌های baseline repair، evidence-review-ready، same-score/high-uncertainty، alignment mismatch، missing fields، weight/estimate نامعتبر، selection/route/stop/provenance missing، mastery auto-promotion ممنوع، accommodation contamination، stop-budget exhaustion و transfer با/بدون recomputation را پوشش می‌دهد.

ارزیابی و Transfer: estimate یکسان، evidence path متفاوت

Assessment چهار بخش blocking دارد: مرز MKN-005 و یک non-goal را توضیح بده؛ Matrix baseline را بساز؛ «same score, higher uncertainty» را diagnose کن؛ و changed-context learner را با transfer itemهای کمتر اما باکیفیت‌تر بازسازی کن.

Transfer فقط وقتی PASS است که evidence composition جدید ثبت شود، uncertainty دوباره محاسبه شود، next action از state جدید ساخته شود و baseline_oracle_reuse=false باشد. اگر estimate ثابت باشد ولی uncertainty تغییر کند، copy کردن route قبلی failure است.

منابع، freshness و مرز authority

منابع رسمی 1EdTech QTI و Carnegie Mellon درباره assessment alignment در 2026-09-14 دوباره بررسی شدند. QTI 3 همچنان خانواده final-release فعلی QTI 3 است و native support بیشتری برای CAT دارد؛ CMU همچنان alignment assessment با learning objective را اصل طراحی می‌داند.

این منابع FACT و guidance می‌دهند، نه authority برای evidence weight، uncertainty band، stop budget، mastery effect یا review ownership MAKNOW. semantics در حال تغییر QTI/CAT تا 2027-01-15 یا زودتر در صورت material change باید دوباره بررسی شود.