امنیت، هویت، استقرار و تاب‌آوری · فصل ۸ — Security، Tenant، Rights و Hallucination · 122
Hallucinated Claim
failure را بعد از وقوع و به‌صورت موردی تحلیل می‌کند و هنوز detection، containment و repair path از قبل طراحی نشده است. موضوع جاری: «Hallucinated Claim». می‌تواند failure family «Hallucinated Claim» را بازتولید/تشخیص دهد و detection، containment و recovery مناسب را تعیین کند.
خلاصهٔ درس
failure را بعد از وقوع و به‌صورت موردی تحلیل می‌کند و هنوز detection، containment و repair path از قبل طراحی نشده است. موضوع جاری: «Hallucinated Claim».
می‌تواند failure family «Hallucinated Claim» را بازتولید/تشخیص دهد و detection، containment و recovery مناسب را تعیین کند.
خروجی این درس
می‌تواند failure family «Hallucinated Claim» را بازتولید/تشخیص دهد و detection، containment و recovery مناسب را تعیین کند.
1. متن روان و حتی citationدار هنوز می‌تواند claim نادرست باشد
یک پاسخ مولد ممکن است با لحن مطمئن، عدد دقیق و citation ظاهراً معتبر ارائه شود، اما خود claim توسط منبع پشتیبانی نشود، با منبع تناقض داشته باشد یا به evidence منقضی متکی باشد. NIST برای بخشی از این رفتار از اصطلاح confabulation استفاده می‌کند: خروجی‌ای که محتوای نادرست یا کاذب را با اطمینان ارائه می‌کند و ممکن است با ورودی یا گفته‌های قبلی خودش ناسازگار باشد. [NIST-AI-600-1] نقطه شروع این درس این است که fluency و confidence را از evidence جدا کنیم.
2. واحد بررسی باید claim اتمی باشد، نه «کل جواب خوب یا بد»
قبل از هر داوری، پاسخ را به claimهای کوچک و مستقل بشکنید. هر claim باید بتواند جداگانه یک subject، predicate و در صورت نیاز زمان/دامنه داشته باشد. جمله‌ای مثل «محصول X در ۲۰۲۶ سریع‌تر و ارزان‌تر شده» حداقل دو claim دارد. اگر آن‌ها را یک ردیف بگذارید، ممکن است یک منبع فقط نیمی از جمله را پشتیبانی کند و شما کل جمله را به اشتباه SUPPORTED علامت بزنید.
3. وجود citation با entailment یکی نیست
Citation فقط می‌گوید یک منبع به پاسخ متصل شده است؛ ثابت نمی‌کند passage واقعاً همان claim را نتیجه می‌دهد. سه سؤال جدا بپرسید: منبع همان entity/نسخه را پوشش می‌دهد؟ passage با claim مرتبط است؟ و آیا passage واقعاً claim را entail می‌کند؟ اگر citation درباره موضوعی نزدیک اما متفاوت باشد، state باید UNSUPPORTED یا UNKNOWN بماند، نه اینکه citation به‌عنوان مهر صحت استفاده شود.
4. authority و freshness دو محور مستقل‌اند
یک منبع می‌تواند authoritative باشد اما برای claim زمان‌حساس قدیمی شده باشد. برعکس، یک پست تازه می‌تواند authority کافی نداشته باشد. بنابراین برای هر ردیف source identity، source authority و freshness را جدا ثبت کنید. claimی که دیروز درست بوده ممکن است امروز با release جدید، تغییر قیمت، policy جدید یا اصلاح رسمی منقضی شده باشد.
5. چهار state پایه را از هم جدا نگه دارید
در این درس چهار state عملی داریم: SUPPORTED یعنی evidence معتبر و تازه claim را entail می‌کند؛ CONTRADICTED یعنی evidence معتبر claim را رد می‌کند؛ UNSUPPORTED یعنی evidence موجود claim را پشتیبانی نمی‌کند؛ و UNKNOWN یعنی evidence برای تصمیم کافی نیست یا freshness/authority نامشخص است. UNKNOWN شکست تحلیل نیست؛ مرزی است که جلوی جعل قطعیت را می‌گیرد.
6. hallucination و misinformation را با یک علت واحد یکی نگیرید
OWASP در LLM09:2025، misinformation را ریسک مهمی برای برنامه‌های متکی بر LLM می‌داند و hallucination و overreliance را از عوامل مهم آن معرفی می‌کند. [OWASP-LLM09] اما این به معنی آن نیست که هر claim نادرست دقیقاً از یک سازوکار واحد آمده یا هر مورد با RAG حل می‌شود. classification این درس بر state شواهد claim متمرکز است، نه حدس درباره علت درونی مدل.
7. confidence مدل evidence oracle نیست
مدل ممکن است برای claim غلط بسیار مطمئن باشد و برای claim درست مردد. امتیاز confidence، تکرار چند مدل، یا جمله‌هایی مثل «بر اساس منابع معتبر» صرفاً signal هستند. اگر evidence chain ناقص است، confidence نمی‌تواند آن را پر کند. در Lab عمداً چند case با confidence بالا داریم که باید CONTRADICTED یا UNSUPPORTED شوند.
8. Claim Grounding & Hallucination Triage Record v1
Artifact اصلی درس یک جدول ممیزی‌پذیر است: Claim ID، claim atomic، source identity، authority، evidence passage، entailment، freshness، support state، contradiction evidence، publication action، human-review trigger و residual uncertainty. هر تصمیم باید از همین ردیف قابل بازسازی باشد. نتیجه‌ای که فقط در ذهن reviewer است یا به reasoning پنهان وابسته است، evidence قابل تحویل نیست.
9. حداقل یک توضیح رقیب را فعالانه رد کنید
اگر claim پشتیبانی نمی‌شود، فوراً نگویید «مدل hallucinate کرده». شاید retrieval اشتباه سند را آورده، شاید نسخه منبع اشتباه است، شاید claim دو گزاره را با هم ترکیب کرده یا شاید evidence تازه هنوز در pack نیست. یک probe خوب فقط یک مرز را عوض می‌کند: منبع درست‌تر، passage دقیق‌تر یا snapshot تازه‌تر. اگر نتیجه تغییر کرد، شما یک alternative را با evidence رد یا تقویت کرده‌اید.
10. containment یعنی جلوی انتشار claim حل‌نشده را بگیرید
برای claim CONTRADICTED، اصلاح یا حذف claim لازم است. برای UNSUPPORTED و UNKNOWN، containment معمولاً abstain، محدود کردن wording، نمایش عدم قطعیت، یا ارجاع به human review است. اضافه کردن citation تصادفی، پایین آوردن temperature یا اجرای دوباره مدل بدون evidence جدید containment معتبر نیست؛ ممکن است فقط شکل جمله را عوض کند.
11. recovery باید evidence chain را تغییر دهد
Recovery زمانی رخ می‌دهد که evidence واقعاً تغییر کند: منبع authoritative جدید بیاید، passage مرتبط پیدا شود، claim محدودتر شود یا evidence متناقض اصلاح شود. سپس classification از صفر بازسازی می‌شود. اگر فقط مدل همان claim را با confidence بیشتر تکرار کند، recovery رخ نداده است.
12. closure با changed-evidence rerun ثابت می‌شود
بعد از correction، همان gate را دوباره روی claim اجرا کنید. علاوه بر آن، یک changed-evidence case لازم است: در این درس یک claim قبلاً unsupported با evidence جدید SUPPORTED می‌شود و یک claim قبلاً supported با stale شدن evidence به UNKNOWN برمی‌گردد. اگر سیستم نتواند هر دو تغییر را ببیند، به label قدیمی وابسته است و closure قابل اعتماد نیست.
13. human review کجا ضروری می‌شود؟
وقتی authority نامشخص است، evidence متناقض حل نشده، freshness قابل تعیین نیست یا claim پیامد مهمی دارد، state را به review ببرید. این درس تصمیم پزشکی، حقوقی یا حرفه‌ای واقعی نمی‌دهد؛ fixtureها کاملاً synthetic هستند. هدف این است که trigger بازبینی و residual uncertainty را دقیق ثبت کنید، نه اینکه نقش متخصص حوزه را شبیه‌سازی کنید.
14. Lab: هشت fixture و 64 assertion
Lab هشت case دارد: baseline grounded، contradiction مستقیم، citation نامرتبط، evidence قدیمی، claim بدون evidence، entailment مبهم، transfer که evidence جدید claim را پشتیبانی می‌کند، و transfer که support قبلی به‌علت stale شدن دیگر قابل اتکا نیست. evaluator برای هر case هشت خروجی تولید می‌کند و test مدیریتی دقیقاً ۶۴ assertion را بررسی می‌کند. همه‌چیز local و deterministic است.
15. Exit checklist و transfer
قبل از خروج باید بتوانید بگویید claim چگونه اتمی شد، منبع چه authority دارد، passage دقیقاً چه چیزی را entail می‌کند، freshness چگونه سنجیده شد، state نهایی چیست، publication action چیست، چه چیزی هنوز UNKNOWN است و چه evidenceای classification را عوض می‌کند. در transfer هیچ truth labelی را کپی نکنید؛ record را از evidence pack تازه بازسازی کنید.
ارزیابی
پاسخ‌نامه‌ی این درس در بسته‌ی آموزش وجود ندارد؛ خودت جواب بده و صادقانه علامت بزن. «نیاز به مرور» درس را به صف تکرار می‌فرستد.
FLR-012-AF1 formative
FLR-012-AF2 formative
FLR-012-AF3 formative
FLR-012-AS1 summative
FLR-012-AS2 transfer
ملاک‌های ارزیابی (rubric)
A passing submission must: (1) decompose composite output into atomic claims; (2) trace each decision to source identity, authority, passage, entailment and freshness; (3) preserve UNKNOWN when evidence is insufficient; (4) distinguish contradiction from lack of support; (5) choose a bounded publication/abstention/review action; (6) state residual uncertainty; and (7) rebuild the transfer case from changed evidence rather than copied labels.
A submission fails if citation presence, retrieval success, confidence, or repeated model agreement is treated as proof of factual support.
منابع و تازگی
مطالعهٔ موارد (case studies)
فایل‌های آزمایشگاه
Implement an evidence-bounded evaluate(case) function over eight synthetic claim/evidence cases. Treat each claim independently. Your decision must use source authority, evidence entailment, freshness, contradiction evidence, and availability of evidence.
Do not treat citation presence or model_confidence as proof. Preserve UNKNOWN when evidence is stale, ambiguous, unavailable, or has unresolved authority. The changed-evidence cases must be re-evaluated from their post-evidence fields rather than from the original label. No network, production data, or real high-stakes decision is required.
رسانه و اسلایدهای درس
فایل‌های آموزشی (دانلود)