Reputation Anti-gaming و Trust Signals

وقتی عدد Reputation بزرگ‌تر می‌شود اما Evidence ضعیف‌تر است

فرض کن یک learner یک badge تأییدشده، یک artifact با review انسانی و کیفیت بالا، چند endorsement از حساب‌هایی که همگی به یک پروژه وصل‌اند و صدها activity کم‌ارزش دارد. یک فرمول سادهٔ reputation هر event مثبت را یک رأی مستقل حساب می‌کند. خروجی عددی دقیق به نظر می‌رسد، اما evidence در واقع correlated، duplicated، تا حدی self-asserted و از نظر freshness ناهمگون است.

در این درس Reputation Trust-Signal Provenance & Anti-gaming Review Ledger v1 را می‌سازیم. هر signal با signal_type، source_ref، evidence_ref، provenance_ref، verification_state، endorsement_ref، independence_class، correlation_group، freshness_timestamp، expiry_state، duplicate_signal، reciprocity_flag، anomaly_flag، manual_review_state، cap_rule، exclusion_reason، trust_state، reason_code و appeal_state جدا نگه داشته می‌شود.

قاعدهٔ مرکزی: reputation برابر raw volume نیست و anomaly برابر تقلب/تخلف نیست. evidence تأییدشده می‌تواند contribute کند؛ duplicate، correlation، reciprocity، signal منقضی یا revoked باید cap/exclude یا به neutral review route شود. اگر evidence ناقص است state باید UNKNOWN، UNVERIFIED، STALE، REVOKED، REVIEW_REQUIRED، HOLD یا INSUFFICIENT_EVIDENCE بماند، نه اینکه به prestige تبدیل شود.

مناسب برای: learning-platform engineers، credential/reputation architects، trust-and-safety reviewers، QA و data-product engineers. مناسب نیست برای: accusation عمومی، automated punishment، social-credit scoring یا یکی‌گرفتن engagement volume با mastery/trust.

مسیر و مرز مالکیت درس

MKN-025 فقط مالک Reputation Anti-gaming و Trust Signals است. prerequisite سخت MKN-021 و prerequisite نرم MKN-024 است. MKN-024 portfolio/profile compiler را مالک است و MKN-026 digital-commerce compliance boundary را؛ این درس outcome هیچ‌کدام را جذب نمی‌کند.

Foundation با field map و یک baseline traceable شروع می‌کند. Repair فقط اولین dimension خراب—duplicate identity، correlation، expiry، provenance یا appeal—را پیدا می‌کند و همان gate را دوباره اجرا می‌کند. Experienced باید weighting/capping و review routing را defend کند بدون اینکه همه‌چیز را در یک score opaque مخفی کند.

Checkpointها: F1 مرز owned outcome + یک non-goal؛ F2 تشخیص shortcut با field/state دقیق؛ F3 recompute transfer بعد از expiration، revocation و appeal evidence بدون reuse baseline decision.

مدل ذهنی: Trust یک Ledger State قابل توضیح است، نه Prestige Score مبهم

جریان مرجع:

raw signals → provenance + verification typing → freshness/expiry → independence + correlation → duplicate/reciprocity/cap rules → neutral anomaly review → bounded trust state + reasons → appeal/recompute

چهار لایه را جدا نگه دار:

1. Observed signals: credential، endorsement، reviewed artifact، activity event، self-assertion یا reviewer evidence.
2. Evidence quality: provenance، verification، freshness، expiry/revocation، independence/correlation، duplicate/reciprocity.
3. Defensive controls: cap، exclusion، anomaly routing، manual review، appeal و policy version.
4. Bounded decision: state قابل‌توضیح + reason codes که باید بدون hidden model reasoning از evidence مرئی بازسازی شود.

سیستم می‌تواند بگوید «سه endorsement در یک correlation group هستند و review لازم است». نباید فقط با دیدن pattern بگوید «learner تقلب کرده است».

قرارداد پایه: Signal Typing، Provenance، Independence و Non-success State

برای هر signal حداقل این‌ها را نگه دار:

• identity: subject_ref, signal_id, signal_type, source_ref؛
• evidence: evidence_ref, provenance_ref, issuer_or_actor_ref, verification_state, endorsement_ref؛
• independence: independence_class, correlation_group, conflict_state, duplicate_signal, reciprocity_flag؛
• time: freshness_timestamp, expiry_state؛
• quality: activity_count, quality_evidence_ref, anomaly_flag؛
• control: weight_policy_version, cap_rule, exclusion_reason, manual_review_state؛
• decision: trust_state, reason_code, appeal_state, audit_event_id.

هفت invariant:

1. copy/import دیگر از همان achievement یک evidence مستقل جدید نیست.
2. provenance/authentication لازم است اما استقلال endorser یا competence را خودکار ثابت نمی‌کند.
3. credential منقضی یا revoked نباید contributor فعال بماند.
4. endorsementهای correlated یا reciprocal نباید بی‌صدا independent vote شوند.
5. activity count جای quality evidence را نمی‌گیرد.
6. anomaly فقط review trigger است، نه proof of misconduct.
7. appeal evidence باید versioned اضافه و decision recompute شود؛ تصمیم قبلی history می‌ماند.

توضیح عمیق: استانداردها چه چیزی را ثابت می‌کنند و چه چیزی را نه

Provenance. W3C PROV provenance را حول entity، activity و agent تعریف می‌کند و می‌گوید این اطلاعات می‌توانند برای assessment کیفیت، reliability یا trustworthiness به کار روند. این یعنی origin/history را می‌توان traceable نگه داشت. اما PROV reputation score، trust threshold، cap ضدبازی‌سازی یا review policy تعریف نمی‌کند.

Achievement و endorsement احرازشدنی. Open Badges 3.0 metadata غنی و verifiable achievement دارد. Endorsement می‌تواند حمایت از issuer، program، achievement credential یا self-assertion تأییدشده را بیان کند و metadata زمان issuance/expiration داشته باشد. authentication رابطهٔ credential/proof را قوی می‌کند، اما استقلال endorserها یا reputation value را تضمین نمی‌کند.

Independence/correlation مسئلهٔ design است. اگر چهار endorser عضو یک project group باشند، cryptographic validity آن‌ها را independent نمی‌کند. بنابراین correlation_group و independence_class باید field صریح باشند. threshold/cap دقیق، MAKNOW design authority است.

Freshness state است. expiry/revocation فقط metadata تزئینی نیست. با تغییر آن‌ها trust state قبلی باید recompute شود.

Neutral review. anti-gaming باید inconsistency را detect کند بدون اینکه آن را moral accusation کند. RECIPROCITY_DETECTED یا CORRELATED_CLUSTER reason code برای review است، نه verdict misconduct.

FACT / INFERENCE / DESIGN. PROV و Open Badges FACT محدود می‌دهند؛ نیاز به provenance/independence/freshness یک inference دفاعی است؛ schema، cap، anomaly workflow، state labels و appeal policy محلی‌اند.

مثال کارشده: Badge معتبر، Artifact قوی و Endorsement Cluster وابسته

subject LEARNER-DEMO-17 این signalها را دارد:

• SIG-BADGE-01: Open Badge achievement معتبر، current و unique؛
• SIG-ARTIFACT-01: artifact جدید با human review و quality evidence؛
• SIG-END-01..03: endorsementهای authenticated اما همگی در PROJECT-GROUP-A؛
• 420 activity کم‌ارزش بدون quality evidence مستقل.

score ساده 425 event مثبت می‌شمارد. Ledger این کار را نمی‌کند. badge و artifact eligible می‌مانند. endorsement cluster authentic است ولی correlated؛ contribution آن cap می‌شود و REVIEW_REQUIRED می‌گیرد. activity volume فقط context است. bounded result REVIEW_REQUIRED با reason codeهای CORRELATED_ENDORSEMENT_CLUSTER و ACTIVITY_VOLUME_NOT_TRUST_EVIDENCE است—نه accusation.

جدول MKN-025-T1 baseline، duplicate-import mutation و transfer را مقایسه می‌کند. یک prestige number به‌عنوان oracle ندارد.

Lab deterministic: lab://MKN-025/MKN-025-LAB1.

Failure Modeهایی که False Confidence می‌سازند

Duplicate import inflation. همان achievement از دو import path می‌آید و دو بار independent حساب می‌شود. همان evidence identity یعنی duplicate.

Expired endorsement active می‌ماند. expiry_state=EXPIRED اما contribution حذف نمی‌شود. recompute اجباری است.

Correlation پاک می‌شود. چند endorser وابسته با label INDEPENDENT وارد score می‌شوند. باید review شود.

Reciprocity = proof. دو نفر همدیگر را endorse می‌کنند و بدون evidence مستقل هر دو trust را بالا می‌برند. cap/review لازم است.

Activity-volume shortcut. صدها click/post/submission به dominant trust input تبدیل می‌شوند در حالی که quality evidence ندارند.

Anomaly → accusation. model pattern را flag می‌کند و system MISCONDUCT_CONFIRMED می‌نویسد. ممنوع؛ anomaly فقط evidence برای review است.

Revoked credential retained. credential revoked شده اما trust state recompute نشده است.

Appeal ignored. independent reviewer evidence در appeal اضافه شده ولی baseline decision oracle باقی می‌ماند. decision باید از نو ساخته شود و history حفظ شود.

پل معماری Experienced: Event Ingestion مساوی Reputation Authority نیست

در معماری production، eventها ممکن است از activity stream، credential wallet، review system، portfolio، identity service و moderation queue بیایند. این eventها را مستقیم score نکن. اول به signal ledger versioned normalize کن.

pipeline امن‌تر سه مرحله دارد:

1. Normalize evidence: stable identity، provenance، issuer/actor، verification، freshness، expiry/revocation.
2. Analyze dependence: duplicate detection، correlation group، reciprocal relation، conflict و cap/exclusion policy.
3. Decide + explain: bounded trust state، reason code، review owner/state، appeal state و audit event.

policy engine می‌تواند deterministic mismatch مثل «same credential imported twice» یا «expired endorsement still included» را detect کند. ML anomaly score فقط evidence است؛ authority نیست. weight_policy_version را ذخیره کن تا decision replay شود.

در appeal، evidence را append کن و decision event جدید بساز؛ previous decision را overwrite نکن.

Alternatives و Trade-offها

Single reputation score: sorting ساده، اما provenance، uncertainty، correlation و policy version را پنهان می‌کند.

Raw endorsement/badge counts: قابل‌فهم اما gameable با duplicate، reciprocity و correlated issuer.

فقط verified credentials: provenance قوی‌تر اما narrow است؛ current reviewed work را حذف می‌کند و independence را هم خودکار ثابت نمی‌کند.

Black-box anomaly model: pattern پیچیده می‌گیرد اما unexplained risk score نباید punishment/trust state شود. فقط review evidence.

Typed ledger + cap/exclusion + human review: schema/workflow بیشتری می‌خواهد اما explainable و appealable است؛ design مرجع همین درس است.

Stop/pivot: اگر نمی‌توانی نشان بدهی کدام signal include/cap/exclude/stale/revoked/review شده و تحت کدام policy version، trust state برای promotion بیش از حد opaque است.

تمرین هدایت‌شده و مستقل

Guided. baseline را باز کن و برای هر signal source/evidence/provenance/verification/freshness/expiry/independence/correlation/duplicate/reciprocity/cap/review را پر کن. بعد bounded state را derive کن. activity count نباید جای quality evidence بنشیند.

Repair. fixture duplicate_verified_achievement.json را اجرا کن. smallest invalid set را نام ببر: duplicate evidence identity + independence contribution. repair: canonical evidence identity یکی شود و contribution مستقل اضافه ممنوع شود.

Independent. correlation و reciprocity را بدون نگاه به baseline حل کن. توضیح بده چرا credential authentic می‌تواند هم‌زمان REVIEW_REQUIRED باشد: authenticity با independence یک چیز نیست.

Experienced. transfer را اجرا کن: endorsement expire، credential revoke و appeal با independent reviewer evidence. current state را از ledger جدید recompute کن، دلیل include/excludeها را بنویس و baseline decision را history نگه دار.

Verification: Lab واقعاً چه چیزی را ثابت می‌کند؟

Lab فقط JSON/CSV synthetic و offline است؛ network، production account، live learner profile، issuer key یا moderation action ندارد. producer testها ثابت می‌کنند baseline correlated cluster به review می‌رود؛ duplicate inflation، expired endorsement، correlation mismatch، anomaly-as-accusation، activity-volume-as-trust، reciprocity بدون review، missing provenance، revoked credential، ignored appeal evidence و stale freshness همگی fail-closed هستند. Transfer باید با evidence جدید recompute شود و reuse baseline decision را reject کند.

این testها ثابت نمی‌کنند یک انسان واقعی trustworthy/untrustworthy است یا misconduct رخ داده. فقط synthetic evidence contract را verify می‌کنند.

Human reviewer باید decision را از files و reason codeهای مرئی بازسازی کند. hidden chain-of-thought evidence نیست.

Assessment و Transfer

S1 Retrieval: owned boundary MKN-025 + یک non-goal. S2 Application: baseline را به Reputation Trust-Signal Provenance & Anti-gaming Review Ledger کامل تبدیل کن. S3 Diagnosis: همان achievement از چند source import و independent حساب شده؛ identity/independence invalid، consequence و minimal repair را مشخص کن. S4 Transfer: endorsement expire، credential revoke و appeal با independent reviewer evidence؛ state فعلی را recompute کن، include/excludeها را توضیح بده و decision قبلی را history نگه دار.

Rubric blocking: identity/contract، exact evidence binding، negative evidence، bounded decision و transfer. پاسخ اگر volume را trust کند، authentication را independence بداند، anomaly را guilt کند، appeal را حذف کند یا baseline را بعد از change کپی کند fail است.

منابع، Freshness و مرز ادعا

W3C — PROV-Overview https://www.w3.org/TR/prov-overview/ FACT محدود: provenance اطلاعات مربوط به entities، activities و agents/people در تولید یک چیز یا داده است و می‌تواند در assessment quality/reliability/trustworthiness کمک کند. مرز: PROV reputation score، anti-gaming threshold، correlation rule یا MAKNOW review policy تعریف نمی‌کند.

1EdTech — Open Badges 3.0 https://www.1edtech.org/standards/open-badges FACT محدود: Open Badges metadata achievement قابل‌احراز دارد؛ endorsement می‌تواند issuer/program/achievement credential یا self-assertion تأییدشده را support کند و issuance/expiration داشته باشد. مرز: authentication استقلال endorser یا reputation value را ثابت نمی‌کند.

هر دو منبع رسمی در 2026-09-13 recheck شدند. PROV foundational/stable است. semantics مربوط به Open Badges حداکثر تا 2027-01-15 یا زودتر در صورت material change دوباره بررسی می‌شود. correlation group، cap، anomaly-review routing، trust-state labels، reason codes و appeal workflow MAKNOW DESIGN هستند.

سؤال پایانی: در trust system شما کدام shortcut false confidence بیشتری می‌سازد—duplicate credential، correlated endorsement، reciprocity، activity volume، stale evidence یا anomaly-as-guilt—and کدام field دقیقاً آن را expose می‌کند؟