Photogrammetry, NeRF و 3D Gaussian Splatting

سه خروجی چشمگیر می‌توانند سه چیز متفاوت باشند

یک اتاق کوچک با مجموعه‌ای از عکس‌های هم‌پوشان ثبت شده است. تیم، هم یک walkthrough تعاملی می‌خواهد و هم هندسه‌ای که بعداً بتوان روی آن کار کرد. خروجی SfM/MVS، یک NeRF و یک 3D Gaussian Splatting در چند نمای منتخب همگی قانع‌کننده به نظر می‌رسند. اگر معیار تصمیم فقط «کدام تصویر زیباتر است؟» باشد، احتمالاً یک representation مناسب نمایش را با یک asset مناسب ویرایش اشتباه می‌گیریم.

در این درس Capture-to-Reconstruction Method Comparison and Evidence Pack v1 را می‌سازید. این بسته capture، pose source، وضعیت SfM/MVS، نوع representation، هزینه‌ی reconstruction/training، novel-view quality، geometry semantics، editability، metric scale، hardware، provenance، failure mode و هدف بعدی را کنار هم نگه می‌دارد تا انتخاب روش از روی شواهد قابل بازتولید باشد.

سه خانواده‌ی روش را با هم مقایسه می‌کنیم، اما آن‌ها را هم‌معنا نمی‌گیریم. COLMAP یک pipeline عمومی SfM/MVS است که camera pose و sparse structure را بازیابی می‌کند و سپس می‌تواند وارد dense reconstruction شود. NeRF اصلی صحنه را به‌صورت یک تابع حجمی پیوسته برای novel-view synthesis مدل می‌کند. 3D Gaussian Splatting اصلی صحنه را با Gaussianهای سه‌بعدی بهینه‌شده نمایش می‌دهد و برای novel-view rendering با نرخ بالا طراحی شده است. هیچ‌کدام از این واقعیت‌ها به‌تنهایی «بهترین روش تولید» را تعیین نمی‌کنند. [COLMAP] [COLMAPTUTORIAL] [NERF] [3DGS]

خروجی درس: یک تصمیم محدود و قابل audit که از evidence قوی‌تر ادعا نمی‌کند. stateهای مجاز شامل SELECTED، TARGET_SPECIFIC، REWORK_REQUIRED، HOLD، EVIDENCE_INCOMPLETE، PROVENANCE_UNKNOWN و METHOD_UNSUITABLE هستند.

زمان فعال برنامه‌ریزی‌شده: 60 دقیقه.

مرز درس: این درس reconstruction-method comparison را مالک است؛ outcome مربوط به UV/PBR/Texturing در D3D-002 و optimization/interoperability نهایی در D3D-004 را جذب نمی‌کند.

پیش‌نیاز HARD — D3D-001

باید بتوانید این مرز را حمل کنید: ظاهر خوبِ viewport جای evidence درباره‌ی geometry intent، transforms، scale، topology/normal limitations و provenance را نمی‌گیرد. اگر این مرز شکننده است، قبل از ورود به تصمیم reconstruction یک bridge محدود بسازید؛ completion پیش‌نیاز را جعل نکنید.

پیش‌نیاز SOFT — D3D-002

اگر capture یا output با texture/material evidence گره می‌خورد، فقط evidence لازم را carry forward کنید. این درس قرار نیست workflow texturing را دوباره آموزش دهد.

مسیر خود را انتخاب کنید

به چهار پرسش پاسخ دهید:

1. آیا novel-view خوب به‌تنهایی ثابت می‌کند که خروجی یک mesh قابل ویرایش است؟
2. اگر SfM poseها ناپایدار باشند، آیا می‌توان صرفاً چون 3DGS یا NeRF را دوست داریم وضعیت مثبت ثبت کرد؟
3. اگر downstream به metric-scale editable mesh نیاز دارد، آیا view-synthesis-only path کافی است؟
4. اگر subject از اتاق textured به جسم براقِ weak-texture تغییر کند، آیا راهبرد برداشت قبلی را کپی می‌کنید؟

4/4 → Fast Path. 2–3/4 → Repair Path. 0–1/4 → Foundation Path. همه‌ی مسیرها به یک معیار شواهد مشترک ختم می‌شوند.

خودآزمایی مسیر: سؤال 1 باید به کیفیت برداشت/هم‌پوشانی و pose اشاره کند؛ سؤال 2 باید تفاوت representation با mesh قابل‌ویرایش را تشخیص دهد؛ سؤال 3 باید editability/metric scale و هدف بعدی را وارد تصمیم کند؛ سؤال 4 باید provenance و محدودیت سخت‌افزار را جدا از کیفیت بصری ببیند. اگر پاسخ شما این مرزها را ندارد، امتیاز آن سؤال را صفر حساب کنید.

مدل ذهنی: از capture به representation، سپس به target

ترتیب تصمیم را این‌گونه نگه دارید:

capture constraints → overlap/lighting → pose evidence → SfM/MVS baseline ↔ NeRF ↔ 3DGS → representation/quality/compute/editability/scale trade-off → هدف بعدی → SELECT / RECAPTURE / HOLD

سه سؤال را هرگز با هم مخلوط نکنید:

هدف یک score واحد نیست. یک gate حیاتی می‌تواند وضعیت مثبت را ببندد.

پایه‌های مشترک

1. Photogrammetry در این درس یعنی evidence-first SfM/MVS

در workflow مستند COLMAP، SfM از عکس‌های هم‌پوشان برای بازیابی camera parameters و sparse 3D structure استفاده می‌کند و dense reconstruction مرحله‌ای جداست. guidance رسمی نیز بر texture، illumination نسبتاً سازگار، overlap بالا و viewpointهای متفاوت تأکید می‌کند. این guidance احتمال موفقیت را بالا می‌برد، اما metric accuracy یا production suitability را تضمین نمی‌کند. [COLMAP] [COLMAPTUTORIAL]

2. NeRF را representation حجمی برای novel-view synthesis ببینید

NeRF اصلی یک continuous volumetric scene function را از تصاویر با camera pose شناخته‌شده بهینه می‌کند. خروجی چشمگیرِ view synthesis را با conventional editable mesh یکی نکنید. [NERF]

3. 3DGS را Gaussian scene representation ببینید

reference implementation رسمی 3DGS از SfM inputs شروع می‌کند، Gaussianهای سه‌بعدی را بهینه می‌کند و viewer/rasterizer برای novel-view rendering فراهم می‌کند. Gaussian count و render quality مهم‌اند، اما mesh editability، physical scale یا downstream interoperability را به‌طور خودکار ثابت نمی‌کنند. [3DGS]

4. انتخاب روش یک DESIGN decision است

FACTها از منبع بیرونی می‌آیند؛ threshold، state vocabulary و پذیرش downstream در MAKNOW یک DESIGN contract هستند. هیچ سند ابزار یا مقاله‌ای جای این تصمیم را نمی‌گیرد.

ساخت Method Comparison and Evidence Pack

Step 1 — capture را قبل از method ثبت کنید

capture_id، نوع سوژه، camera_count، image_count، کیفیت هم‌پوشانی، سازگاری نور و حقوق/منشأ را قبل از نتیجه‌ی reconstruction ثبت کنید. پس از SfM، sparse_point_count را نیز به‌عنوان مشاهده‌ای غیرحاکم ولی مفید برای تشخیص کیفیت/پوشش ثبت کنید؛ تعداد نقطه به‌تنهایی معیار پذیرش نیست. اگر capture weak-texture، specular یا دارای overlap ضعیف است، این ریسک باید در evidence دیده شود؛ نباید بعداً با یک render زیبا ناپدید شود.

Step 2 — pose source را مستقل نگه دارید

NeRF و 3DGS نیز برای مسیرهای مرجع به pose/calibration evidence نیاز دارند. اگر camera_pose_source نامشخص است یا SfM شکست خورده، مسیر مثبت فقط با علاقه به یک method قابل دفاع نیست. یک external known-pose source می‌تواند مسیر دیگری بسازد، اما باید explicit باشد.

Step 3 — SfM و MVS را یکی نکنید

sfm_status درباره‌ی camera/structure recovery است؛ mvs_status درباره‌ی dense stage. موفقیت sparse reconstruction الزاماً dense mesh خوب یا watertight asset نمی‌دهد. failure mode را دقیق تایپ کنید.

Step 4 — representation را نام ببرید

برای هر روش، output representation را صریح بنویسید: sparse/dense geometry، continuous volumetric radiance field یا optimized 3D Gaussians. این نام‌گذاری جلوی جمله‌ی مبهم «سه تا مدل سه‌بعدی داریم» را می‌گیرد.

Step 5 — quality را کنار semantics قرار دهید

novel_view_quality=PASS فقط می‌گوید معیار مشاهده‌شده‌ی تعریف‌شده برای view synthesis پذیرفته شده است. اگر downstream به editable mesh نیاز دارد، geometry semantics و editability یک gate مستقل‌اند. یک representation می‌تواند در view synthesis قوی و برای mesh-centric editing نامناسب باشد.

Step 6 — compute را ثبت کنید، universal budget نسازید

Training/reconstruction budget به dataset، implementation، hardware و target وابسته است. اعداد lab synthetic و fixture-specific هستند. آن‌ها را به‌عنوان «NeRF همیشه X دقیقه» یا «3DGS همیشه Y گیگابایت» تعمیم ندهید.

Step 7 — metric scale را صریح کنید

اگر metric scale REQUIRED است، evidence مربوط به scale باید PASS باشد تا وضعیت مثبت قابل دفاع شود. reconstructed scene ممکن است visually coherent باشد ولی absolute scale اثبات نشده باشد. checker lab دقیقاً این مرز را enforce می‌کند.

Step 8 — provenance را از quality جدا کنید

زیبایی یا accuracy هیچ‌کدام مجوز استفاده نیستند. license_provenance_ref باید به synthetic/self-created/public-domain/rights-cleared evidence اشاره کند. AI حق ندارد ownership یا permission را حدس بزند.

Step 9 — path را از target استخراج کنید

• PHOTOGRAMMETRY_MESH: وقتی explicit geometry/editability محور target است و MVS evidence کافی است.
• NERF_VIEW_SYNTHESIS: وقتی novel-view representation target اصلی است و editable-mesh requirement ندارد.
• 3DGS_VIEW_SYNTHESIS: وقتی novel-view realtime-oriented path با hardware مناسب مطلوب است و mesh semantics الزام اصلی نیست.
• HYBRID_MESH_PLUS_VIEW_SYNTHESIS: وقتی تیم هم geometry قابل کار و هم view-synthesis experience می‌خواهد و هزینه‌ی نگهداری دو representation را می‌پذیرد.
• RECAPTURE/HOLD: وقتی capture/pose evidence قابل اتکا نیست.

Step 10 — state را محدود کنید

SELECTED فقط وقتی معتبر است که همهٔ شرط‌های قطعی پاس باشند و decision.target_constraint_scope=STANDARD_DECLARED_TARGET باشد. TARGET_SPECIFIC فقط وقتی معتبر است که همان شرط‌ها پاس باشند اما target_constraint_scope=CONSTRAINED_NAMED_TARGET_ONLY باشد. اگر اختیار/تعریف هدف هنوز معلق است، مسیر HOLD با PENDING_TARGET_AUTHORITY به وضعیت HOLD می‌رسد. منشأ حل‌نشده، شواهد مفقود، شکست قابل‌اصلاح برداشت/pose یا ناسازگاری روش به‌ترتیب وضعیت‌های غیرمثبت متناظر را تعیین می‌کنند؛ یک مجموعه شواهد نباید چند وضعیت اصلی دلخواه تولید کند.

مثال کامل: اتاق کوچک با دو نیاز downstream

fixture پایه SYNTH-ROOM-01 شامل 96 تصویر، overlap بالا، lighting سازگار، poseهای COLMAP، SfM و MVS موفق است. سه روش evidence زیر را دارند:

چون هدف هم walkthrough و هم editable geometry می‌خواهد، شواهد اجازه می‌دهند learner یک hybrid path را بررسی کند؛ اما این پاسخ از قبل در template نوشته نشده است. یادگیرنده باید خودش تصمیم را ثبت کند و checker فقط سازگاری آن را می‌سنجد.

shortcut نامعتبر — overlap کم

در mutation_low_overlap.json، overlap پایین آمده، SfM fail است و stable camera pose نداریم. انتخاب PHOTOGRAMMETRY_MESH + SELECTED تناقض است. برای NeRF/3DGS هم تا وقتی pose source جایگزین ثبت نشده، علاقه به representation جای pose evidence را نمی‌گیرد. نتیجه‌ی مناسب باید non-success باشد؛ نوع دقیق آن به repair plan و شواهد یادگیرنده بستگی دارد.

counterexample — فقط novel view کافی نیست

در mutation_metric_editable_mesh.json، target به metric-scale editable mesh تغییر کرده است و metric scale هنوز UNKNOWN است. یک NeRF یا 3DGS view-only path حتی با novel-view خوب، requirement صریح editability/scale را نمی‌بندد.

failure modeهای مهم

1. «همه از عکس 3D می‌سازند، پس equivalent هستند»

Repair: output representation و downstream semantics را جدا ثبت کنید.

2. «بهترین render، بهترین production method است»

Repair: editability، scale، provenance، compute و target را کنار quality بیاورید.

3. «SfM fail شد، اما NeRF/3DGS حتماً نجات می‌دهد»

روش‌های مرجع نیز به pose/calibration نیاز دارند. Repair: pose source جایگزین را explicit کنید یا recapture کنید.

4. «metric scale بعداً درست می‌شود»

اگر target اکنون scale دقیق می‌خواهد، unknown scale blocker است. Repair: scale-control evidence اضافه کنید و دوباره اعتبارسنجی کنید.

5. «GPU داریم، پس 3DGS انتخاب می‌شود»

Hardware فقط یکی از dimensions است. Repair: representation need و هدف بعدی را اولویت دهید.

پل برای learner باتجربه: representation portfolio

در pipeline بالغ، ممکن است یک capture set به چند representation منجر شود: photogrammetry mesh برای asset work، NeRF برای research/view synthesis، و 3DGS برای interactive visualization. این لزوماً duplication بد نیست؛ اگر هر representation owner، purpose، provenance و revalidation boundary روشن داشته باشد.

یک pattern محدود:

1. capture identity و provenance را یک‌بار قفل کنید؛
2. pose/calibration lineage را version کنید؛
3. representationها را جدا و purpose-bound نگه دارید؛
4. quality evidence هر representation را مستقل ثبت کنید؛
5. conversion یا mesh extraction را نتیجه‌ی بدیهی فرض نکنید؛
6. وقتی target عوض شد، method choice را recompute کنید.

trade-offها بدون winner دائمی

Photogrammetry/SfM-MVS برای geometry-centric workflow طبیعی‌تر است، ولی نسبت به texture، overlap، specularity و capture discipline حساس است. dense reconstruction می‌تواند geometry بدهد، اما accuracy و cleanup هنوز نیازمند evidence است. [COLMAPTUTORIAL]

NeRF representation قدرتمندی برای novel-view synthesis است؛ مزیت اصلی آن را به «mesh replacement عمومی» تبدیل نکنید. camera poses و training cost همچنان relevant هستند. [NERF]

3DGS novel-view rendering سریع و با کیفیت را هدف می‌گیرد و reference implementation از COLMAP/SfM-style inputs استفاده می‌کند. Gaussian representation با conventional mesh semantics برابر نیست. [3DGS]

Hybrid می‌تواند نیازهای دوگانه را پوشش دهد، اما storage، compute، versioning و consistency cost بیشتری دارد.

انتخاب درست همیشه target-bounded است.

تمرین هدایت‌شده و مستقل

تمرین هدایت‌شده — baseline

فایل lab://D3D-003/D3D-003-LAB1 را باز کنید. از fixtures/baseline_observations.json فقط evidence قابل مشاهده را به کپی evidence/evidence_pack.template.json منتقل کنید. سپس decision.selected_path، decision.final_state، دلیل تصمیم و محرک‌های بازبینی، مهاجرت، ارجاع، توقف و تغییر مسیر را خودتان ثبت کنید.

از پوشه learner اجرا کنید:

python run_checks.py evidence/my_pack.json

بررسی‌کننده پاسخ‌نامه نیست. فقط contradictionهایی مثل وضعیت مثبت با missing decisive evidence، metric scale اجباریِ اثبات‌نشده، یا view-only path برای editable-mesh requirement را مسدود می‌کند.

Mutation 1 — overlap را کم کنید

mutation_low_overlap.json را بررسی کنید. دقیقاً بگویید کدام شرط شواهد شکست و حداقل اصلاح چیست. تصمیم baseline را کپی نکنید.

Mutation 2 — metric editable mesh

mutation_metric_editable_mesh.json را بررسی کنید. اگر metric_scale_evidence هنوز UNKNOWN است، وضعیت مثبت را تحمیل نکنید.

Mutation 3 — سخت‌افزار محدود

mutation_constrained_hardware.json را بررسی کنید. این fixture فقط محدودیت سخت‌افزار را نسبت به baseline تغییر می‌دهد. اگر مسیر مرجع NeRF/3DGS به شتاب‌دهندهٔ سازگار نیاز دارد، علاقه به کیفیت نما جای evidence سازگاری سخت‌افزار را نمی‌گیرد.

تمرین مستقل — transfer

برای زمینهٔ جدید، transfer/transfer_fixture.json فقط منبع مشاهده است و S4 باید با یک کپی از transfer/transfer_evidence_pack.template.json تحویل شود. راهبرد برداشت، راهبرد pose، تناسب روش و پنج محرک تصمیم را از صفر بازسازی کنید و همان checker را روی بستهٔ transfer اجرا کنید. اگر evidence کافی ندارید، همان uncertainty را نگه دارید.

verification: بازبین باید بتواند تصمیم را بازسازی کند

قبل از تحویل این checklist را ببندید:

• هویت برداشت و منشأ/مجوز صریح است؛
• camera_count و sparse_point_count (اگر SfM اجرا شده) ثبت شده‌اند؛
• هر ردیف method_evidence دارای evidence_ref، claim_ref و authority_class است؛
• overlap/lighting و pose source ثبت شده‌اند؛
• SfM و MVS state جدا هستند؛
• output representation هر method نام‌گذاری شده؛
• view quality با geometry/editability یکی نشده؛
• metric scale requirement و evidence هر دو قابل مشاهده‌اند؛
• compute/hardware fixture-specific ثبت شده؛
• هدف بعدی صریح است؛
• missing decisive evidence خالی نیست مگر واقعاً بسته شده باشد؛
• دلیل تصمیم به evidence اشاره می‌کند، نه ترجیح ابزار؛
• محرک بازبینی، محرک مهاجرت، محرک ارجاع، محرک توقف و محرک تغییر مسیر صریح و محدود به شواهد هستند؛
• transfer از baseline verdict کپی نشده و با Evidence Pack تصمیم‌دار تحویل شده است.

اگر بازبین بدون hidden AI reasoning نتواند state را بازسازی کند، evidence pack آماده نیست.

ارزیابی و transfer

S1 — Retrieval: مرز مالکیت D3D-003 را توضیح دهید و یک non-goal مجاور را نام ببرید.

S2 — Application + Decision checkpoint: برای baseline، Evidence Pack را کامل کنید، path/state را انتخاب کنید و محرک‌های بازبینی، مهاجرت، ارجاع، توقف و تغییر مسیر را ثبت کنید. سپس توضیح دهید چرا «بهترین novel view» به‌تنهایی نمی‌تواند decision policy باشد.

S3 — Diagnosis: mutation overlap پایین را تشخیص دهید: invalidated field/state، consequence و حداقل اصلاح را ثبت کنید.

S4 — Transfer: برای جسم براق weak-texture با metric-scale requirement، capture و method choice را در Evidence Pack تصمیم‌دار transfer از نو بسازید، هر پنج محرک تصمیم را ثبت کنید و checker را اجرا کنید. baseline answer oracle نیست.

Pass زمانی معتبر است که identity/contract، exact evidence binding، negative evidence، bounded decision و transfer همگی قابل audit باشند.

منابع، freshness و مرز ادعا

• [COLMAP] مستند رسمی COLMAP: تعریف current SfM/MVS pipeline و capabilities. بازبینی زنده در 2026-09-06؛ source evolving است.
• [COLMAPTUTORIAL] tutorial رسمی COLMAP: مراحل SfM و capture guidance شامل texture، illumination، overlap و viewpoints. بازبینی زنده در 2026-09-06.
• [NERF] صفحه‌ی پروژه‌ی original NeRF / ECCV 2020: continuous volumetric scene function برای novel-view synthesis از posed views. foundational stable.
• [3DGS] repository رسمی authors برای 3D Gaussian Splatting: optimized 3D Gaussians، SfM-derived inputs و real-time viewer/optimizer. بازبینی زنده در 2026-09-06.

این منابع FACTهای method/tool را پشتیبانی می‌کنند. state vocabulary، acceptance logic و evidence thresholds متعلق به MAKNOW هستند. هیچ claim این درس performance یا accuracy را برای همه‌ی datasetها، GPUها یا captureها تضمین نمی‌کند.

بازبینی بعدی evolving sources: 2026-10-18 یا زودتر در صورت تغییر material semantics منبع.