Báo Cáo Phân Tích Pipeline — Scopelytics Meeting Analyzer

Ngày: 2026-07-01 Tác vụ: Theo dõi & đánh giá 3 analysis pipelines (ID: 75, 76, 77) Mục tiêu: Đánh giá hiệu quả về speed, accuracy, costs

📋 Tổng Quan Hệ Thống

Kiến Trúc Pipeline (MAS - Multi-Agent System)

Upload → Guardrails → Normalize → Orchestrator → Analyzer → Reviewer → Postprocess → Done
                                                      ↕ (recall loop nếu uncertainty cao)

Stack Công Nghệ

• Model AI: gpt-5-nano (OpenAI)
• Pipeline: MAS Graph (Multi-Agent System) với Orchestrator điều phối
• Worker Queue: ARQ (Redis-backed async job queue)
• Backend: FastAPI + Gunicorn
• Database: PostgreSQL
• Container: Docker (4 containers: api, worker, db, redis)

📊 So Sánh Tổng Quan

🔬 Phân Tích Chi Tiết Từng Pipeline

Pipeline #75: "meeting transcription en"

Transcript: 39,763 chars, 336 turns — dài nhất trong 3 analysis.

Timeline

Quality Scores

Core Extraction:
├── coverage_transcript_score: 0.75
├── actionability_score:       0.80
├── duplicate_score:           0.10
└── features_count:            7

Post Enrichment:
├── features_count:            44 (+37 checklist injected)
├── checklist_injected:        37
└── removed_duplicates:        0

LLM Calls & Token Usage

• Total LLM calls: ~18 calls
• Orchestrator calls: 6 (steps 1-6)
• Primary analysis calls: 2 (initial + recall)
• Reviewer calls: 2 (initial reviewer after recall)
• Postprocess (content): ~4 batches
• Postprocess (estimate): ~4 batches
• Checklist inject: 3
• Total tokens: ~157,000 (estimated)

Ưu điểm

• ✅ Xử lý transcript dài nhất (39,763 chars) hiệu quả
• ✅ Phát hiện uncertainty → chạy recall loop tự động cải thiện chất lượng
• ✅ Checklist injection phủ được 37 features domain CHATBOT
• ✅ Tỉ lệ mở rộng feature ấn tượng (7→44 features, 6.3x)

Nhược điểm

• ❌ Thời gian xử lý lâu nhất (~4 phút)
• ❌ Coverage transcript thấp nhất (0.75) — transcript dài, nhiễu
• ❌ Không detect được duplicate nào (removed_duplicates=0)
• ❌ Cần tới recall loop mới pass quality gate (confidence=0.55→0.74)

Pipeline #76: "meeting transcription interview ai 2"

Transcript: 27,011 chars, 116 turns — medium.

Timeline

Quality Scores

Core Extraction:
├── coverage_transcript_score: 0.85
├── actionability_score:       0.88
├── duplicate_score:           0.15
└── features_count:            5

Post Enrichment:
├── features_count:            37 (+37 checklist injected)
├── checklist_injected:        37
└── removed_duplicates:        5  ✅

LLM Calls & Token Usage

• Total LLM calls: ~15 calls
• Orchestrator calls: 5 (steps 1-5)
• Primary analysis calls: 1
• Reviewer calls: 1
• Postprocess (content): ~4 batches (largest: 15,003 prompt tokens)
• Postprocess (estimate): ~4 batches
• Checklist inject: 2
• Total tokens: ~140,000 (estimated)

Ưu điểm

• ✅ Quality scores cao nhất bộ 3: coverage=0.85, actionability=0.88
• ✅ Removed 5 duplicates — dedupe hoạt động tốt
• ✅ Action items phù hợp (4 items) — cân đối giữa số lượng và chất lượng
• ✅ Thời gian xử lý hợp lý (~3m15s)

Nhược điểm

• ❌ Feature count thấp nhất (37 features)
• ❌ Vẫn cần uncertainty recall (confidence=0.58)
• ❌ Checklist inject chiếm phần lớn features (37/37 từ checklist)

Pipeline #77: "meeting transcription tuan thai"

Transcript: 9,002 chars, 48 turns — ngắn nhất.

Timeline

Quality Scores

Core Extraction:
├── coverage_transcript_score: 0.90  🏆 CAO NHẤT
├── actionability_score:       0.85
├── duplicate_score:           0.05  🏆 THẤP NHẤT (ít trùng lặp)
└── features_count:            9     🏆 CAO NHẤT

Post Enrichment:
├── features_count:            39 (+38 checklist injected)
├── checklist_injected:        38
└── removed_duplicates:        8     🏆 NHIỀU NHẤT

LLM Calls & Token Usage

• Total LLM calls: ~13 calls
• Orchestrator calls: 5
• Primary analysis calls: 1
• Reviewer calls: 1
• Postprocess (content): ~4 batches
• Postprocess (estimate): ~4 batches
• Checklist inject: 2
• Total tokens: ~100,000 (estimated)

Ưu điểm

• ✅ NHANH NHẤT (~3m09s) — transcript nhỏ nên xử lý nhanh
• ✅ COVERAGE CAO NHẤT (0.90) — transcript ngắn, rõ ràng, ít nhiễu
• ✅ Raw features nhiều nhất (9 features từ analysis đầu tiên)
• ✅ Dedupe hiệu quả nhất (8 duplicates removed)
• ✅ Không cần recall loop — quality đạt ngay từ đầu (stop_ok=True)

Nhược điểm

• ❌ Action items có "Schedule half-day workshop" — thiếu tính cụ thể
• ❌ Feature actionability vẫn còn thấp hơn analysis 76 (0.85 vs 0.88)
• ❌ Transcript ngắn (9K chars) — khó đánh giá với transcript dài

⚡ Phân Tích Speed

Nhận xét:

• Tốc độ xử lý tỉ lệ thuận với kích thước transcript
• Phần overhead cố định (guardrails, orchestrator) ~30-40s
• Postprocess là phase tốn thời gian nhất (60-90s do checklist LLM enrichment)
• Analysis 77 xử lý nhanh hơn 75 khoảng 50s nhưng transcript chỉ bằng 1/4

🎯 Phân Tích Accuracy

Nhận xét:

• Coverage transcript cao nhất ở analysis 77 (0.90) — transcript ngắn, rõ ràng
• Actionability ca nhất ở analysis 76 (0.88) — interview AI domain có cấu trúc tốt
• Analysis 75 có accuracy thấp nhất dù transcript dài — nhiễu cao
• Tất cả đều pass quality gate (không cần repair rounds)

💰 Phân Tích Costs

Token Usage (tổng 3 analyses)

Chi Phí Ước Tính (gpt-5-nano pricing)

Phân Bổ Chi Phí Theo Phase

Chi Phí Theo Analysis

Nhận xét:

• Postprocess là phase đắt nhất (~50% tổng chi phí) do LLM enrichment trên checklist items
• Chi phí giảm dần theo kích thước transcript: 75 > 76 > 77
• Caching tokens chỉ tiết kiệm ~1.2% — optimization opportunity
• Chi phí trung bình rất thấp ($0.043/analysis) — cost-efficient

📈 Tổng Kết Đánh Giá

Bảng Xếp Hạng

Tổng Kết

🥇 TỐT NHẤT: Analysis 77 ("meeting transcription tuan thai")
   - Nhanh nhất, accuracy cao nhất, dedupe hiệu quả nhất
   - Phù hợp transcript ngắn, rõ ràng, ít nhiễu

🥈 Analysis 76 ("meeting transcription interview ai 2")
   - Actionability cao nhất, dedupe hoạt động tốt
   - Phù hợp interview / structured conversation

🥉 Analysis 75 ("meeting transcription en")
   - Feature expansion mạnh nhất (6.3x)
   - Transcript dài, cần recall loop để cải thiện chất lượng

Khuyến Nghị

1. Tối ưu Postprocess phase: Chiếm 50% cost — cân nhắc giảm batch size hoặc tăng threshold
2. Prompt caching: Chỉ 1.2% cached tokens — cần cải thiện prompt structure để tận dụng caching
3. Threshold tuning: Analysis 75 cần nhiều recall loops — xem xét tăng min_patch_confidence
4. Transcript length optimization: Transcript dài (39K chars) có accuracy thấp hơn — cân nhắc chunking strategy
5. Auto design spec trigger: Hiện đang disabled — cân nhắc bật để tự động hóa pipeline

Report generated from Docker logs (meeting_analyzer_worker) — 2026-07-01 02:36 UTC

🏗️ PHẦN 2: DESIGN SPEC PIPELINE ANALYSIS

📋 Tổng Quan Design Spec Pipeline

Sau khi Feature List & Analysis hoàn tất, pipeline Design Spec được trigger riêng biệt để tạo:

• Screen Item Definitions: Xác định màn hình UI cần xây dựng
• Spec: Mô tả chi tiết từng screen, features, components, actions
• Design: Wireframes (UI mockups)
• Domain Intelligence: Context domain-specific design patterns

Pipeline Flow

pass0: Dependency Analysis → Feature Enrichment
  → pass1: LLM Sharding (số lượng features/shard)
  → pass2: Simple Model Routing + Component Mapping
  → Inventory Management (demote/infer features)
  → Audit & Repair (nếu screen errors)
  → Wireframe Generation (Stitch)
  → READY_FOR_REVIEW

Thông số Runtime

🔬 Phân Tích Chi Tiết Từng Design Spec Run

📐 Design Spec Run #81 (Analysis 77 — POS) — 🏆 NHANH NHẤT

Spec Generation Steps

Inventory Management

• Demoted advisory features: IM-04 (SCR-009), IM-01 (SCR-012), IM-07, IM-05 (SCR-014), IM-08 (SCR-015)
• Domain Intelligence: B2B SaaS, 14 screens, cost=$0.0021, latency=58.2s

Ưu điểm

• ✅ Nhanh nhất trong 3 runs (645s cho spec + 10m45s total)
• ✅ pass0 dependency analysis sạch, không warnings
• ✅ Screen count phù hợp (14 screens cho 49 features)
• ✅ Batch sizes tối ưu (giảm dần từ 223s→62s)

Nhược điểm

• ❌ Wireframe thất bại do Stitch encryption_key missing
• ❌ 4 screens cần audit repair
• ❌ Một số primary actions bị dropped (no_component_overlap)

📐 Design Spec Run #80 (Analysis 76 — VOICE_AI)

Spec Generation Steps

Inventory Management

• Demoted: FT-A-04 (SCR-005), FT-A-03 (SCR-008), FT-A-06 (SCR-009), FT-A-01 (SCR-013), FT-A-05 (SCR-017), FT-A-09 (SCR-018), FT-A-10 (SCR-019), FT-A-02 (SCR-020), FT-A-08 (SCR-022), FT-A-07 (SCR-023)
• Inferred missing: FT-A-04 (SCR-005), FT-004, FT-006, FT-016 (SCR-008), FT-004 (SCR-009)
• Demoted implied screens: IM-09(SCR-006), IM-06(SCR-007), IM-04(SCR-009), IM-03,IM-10(SCR-014), IM-07,IM-05(SCR-015), IM-01,IM-02(SCR-016), IM-08(SCR-017)
• Domain Intelligence: HR & Recruitment Tech, 14 screens, cost=$0.0019, latency=35.7s
• Dropped features: FT-022 (SCR-002), FT-022 (SCR-006)

Audit & Repair

• 8 screens cần repair (attempt 1/2, 9 errors)
• Primary actions dropped: Review sessions (SCR-004), Search records (SCR-006), Adjust localization (SCR-007), Configure voice personas (SCR-010), Acknowledge alerts (SCR-011)

Ưu điểm

• ✅ LLM Call efficiency: pass2 simple model routing cho SCR-001
• ✅ pass2 routing hoạt động cho nhiều screens
• ✅ Domain Intelligence latency thấp nhất (35.7s)
• ✅ Feature enrichment phát hiện được implied features cần thêm

Nhược điểm

• ❌ Nhiều screens nhất (15) — complexity cao
• ❌ Nhiều lỗi nhất (9 errors) — audit repair cần 2 attempts
• ❌ 10 advisory features bị demoted — inventory không matching tốt
• ❌ Wireframe thất bại hoàn toàn (Stitch)
• ❌ Feature FT-022 bị drop ở 2 screens khác nhau

📐 Design Spec Run #79 (Analysis 75 — CHATBOT) — 🐌 LÂU NHẤT

Spec Generation Steps

Inventory Management

• Warnings: FT-018 ecommerce module mislabeling, feature ID mismatch, limit on implied screens
• Demoted: IM-FT-A5 (SCR-002), IM-FT-A1 (SCR-004), IM-FT-A6 (SCR-008), IM-FT-A10 (SCR-009), IM-FT-A2 (SCR-010), IM-FT-A9 (SCR-011), IM-FT-A3,IM-FT-A7,IM-FT-A4 (SCR-014), IM-FT-A8 (SCR-015)
• Inferred missing: FT-040 (SCR-002), FT-008 (SCR-004)
• Primary actions dropped: Submit registration (SCR-003), Sign in SSO (SCR-004), Access & Identity (SCR-006), Search records (SCR-009), Publish content (SCR-011), Drafts calendar (SCR-012)
• Domain Intelligence: SaaS, 8 screens, cost=$0.0023, latency=52.9s
• Dropped features: FT-022 (SCR-006)

Audit & Repair

• 9 screens cần repair (SCR-001,002,005,006,008,009,010,011,012)
• Nhiều primary actions bị dropped: 6 actions không mapping được với components

Pass 2 Truncation Warnings

Model gpt-5-nano (reasoning=medium) bị truncate nhiều lần:
- Budget 10K → retry 16K → retry...
=> Content spec generation vượt context window

Ưu điểm

• ✅ Feature count lớn nhất (54 features) — coverage rộng nhất
• ✅ Phát hiện module mislabeling (ecommerce vs content strategy) — data quality check
• ✅ Inferred missing features tự động (FT-040, FT-008)
• ✅ 2 domain intelligence blueprints (SaaS)

Nhược điểm

• ❌ CHẬM NHẤT (1007s cho batch 5 cuối) — gấp 1.6x run 81
• ❌ Nhiều screens cần repair nhất (9 screens)
• ❌ Pass 2 bị truncate nhiều lần (10K→16K budget)
• ❌ Nhiều warnings nhất (3 warnings)
• ❌ Wireframe thất bại (Stitch)
• ❌ 6 primary actions bị dropped — component mapping kém

⚡ Phân Tích Speed — Design Spec

Nhận xét:

• Tốc độ spec generation tỉ lệ nghịch với số lượng features (nhiều features → lâu hơn)
• Run 79 (1007s) mất gần gấp đôi run 81 (645s) dù chỉ hơn 5 features
• Pass 2 truncation warnings chỉ xuất hiện ở run 79 — content spec quá dài
• Batch 5 (final generation) chiếm 60-70% total time

🎯 Phân Tích Accuracy — Design Spec

Nhận xét:

• Run 81 (POS) có accuracy cao nhất: 0 warnings, 4 screens repair (ít nhất), 0 features dropped
• Run 80 có domain intelligence latency thấp nhất (35.7s) và cost thấp nhất ($0.0019)
• Run 79 có nhiều vấn đề accuracy nhất: warnings, nhiều screens repair, nhiều actions dropped
• Feature ID FT-022 bị drop ở multiple runs — có thể là data issue

💰 Phân Tích Costs — Design Spec

Direct Costs

*LLM cost ước tính dựa trên số lượng LLM calls (batch × shard × pass)

Phân Bổ Chi Phí Theo Phase

So Sánh Feature List vs Design Spec

Nhận xét:

• Design spec pipeline đắt gấp ~2.5x feature list pipeline
• Thời gian design spec lâu gấp ~4x feature list (10-17 phút vs 3-4 phút)
• Số LLM calls nhiều hơn ~2.5x (150+ vs 63)
• Wireframe generation hiện đang bị lỗi Stitch config — cần fix trước khi production

📈 Tổng Kết Đánh Giá — Design Spec

Bảng Xếp Hạng

Tổng Kết

🥇 TỐT NHẤT: Run 81 (Analysis 77 — POS)
   - Nhanh nhất (645s), accuracy cao nhất (4 repairs, 0 warnings)
   - Domain phù hợp: B2B SaaS portal → spec generation suôn sẻ
   - Feature count hợp lý, ít lỗi inventory

🥈 Run 80 (Analysis 76 — VOICE_AI)
   - Domain Intelligence nhanh + rẻ nhất
   - Nhiều screens nhất (15) nhưng cũng nhiều lỗi repair

🥉 Run 79 (Analysis 75 — CHATBOT)
   - Feature coverage cao nhất (54 features)
   - NHƯNG chậm nhất, nhiều lỗi nhất, warnings nhiều nhất

✅ TRẠNG THÁI HIỆN TẠI (tính đến 05:20 UTC) — ĐÃ HOÀN TẤT

🛠️ Những Gì Đã Fix

Kết Quả Wireframe Chi Tiết

Thời gian generate (trung bình ~60s/screen)

• Nhanh nhất: SCR-003 Run 79 — 33.7s
• Chậm nhất: SCR-003 Run 81 — 121.7s
• Trung bình: ~60-90s/screen

Chất lượng Wireframe

• Tất cả đều có has_image=True, has_html=True ✅
• Phần lớn pass semantic verification (chỉ warnings nhỏ: accessibility, nav items)
• 1 screen dùng PIL fallback (SCR-015, Run 81)

🏆 SO SÁNH TỔNG THỂ: FEATURE LIST vs DESIGN SPEC

📈 BATCH 2: 3 Analysis Mới (Analysis 78, 79, 80)

Sau khi fix Stitch, user trigger thêm 3 analysis mới để test lại pipeline.

Kết Quả Feature List

Quality Metrics

Đánh Giá Chi Tiết

So Sánh Batch 1 vs Batch 2

🔍 Nhận xét: Batch 2 rẻ hơn và nhanh hơn nhờ prompt caching (30% cached tokens). Tuy nhiên analysis 80 (saas) có vấn đề về duplicates và actionability — transcript có thể quá generic hoặc chứa nhiều nội dung lặp.

🏗️ Design Spec — Batch 2 (Runs 82, 83, 84)

Timing Wireframe Chi Tiết

So Sánh Design Spec Batch 1 vs Batch 2

🏆 Kết luận: Batch 2 design spec chạy trơn tru sau khi fix Stitch config. 100% wireframe thành công qua Stitch — không còn lỗi encryption_key. Hệ thống audit repair cũng hoạt động (tự động sửa screen lỗi).

📈 BATCH 3: GREENFIELD Workflow (Analyses 81, 82, 83)

Batch 3 sử dụng GREENFIELD workflow (khác với BROWNFIELD_INCREMENTAL ở Batch 2).

Feature List Results

🇯🇵 Japanese Localization

🔥 GREENFIELD vs BROWNFIELD

🏗️ Design Spec — Batch 3 (Runs 85, 86, 87)

🇯🇵 Design Spec Localization (Run 86)

❌ Root Cause: TimeoutError (1799s / ~30 phút)

ERROR | 1798.92s ! design-spec-run:85:batch:6 → TimeoutError (analysis_job_timeout_seconds=1800)
ERROR | 1798.94s ! design-spec-run:87:batch:5 → TimeoutError (analysis_job_timeout_seconds=1800)

Chuỗi sự kiện dẫn đến lỗi:

1. 🟡 Pass 2 truncated at budget=10,000 → retry (tăng thời gian)
2. 🟡 Audit repair attempt 1 → 8-11 screens lỗi
3. 🟡 Audit repair attempt 2 → còn 1 screen lỗi
4. 🔄 Batch tiếp theo → cạnh tranh với Japanese localization
5. ⛔ TimeoutError sau 1799s (chạm ngưỡng 1800s)

🔬 Nguyên nhân gốc:

• analysis_job_timeout_seconds=1800 quá thấp cho design spec với 44-55 features
• Japanese localization (screen_definitions) chạy song song, chiếm LLM capacity
• Pass 2 budget retry + audit repair làm kéo dài thời gian xử lý

Đề xuất fix:

1. Tăng analysis_job_timeout_seconds từ 1800 lên 3600 (hoặc cao hơn)
2. Retry lại runs 85, 87 sau khi có capacity

📊 TỔNG QUAN TOÀN BỘ PIPELINE

Cập nhật lần cuối: 2026-07-01 08:15 UTC ✅ Trạng thái: Batch 1 ✅ + Batch 2 ✅ + Batch 3 Feature ✅ + Design Spec (1/3 ✅, 2/3 cần retry) 🛠️ Đã fix: Thêm STORED_SECRET_ENCRYPTION_KEY vào docker-compose.yml + retry wireframe 🔬 Root cause: TimeoutError (1799s) do analysis_job_timeout_seconds=1800 quá thấp cho 44-55 features 📊 Kết quả: 81/82 screens có wireframe qua Stitch (98.8%) | 9/9 feature lists | 7/9 design specs 💰 Tổng chi phí: ~$1.13 cho 9 analysis (feature list + design spec + wireframe + localization) Report generated from Docker logs (meeting_analyzer_api + meeting_analyzer_worker)