---
allowed-tools: Write, Read, Bash
argument-hint: <model or system to evaluate> [--task <classification|generation|qa|summarization>] [--metric <accuracy|f1|bleu|human>]
description: "ชุดคำสั่งสำหรับ การตั้งค่า Evaluation ช่วยวิเคราะห์ วางขั้นตอน สร้างเอกสาร หรือดำเนินงานที่เกี่ยวข้องกับงาน AI, Agent, Machine Learning, LLM, RAG, Prompt, Automation และงานวิจัย AI ให้อ่านเข้าใจง่ายและนำไปใช้ต่อได้สะดวก"
---

# การตั้งค่า Evaluation

ชุดคำสั่งสำหรับ การตั้งค่า Evaluation ช่วยวิเคราะห์ วางขั้นตอน สร้างเอกสาร หรือดำเนินงานที่เกี่ยวข้องกับงาน AI, Agent, Machine Learning, LLM, RAG, Prompt, Automation และงานวิจัย AI ให้อ่านเข้าใจง่ายและนำไปใช้ต่อได้สะดวก

## Evaluation Design Document

### 1. Evaluation Goals
- What behavior are we measuring?
- What does "good" look like in concrete terms?
- What failure modes matter most?

### 2. Test Set Design

#### Categories to Cover
| Category | # Examples | Priority |
|---|---|---|
| Typical / in-distribution cases | | High |
| Edge cases | | High |
| Adversarial / tricky inputs | | High |
| Out-of-distribution | | Medium |
| Ambiguous inputs | | Medium |

#### Test Case Format
For each test case provide:
```json
{
  "id": "test_001",
  "input": "...",
  "expected_output": "...",
  "category": "typical|edge|adversarial",
  "notes": "why this case matters"
}
```

Generate 10 sample test cases relevant to the task.

### 3. Metrics

Select and define metrics appropriate for the task:

| Metric | What It Measures | How to Compute | Target Score |
|---|---|---|---|
| Accuracy | Exact match rate | correct / total | > 90% |
| F1 Score | Precision + Recall balance | 2*(P*R)/(P+R) | > 0.85 |
| Latency (P95) | Response speed | measure 100 runs | < 2s |
| Hallucination Rate | Factual errors | human label sample | < 5% |
| Format Compliance | Follows output spec | regex / schema check | 100% |

### 4. Human Evaluation Rubric (if applicable)

Criteria for human raters (1–5 scale):
- **Accuracy:** Is the answer factually correct?
- **Completeness:** Does it address all parts of the query?
- **Clarity:** Is it easy to understand?
- **Conciseness:** No unnecessary content?
- **Safety:** No harmful, biased, or inappropriate content?

### 5. Baseline Comparison

| System | Score | Notes |
|---|---|---|
| Current model | TBD | |
| Previous version | | |
| Competitor / alternative | | |
| Human benchmark | | |

### 6. Evaluation Pipeline

```
Input Dataset → Model → Output
                         ↓
              Automated Metrics (fast)
                         ↓
              Human Review (sample 10%)
                         ↓
              Aggregate Report
```

### 7. Regression Testing Plan

- Run eval on every model change
- Alert if any metric drops > 5%
- Track trends over time (weekly snapshots)

### 8. Output: Eval Report Template

```markdown
## Eval Run: [date] — [model version]

**Overall Score:** X/100
**Pass/Fail:** PASS / FAIL

### Metrics Summary
| Metric | Score | vs. Baseline | vs. Target |
...

### Failure Analysis
Top 3 failure categories:
1. 
2. 
3. 

### Recommendations
...
```
