# เอกสารอ้างอิง: Troubleshooting

Common issues and solutions for GPTQ quantization and inference.

## Installation Issues

### CUDA mismatch
```bash
# เอกสารอ้างอิง: Troubleshooting
nvcc --version
python -c "import torch; print(torch.version.cuda)"

# เอกสารอ้างอิง: Troubleshooting
pip install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/  # CUDA 11.8
```

### Build errors
```bash
# เอกสารอ้างอิง: Troubleshooting
pip install auto-gptq --no-build-isolation

# เอกสารอ้างอิง: Troubleshooting
sudo apt-get install python3-dev
```

## Runtime Issues

### Slow inference
```python
# เอกสารอ้างอิง: Troubleshooting
model = AutoGPTQForCausalLM.from_quantized(
    model_name,
    use_exllama=True  # Fastest (try v1 or v2)
)

# เอกสารอ้างอิง: Troubleshooting
model = AutoGPTQForCausalLM.from_quantized(
    model_name,
    use_marlin=True
)
```

### OOM during inference
```python
# เอกสารอ้างอิง: Troubleshooting
outputs = model.generate(**inputs, batch_size=1)

# เอกสารอ้างอิง: Troubleshooting
model = AutoGPTQForCausalLM.from_quantized(
    model_name,
    device_map="auto",
    max_memory={"cpu": "100GB"}
)

# เอกสารอ้างอิง: Troubleshooting
model.seqlen = 1024  # Instead of 2048
```

### Poor quality outputs
```python
# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
```

## Quantization Issues

### Very slow quantization
```bash
# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting

# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
```

### Quantization crashes
```python
# เอกสารอ้างอิง: Troubleshooting
model = AutoGPTQForCausalLM.from_pretrained(
    model_name,
    device_map="auto",
    max_memory={"cpu": "100GB"}  # Offload to CPU
)

# เอกสารอ้างอิง: Troubleshooting
model.quantize(calibration_data, batch_size=1)
```
