# เอกสารอ้างอิง: Troubleshooting

## Instance Launch Issues

### No instances available

**Error**: "No capacity available" or instance type not listed

**Solutions**:
```bash
# เอกสารอ้างอิง: Troubleshooting
curl -u $LAMBDA_API_KEY: \
  https://cloud.lambdalabs.com/api/v1/instance-types | jq '.data | to_entries[] | select(.value.regions_with_capacity_available | length > 0) | .key'

# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting

# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
```

### Instance stuck launching

**Problem**: Instance shows "booting" for over 20 minutes

**Solutions**:
```bash
# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting

# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
```

### API authentication fails

**Error**: `401 Unauthorized` or `403 Forbidden`

**Solutions**:
```bash
# เอกสารอ้างอิง: Troubleshooting
echo $LAMBDA_API_KEY

# เอกสารอ้างอิง: Troubleshooting
curl -u $LAMBDA_API_KEY: \
  https://cloud.lambdalabs.com/api/v1/instance-types

# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
```

### Quota limits reached

**Error**: "Instance limit reached" or "Quota exceeded"

**Solutions**:
- Check current running instances in console
- Terminate unused instances
- Contact Lambda support to request quota increase
- Use 1-Click Clusters for large-scale needs

## SSH Connection Issues

### Connection refused

**Error**: `ssh: connect to host <IP> port 22: Connection refused`

**Solutions**:
```bash
# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting

# เอกสารอ้างอิง: Troubleshooting

# เอกสารอ้างอิง: Troubleshooting
curl -u $LAMBDA_API_KEY: \
  https://cloud.lambdalabs.com/api/v1/instances | jq '.data[].ip'
```

### Permission denied

**Error**: `Permission denied (publickey)`

**Solutions**:
```bash
# เอกสารอ้างอิง: Troubleshooting
ssh -v -i ~/.ssh/lambda_key ubuntu@<IP>

# เอกสารอ้างอิง: Troubleshooting
chmod 600 ~/.ssh/lambda_key
chmod 644 ~/.ssh/lambda_key.pub

# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting

# เอกสารอ้างอิง: Troubleshooting
cat ~/.ssh/authorized_keys
```

### Host key verification failed

**Error**: `WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!`

**Solutions**:
```bash
# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
ssh-keygen -R <IP>

# เอกสารอ้างอิง: Troubleshooting
ssh ubuntu@<IP>
```

### Timeout during SSH

**Error**: `ssh: connect to host <IP> port 22: Operation timed out`

**Solutions**:
```bash
# เอกสารอ้างอิง: Troubleshooting

# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting

# เอกสารอ้างอิง: Troubleshooting

# เอกสารอ้างอิง: Troubleshooting
```

## GPU Issues

### GPU not detected

**Error**: `nvidia-smi: command not found` or no GPUs shown

**Solutions**:
```bash
# เอกสารอ้างอิง: Troubleshooting
sudo reboot

# เอกสารอ้างอิง: Troubleshooting
wget -nv -O- https://lambdalabs.com/install-lambda-stack.sh | sh -
sudo reboot

# เอกสารอ้างอิง: Troubleshooting
nvidia-smi
lsmod | grep nvidia
```

### CUDA out of memory

**Error**: `torch.cuda.OutOfMemoryError: CUDA out of memory`

**Solutions**:
```python
# เอกสารอ้างอิง: Troubleshooting
import torch
print(torch.cuda.get_device_properties(0).total_memory / 1e9, "GB")

# เอกสารอ้างอิง: Troubleshooting
torch.cuda.empty_cache()

# เอกสารอ้างอิง: Troubleshooting
batch_size = batch_size // 2

# เอกสารอ้างอิง: Troubleshooting
model.gradient_checkpointing_enable()

# เอกสารอ้างอิง: Troubleshooting
from torch.cuda.amp import autocast
with autocast():
    outputs = model(**inputs)

# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
```

### CUDA version mismatch

**Error**: `CUDA driver version is insufficient for CUDA runtime version`

**Solutions**:
```bash
# เอกสารอ้างอิง: Troubleshooting
nvidia-smi  # Shows driver CUDA version
nvcc --version  # Shows toolkit version

# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
wget -nv -O- https://lambdalabs.com/install-lambda-stack.sh | sh -
sudo reboot

# เอกสารอ้างอิง: Troubleshooting
pip install torch==2.1.0+cu121 -f https://download.pytorch.org/whl/torch_stable.html
```

### Multi-GPU not working

**Error**: Only one GPU being used

**Solutions**:
```python
# เอกสารอ้างอิง: Troubleshooting
import torch
print(f"GPUs available: {torch.cuda.device_count()}")

# เอกสารอ้างอิง: Troubleshooting
import os
print(os.environ.get("CUDA_VISIBLE_DEVICES", "not set"))

# เอกสารอ้างอิง: Troubleshooting
model = torch.nn.DataParallel(model)
# เอกสารอ้างอิง: Troubleshooting
model = torch.nn.parallel.DistributedDataParallel(model)
```

## Filesystem Issues

### Filesystem not mounted

**Error**: `/lambda/nfs/<name>` doesn't exist

**Solutions**:
```bash
# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting

# เอกสารอ้างอิง: Troubleshooting

# เอกสารอ้างอิง: Troubleshooting
df -h | grep lambda

# เอกสารอ้างอิง: Troubleshooting
```

### Slow filesystem performance

**Problem**: Reading/writing to filesystem is slow

**Solutions**:
```bash
# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting

# เอกสารอ้างอิง: Troubleshooting
cp -r /lambda/nfs/storage/dataset /home/ubuntu/dataset

# เอกสารอ้างอิง: Troubleshooting

# เอกสารอ้างอิง: Troubleshooting
iperf3 -c <filesystem_server>
```

### Data lost after termination

**Problem**: Files disappeared after instance terminated

**Solutions**:
```bash
# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting

# เอกสารอ้างอิง: Troubleshooting
/lambda/nfs/<filesystem_name>/

# เอกสารอ้างอิง: Troubleshooting
rsync -av /home/ubuntu/outputs/ /lambda/nfs/storage/outputs/
```

### Filesystem full

**Error**: `No space left on device`

**Solutions**:
```bash
# เอกสารอ้างอิง: Troubleshooting
df -h /lambda/nfs/storage

# เอกสารอ้างอิง: Troubleshooting
du -sh /lambda/nfs/storage/* | sort -h

# เอกสารอ้างอิง: Troubleshooting
find /lambda/nfs/storage/checkpoints -mtime +7 -delete

# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
```

## Network Issues

### Port not accessible

**Error**: Cannot connect to service (TensorBoard, Jupyter, etc.)

**Solutions**:
```bash
# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting

# เอกสารอ้างอิง: Troubleshooting
ssh -L 6006:localhost:6006 ubuntu@<IP>
# เอกสารอ้างอิง: Troubleshooting

# เอกสารอ้างอิง: Troubleshooting
ssh -L 8888:localhost:8888 ubuntu@<IP>
```

### Slow data download

**Problem**: Downloading datasets is slow

**Solutions**:
```bash
# เอกสารอ้างอิง: Troubleshooting
speedtest-cli

# เอกสารอ้างอิง: Troubleshooting
aria2c -x 16 <URL>

# เอกสารอ้างอิง: Troubleshooting
export HF_HUB_ENABLE_HF_TRANSFER=1
pip install hf_transfer

# เอกสารอ้างอิง: Troubleshooting
aws s3 sync s3://bucket/data /local/data --quiet
```

### Inter-node communication fails

**Error**: Distributed training can't connect between nodes

**Solutions**:
```bash
# เอกสารอ้างอิง: Troubleshooting

# เอกสารอ้างอิง: Troubleshooting
ping <other_node_private_ip>

# เอกสารอ้างอิง: Troubleshooting
export NCCL_DEBUG=INFO
export NCCL_IB_DISABLE=0  # Enable InfiniBand if available

# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
```

## Software Issues

### Package installation fails

**Error**: `pip install` errors

**Solutions**:
```bash
# เอกสารอ้างอิง: Troubleshooting
python -m venv ~/myenv
source ~/myenv/bin/activate
pip install <package>

# เอกสารอ้างอิง: Troubleshooting
pip install torch --index-url https://download.pytorch.org/whl/cu121

# เอกสารอ้างอิง: Troubleshooting
pip cache purge
```

### Python version issues

**Error**: Package requires different Python version

**Solutions**:
```bash
# เอกสารอ้างอิง: Troubleshooting
sudo apt install python3.11 python3.11-venv python3.11-dev

# เอกสารอ้างอิง: Troubleshooting
python3.11 -m venv ~/py311env
source ~/py311env/bin/activate
```

### ImportError or ModuleNotFoundError

**Error**: Module not found despite installation

**Solutions**:
```bash
# เอกสารอ้างอิง: Troubleshooting
which python
pip list | grep <module>

# เอกสารอ้างอิง: Troubleshooting
source ~/myenv/bin/activate

# เอกสารอ้างอิง: Troubleshooting
pip uninstall <package>
pip install <package>
```

## Training Issues

### Training hangs

**Problem**: Training stops progressing, no output

**Solutions**:
```bash
# เอกสารอ้างอิง: Troubleshooting
watch -n 1 nvidia-smi

# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting

# เอกสารอ้างอิง: Troubleshooting
export NCCL_DEBUG=INFO

# เอกสารอ้างอิง: Troubleshooting
dist.init_process_group(..., timeout=timedelta(minutes=30))
```

### Checkpoint corruption

**Error**: `RuntimeError: storage has wrong size` or similar

**Solutions**:
```python
# เอกสารอ้างอิง: Troubleshooting
checkpoint_path = "/lambda/nfs/storage/checkpoint.pt"
temp_path = checkpoint_path + ".tmp"

# เอกสารอ้างอิง: Troubleshooting
torch.save(state_dict, temp_path)
# เอกสารอ้างอิง: Troubleshooting
os.rename(temp_path, checkpoint_path)

# เอกสารอ้างอิง: Troubleshooting
try:
    state = torch.load(checkpoint_path)
except:
    # Fall back to previous checkpoint
    state = torch.load(checkpoint_path + ".backup")
```

### Memory leak

**Problem**: Memory usage grows over time

**Solutions**:
```python
# เอกสารอ้างอิง: Troubleshooting
torch.cuda.empty_cache()

# เอกสารอ้างอิง: Troubleshooting
loss_value = loss.detach().cpu().item()

# เอกสารอ้างอิง: Troubleshooting
optimizer.zero_grad(set_to_none=True)

# เอกสารอ้างอิง: Troubleshooting
if (step + 1) % accumulation_steps == 0:
    optimizer.step()
    optimizer.zero_grad()
```

## Billing Issues

### Unexpected charges

**Problem**: Bill higher than expected

**Solutions**:
```bash
# เอกสารอ้างอิง: Troubleshooting
curl -u $LAMBDA_API_KEY: \
  https://cloud.lambdalabs.com/api/v1/instances | jq '.data[].id'

# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting

# เอกสารอ้างอิง: Troubleshooting
# เอกสารอ้างอิง: Troubleshooting
```

### Instance terminated unexpectedly

**Problem**: Instance disappeared without manual termination

**Possible causes**:
- Payment issue (card declined)
- Account suspension
- Instance health check failure

**Solutions**:
- Check email for Lambda notifications
- Verify payment method in console
- Contact Lambda support
- Always checkpoint to filesystem

## Common Error Messages

| Error | Cause | Solution |
|-------|-------|----------|
| `No capacity available` | Region/GPU sold out | Try different region or GPU type |
| `Permission denied (publickey)` | SSH key mismatch | Re-add key, check permissions |
| `CUDA out of memory` | Model too large | Reduce batch size, use larger GPU |
| `No space left on device` | Disk full | Clean up or use filesystem |
| `Connection refused` | Instance not ready | Wait 3-15 minutes for boot |
| `Module not found` | Wrong Python env | Activate correct virtualenv |

## Getting Help

1. **Documentation**: https://docs.lambda.ai
2. **Support**: https://support.lambdalabs.com
3. **Email**: support@lambdalabs.com
4. **Status**: Check Lambda status page for outages

### Information to Include

When contacting support, include:
- Instance ID
- Region
- Instance type
- Error message (full traceback)
- Steps to reproduce
- Time of occurrence
