Nhắc lại: như phần trước chúng ta đã phân tách lỗi của một bộ dự đoán \(ERM_{\mathcal H}\) thành 2 thành phần bias (approximation error) và complexity (estimation error) (Độ phức tạp của lớp giả thiết \(\mathcal H\)). Gọi \(h_{S}\) là một giả thiết \(ERM_{\mathcal H}\). chúng ta có thể viết lại:
\(L_{D}(h_{S}) = \epsilon_{app} + \epsilon_{est}\) trong đó:
\(\epsilon_{app} = \min\limits_{h \in \mathcal H} L_{\mathcal D}(h)) \\ \epsilon_{est} = L_{D}(h_{S}) – \epsilon_{app} \)- Lỗi xấp xỉ (Approximation Error): là rủi ro tối thiểu đạt được bởi một bộ dự đoán trong một lớp giả thiết. Số hạng này không phụ thuộc vào kích thước mẫu mà nó phụ thuộc vào lớp giả thiết đã được lựa chọn. Việc mở rộng lớp giả thiết có thể giảm đi lỗi xấp xỉ (approximation error).
- Lỗi ước lượng (Estimation Error): là hiệu giữa lỗi xấp xỉ và lỗi đạt được bởi bộ dự đoán ERM. Số hạng này phụ thuộc vào kích thước tập huấn luyện hoặc độ phức tạp của lớp giả thiết \(\mathcal H\).
Mục đích của chúng ta là tối thiểu hóa tổng rủi ro vậy nên chúng ta đối mặt với việc cân bằng giữa bias-complexity. Việc chọn lớp giả thiết \(\mathcal H\) lớn thì sẽ giảm lỗi xấp xỉ tuy nhiên đồng thời lại tăng lỗi ước lượng. Vậy nên một lớp giả thiết \(\mathcal H\) lớn có thể dẫn đến Overfitting. Ngược lại, khi một lớp giả thiết \(\mathcal H\) nhỏ thì lại dễ dẫn tới Underfitting. Mặc dù chúng ta không thể biết được làm thể nào để xây dựng một lớp giả thiết tối ưu, tuy nhiên chúng ta vẫn có thể dựa vào một vài kiến thức biết trước của một bài toán cụ thể mà có thể thiết kế được lớp giả thiết có lỗi xấp xỉ và lỗi ước lượng không quá lớn. Ví dụ, mặc dù chúng ta không thể biết chính xác màu sắc và độ cứng để dự đoán một quả đu đủ ngon nhưng dựa trên những kiến thức biết trước về những loại quả khác có màu sắc độ cứng sẽ ngon như nào thì ta cũng có thể xây dựng được bộ dự đoán tốt cho việc dự đoán vị ngon của quả đu đủ.