왜 가중치(w)의 크기를 줄이면 Overfitting을 막을 수 있을까? 1. Overfitting의 정의overfitting은 모델이 학습데이터에 대해 과도하게 맞춰져, 새로운 데이터에 대해 일반화 능력이 떨어지는 현상이다. 이는 모델이 데이터의 본질적인 특성보다 복잡할때 발생한다.2. 가중치(W)와 모델 복잡성의 관계가중치는 모델의 각 특성이 예측에 미치는 영향력을 나타낸다. 가중치의 절대값이 크면 해당 특성이 예측에 강한 영향을 미친다.데이터의 본질적인 특성에 비해 모델의 각 특성(feature) 수가 증가하면 모델이 고려해야 할 정보와 관계가 늘어나 모델이 복잡해진다. 모델이 복잡해지면 데이터를 표현할 수 있는 방법이 더 다양해진다는 의미로, 학습 데이터의 작은 변화에도 민감하게 반응을 하는 등 학습 데이터에 과도하게 맞춰질 가능성이 높아 모델의 variance가 커진.. 이전 1 다음
