Skip to content

(08.27) W06_L06 Regularization

Jump to bottom
elecsoul edited this page Aug 31, 2018 · 1 revision

https://youtu.be/vtZeWo8yEH0

승관(2018.08.27):

  • Train accuracy를 희생하는 이유 : 앞으로 올 Test 상황에서 Potentail fit이 좋지 않을까 라는 생각.

  • Regularization : 너무 모델이 Dataset에 의해 민감하게 반응하지 않도록 하자.

  • Lasso regularization : 많은 파라미터 엘리먼트들이 0이 되면서 특정 파라미터에 값을 준다.

  • Ridge regularization : 많이 파라미터 엘리먼트들이 실제로 값을 가지게 된다.

  • regularization은 상황에 맞춰 선택 하면 된다.

성빈(2018.08.27):
Regularization

  • Perfect fit을 포기하겠음
    • Training accuracy는 떨어짐
  • Potential fit을 높이기 위함

오버피팅 방지

  • 쉬운모델사용-> 바이어스 에러
  • 둔감한 컴플랙스 모델 사용

E(w)의 앞쪽 식 - 에러를 줄이기 위한 노력 뒷쪽 식 - regularization term

regularization 에 따라 term의 모양이 달라진다 Ridge regularization을 가장 많이 사용

민규(2018.08.27):
이번 시간에는 Regularization이며 오버피팅을 억제할 수 있는 중요한 개념이다.
regularization은 perfect fit을 포기하는 것으로 train dataset에 둔감하게 만들어 주는 것이다.
그래서 앞으로 올 새로운 데이터(테스트)에 대해 대응을 잘하도록 만들 수 있다.
objective 함수에 constraint 형태로 들어가게 되며 종류는 L1(Lasso), L2(Ridge) 등 다양하다.
E(w)에 ||w||^2 형태로 들어가는데 이는 특정 w가 과하게 크는 것을 막아주는 페널티 역할이다.
L1 regularization은 파라미터를 sparse하게 만들어주는 특성이 있고
L2 regularization은 파라미터를 적당한 값으로 만들어줄 수 있다. 학습에 있어서 regularization은 필수인 것 같다.

진구(2018.08.27)
모델 중 어느 한 웨이트값이 너무 커지지 않게, 너무 큰 웨이트에 페널티를 주는 방식으로 정규화를 한다.
L1, L2 는 정말 많이 들어본 정규화 방법인데 다른 이름으로 Lasso, Ridge등이 있다는 것을 배웠다. 브릿지도 있던데 처음봤다.
L1의 특징은 몇몇 파라미터 들이 0으로 가서 작아지게 하는 것이고, L2는 두루두루 작아진다고 한다. 그래프만 봐도 약간 둥글둥글.. 미분도 잘되고 가장 자주 쓴다고 한다.
L1은 연산량이 아무래도 L2보다는 적을 것이고 빠르다는 특징이 있으나 연속이 아니라 미분이 안 되고 보통 딱 가장 가까운 그런 접점이 아닌 0에 가까운 부분에서 접점을 갖는 경향이 있다.

대하(2018.08.27):
오버피팅을 막기 위한 하나의 방법 중인 정규화(regularization)를 알아보았다.
이는 학습 가능한 파라미터의 weight에 constraint를 주거나(implicit regularization),
또는 cost(loss) function 자체에 constraint를 주는 것으로(explicit regularization) 진행할 수 있다.

우리는 l1 & lasso regularization 을 알아보았는데, 이와 더불어 l2 regularization (e.g. weight decay)도 중요하므로
공부하면 좋을 것 같다.

나머지 내용은 위에 잘 설명이 되어 있어서 생략한다.

Clone this wiki locally