Cost를 감소시키는 방법

W와 b를 변화시키면 Linear Regression에서는 기울기 및 원점으로부터의 위치가 변화하므로 오차값이 달라지는데,
이 때 각 오차에 대해 제곱해서 평균 낸 값이 Cost이므로 Cost는 W, b에 대해 이차함수 그래프 형태를 보인다.

Gradient Descent Algorithm

오차가 작아지는 방향으로 가는 알고리즘이다.
W와 b를 변화시킨다.
Linear Regression의 경우에는 오차가 가장 작아지는 지점이 한 군데이므로 문제가 없으나,
만약 골짜기가 여러 개인 모델에서 Gradient Descent Algorithm을 사용한다면 잘못된 최소 지점을 찾을 수 있다.