Cost Function - Intuition

비용 함수에 대해 더 살펴보자.

 

<그림 1-1>

 

그림 1-1의 hypothesis의 비용함수를 계산 하면

 

이므로 J(1) = 0 이다.

 

<그림 1-2>

 

그림 1-2의 hypothesis의 비용함수를 계산하면

 

J(0.5) = 약 0.69  가 나온다.

<그림 1-3>

 

그림 1-3의 비용함수를 계산하면

 

J(0) = 14/6 = 약 2.33  이 나온다.

<그림 2-1>

 

위 세타값들에 대한 비용함수 J의 값을 그래프에 그려보면 이렇게 나온다.

 

 

<그림 2-2>

 

그리고 모든 세타값들에 대한 비용함수 J의 값은 이런 곡선이 나올 것이다.

 

그리고 현재 세타가 1일때 J가 최저이므로

 

위 hypothesis에서 최적의 세타값은 1이다.

<그림 3-1>

 

집 가격문제로 돌아가서 집가격 문제의 경우 세타가 두개이다.

 

따라서 세타값들에 따른 비용함수 J의 값을 표시하면 그림 3-1과 같은

 

곡면이 나올 것이다.

 

 

<그림 3-2>

 

위 곡면을 보기 쉽게 등고선의 형태로 옮긴것이 그림 3-2의 오른쪽 그래프이다.

 

위 등고선을 보는 방법은 같은 선 위의 점들은 비용 함수의 값이 같다.

 

오른쪽 등고선위의 붉은 점(800, -1.5)일때 hypothesis의 그래프는 왼쪽 그래프이다.

 

아직 최적의 값이 아닌것 같다. 점을 옮겨보자.

 

<그림 3-3>

 

그림 3-3의 등고선의 붉은 점(360, 0)일때 아직은 미흡해보인다.

 

 

<그림 3-4>

 

그림 3-4의 등고선의 타원들의 중앙에 위치한 붉은점을때에 그래프가 최적으로 보인다.

 

저 붉은점이 그림 3-1에서 곡면의 가장 아래에 위치한 점이다.

 

위 내용이 선형 회귀 분석에서 일련의 과정이다.

 

파라미터가 위의 예처럼 1, 2개일때는 노가다로 찾을 수 있겠지만 현실은 파라미터가 수십 수백개일 것이다.

 

따라서 일련의 작업들을 특히 최적의 파라미터들을 찾는 작업을 자동으로 수행하게 하는 알고리즘이 필요하다.