인공지능(신경망, 딥러닝) 교육 정리(Logistic Regression)

ㅁ Logistic Regression

 o Supervised Learning으로 Classification 문제를 해결하며 2범주 문제를 다룬다.
  - 회귀분석으로 분류문제를 해결한다.
  - 로지스틱 회귀분석이 끝나면 결과물이 확률로 나와야 한다. 
 o A와 B, 두 카테고리 중 하나로 분류한다.
  - 선형 회귀분석 식에서
  - 우리가 예측하려는 Y값을 A일 확률로 가정하고, 
  - Y값(A일 확률)이 0.5보다 크면 A로 분류하고, 0.5보다 작으면 B라고 분류하면 되지 않나!
 

ㅁ 수식 전개

선형회귀식 $$y=ax+b$$

y를 확률로 변환 $$P=ax=b$$

이때 양변이 갖는 값의 범위가 일치하지 않는다. 
선형 회귀식은 0 ~ 1 범위이지만 확률은 무한대의 범위를 가지기 때문

그리고 범위를 맞추기 위해 다음와 같이처리한다.
P 자리에 Odds를 대입 $$Odds=P/(1-P)=ax+b$$
여전히 양변의 값의 범위가 일치하지 않는다.
여기서 Odds에 Log를 씌운다.$$lo{g}_{e}Odds=lo{g}_{e}P/(1-P)=ax+b$$

양변의 값의 범위가 일치하게 된다. 

위에서 도출한 식에서 확률 P를 구해야 하니까 Odds로 표현된 식에서 P로 정리한다.

$$lo{g}_{e}P/(1-P)=ax+b$$

양변에 e를 씌움 $$e^{lo{g}_{e}P/(1-P)}=e^{ax+b}$$

그리고 한번 더 정리하면 $$P/(1-P)=e^{ax+b}$$ 가 된다. 

역수를 취함
$$(1-P)/P=1/e^{ax+b}$$
$$1/P-1=1/e^{ax+b}$$
1을 더함
$$1/P=1/e^{ax+b}+1$$
$$1/P=(1+e^{ax+b})/e^{ax+b}$$
역수를 취하면 다음과 같이 P로 정리가 된다.
$$P=e^{ax+b}/(1+e^{ax+b})$$

위의 식에서 a,b,x,e 4개를 알면 P를 구할 수 있다.
선형회귀 분석식에서 기울기랑 절편 구하는 공식을 적용하면 되고,
a랑 b는 데이터가 있으면 구할 수 있다.
x는 입력값이니까 입력하면 되고, e를 2.718로 계산한다.
그럼 이제 식을 도출할 수 있다. 계산을 하면 다음과 같은 그림이 그려진다.

Logistic Curve가 나온다.
여기서 P는 0.5를 기준으로 0.5보다 크면 A로 분류하고, 작으면 B로 분류한다.
무조건 0과 1 사이의 값이 나오지만 0과 1은 절대로 나오지 않는다.