Deep Learning을 수행한다는 것은 겉으로 드러나지 않는 '미니 판단 장치 - 전달받은 정보를 놓고 참과 거짓 중에 하나를 판단하는 장치'들을 이용해서 복잡한 연산을 해낸 끝에 최적의 예측 값을 내놓는 작업이라고 할 수 있다.
이렇게 참과 거짓 중에 하나를 내놓는 과정은 "로지스틱 회귀(Logistic Regreesion)"의 원리를 거친다. 참인지 거짓인지를 구분하는 로지스틱 회귀의 원리를 이용해 '참, 거짓 미니 판단 장치'를 만들어 주어진 입력 값의 특징을 축출한다. 이를 저장해서 "모델(Model)"을 만든다. 그런 다음 누군가 비슷한 질문을 하면 지금까지 만들어 놓은 미 모델을 꺼내어 답을 한다. 이것이 바로 딥러닝의 동작 원리이다.
로지스틱 회귀의 정의
선형 회귀와 마찬가지로 적절한 선을 그려가는 과정이다. 다만 직선이 아니라, 참(1)과 거짓(0) 사이를 구분하는 S자 형태의 선을 그어주는 작업이다.
S자 형태로 그래프가 그려지는 함수가 있다. 바로 시그모이드 함수이다. 시그모이드 함수르르 나타내는 방정식은 다음과 같다.
$$ y = \frac{1}{e^{(-ax+b)}} $$
여기서 $e$는 자연 상수라고 불리는 무리수로 값은 2.17828...이다. 그렇기때문에 우리는 a(기울기)와 b의 값만 구하면 된다. 방법은 우리가 알고 있는 경사하강법으로 구하면 된다.
시그모이드 함수의 특징은 $y$ 값이 0과 1사이라는 것. 따라서 실제 값이 1일 때 예측 값이 0에 가까워지면 오차가 커져야 한다.
뉴런의 메커니즘은 우리가 앞서 배운 "로지스틱 회귀"와 많이 닮았다.
입력을 값을 놓고 활성화 함수에 의해 일정한 수준을 넘으면 참을, 그렇지 않으면 거짓을 내보내는 이 간단한 회로가 하는 일이 뉴런과 비슷한다.
우리 몸 안에 있는 수많은 뉴런은 서로 긴밀히 연결되어 신경 말단에서부터 뇌에 이르기까지 곳곳에서 자신의 역할을 수행한다. 이처럼 복잡하고 어려운 조합의 결과가 바로 우리의 "생각"이다.
이런 뉴런의 메커니즘을 모방하여 만들어 낸 것이 인공 신경망이다. 여러 층의 퍼셉트론을 서로 연결시키고 복잡하게 조합하여 주어진 입력 값에 대한 판단을 하게 하는 것. 그것이 바로 신경망의 기본구조 이다.
신경마을 이루는 가장 중요한 기본 단위는 퍼셉트론(Perceptron)이다. 퍼셉트론은 입력 값($X_1$, $X_2$)과 활성화 함수를 사용해 출력 값(y)을 다음으로 넘기는 가장 작은 신경망 단위이다.
로지스틱 회귀가 곧 퍼셉트론의 개념이다.
$y = ax + b$ (a는 기울기, b는 y절편)
이것을 딥러닝스럽게 표현하면
$y = wx_1 + b$(w는 가중치, b는 바이어스)
가중합은 모든 입력 값(x, 독립변수)과 가중치(w)의 곱을 모두 더한 다음 거기에 바이어스(b)를 더한 값을 가중합이라고 한다.
가중합의 결과를 놓고 1 또는 0을 출력해서 다음으로 보낸다. 여기서 0과 1을 판단하는 함수가 있는데, 이를 **활성화 함수(Activation Function)**라고 한다.