선형(Linear)에 관하여
머신 러닝을 공부하다보면 ‘선형’이라는 말을 자주 접하게 된다.
하지만 ‘선형’이라는 용어가 상당히 혼용되어 사용되고 있다.
이번 기회에 ‘선형’이 무엇인지 확실히 집고 넘어가자.
선형 함수(Linear Function)의 두가지 정의
미적분학(Calculus)에서 선형 함수 (다항식 함수 관점)
$y=ax+b$ 형태의 직선의 방정식으로 나타낼 수 있는 함수.
$deg(y) = 0$ (상수 함수)또는 $deg(y)=1$ (1차 함수)인 함수이다.
다항식 함수(Polynomial Function) 관점에서 선형 함수는 ‘직선’ 형태를 가지고 있다.
선형대수학(Linear Algebra)에서 선형 함수 (선형 사상 관점)
$f(x+y) = f(x) + f(y)$ (가산성)
$f(cx) = cf(x)$ (동차성)
즉, 선형성(linearity)을 만족하는 함수.
만약, $y=ax+b$ 꼴이라면 $(b=0)$ 일 때만 선형 함수이다. (원점을 지나는 직선)
원점을 지나지 않는 경우$(b \neq 0)$를 구분하여 Affine Function(아핀 함수)라고 한다.
선형 함수 개념의 충돌
어떤 관점에서 생각하느냐에 따라 다르게 정의 될 수 있다.
우리가 일반적으로 말하는 ‘선형’은 다항식 함수에서의 선형으로 ‘직선’과 같은 말이다.
그러나 ‘선형 사상(Linear Map)’을 다루는 선형대수학에서는
우리가 선형 함수라고 불러왔던, 원점을 지나지 않는 1차 함수는 더이상 선형 함수가 아니다.
$f(x)=x+1$이라는 함수를 생각해보자.
선형성을 만족한다면, $f(3) = f(1) + f(2)$를 만족해야한다.
$f(3) = 4$이고
$f(1) = 2, f(2) = 3$
$f(1)+f(2) = 5$
이기 때문에 $f(x) = x+1$은 선형 함수가 될 수 없다.
선형 회귀와 선형 모델
‘선형 회귀’는 ($\beta_0 + \beta_1x_1 + \beta_1x_2 + …$) 꼴의 선형 형식(linear form)을 이용하여 변수간의 관계를 보여준다.
‘선형 모델’이라는 것은 어떤 관계가 ‘선형 형식’에 가깝게 표현될 수 있다는 것을 의미한다.
그런데 선형대수학 측면에서 보자면 선형 회귀는 ‘비선형 함수’를 사용하고 있다.
선형성(Linearity) 정의에 의하여 선형 모델은 선형 함수가 아닌 ‘아핀 함수’이기 때문이다.
결론
미적분학에서는 ‘선형 형식(linear form)’을 만족하는 함수를 선형 함수라고 부른다.
선형대수학에서는 사상(map)의 결과가 ‘선형성(liniearity)’을 유지할 때 선형 함수라고 부른다.
결론적으로 선형 회귀는 회귀식 자체가 선형성을 가졌다는게 아닌 ‘선형 모델’을 이용한 통계적 방법을 의미한다는 것을 알 수 있다.