야코비 행렬식 (Jacobian Matrix and Determinant)

[요약]

본 포스트는 야코비 행렬식(Jacobian Matrix)에 대해 다루고 있습니다. 

야코비 행렬식이 응용되는 분야가 생각날 때마다 계속해서 추가할 예정입니다.

야코비 행렬식은 그 형태는 단순하지만 미적분학 뿐만아니라 통계학, 계량경제학 등에서 다양하게 사용되는 행렬식이다.

야코비 행렬식의 용도를 나열하자면

1. $n$개의 함수의 집합 중에서 함수적 종속/함수적 독립을 판단

2. 수리통계학: 어떤 분포함수의 변형이 일대일 대응 함수이고 연속확률분포일 때, 그 분포함수의 변환 함수를 도출할 때 사용됨.

3. 음함수 미분법칙의 한가지 방법론으로 사용됨.

가 있다.

0. 야코비 행렬식의 기본형 

함수 $y_i$가 다음과 같이 존재한다고 할 때,

 

$$y_1 = f_1 (x_1, x_2, x_3, \cdots\ , x_n) \\  y_2 = f_2 (x_1, x_2, x_3, \cdots\ , x_n) \\  \vdots\ \\  y_n = f_n (x_1, x_2, x_3, \cdots\ , x_n)$$

 

에 대하여 다음과 같은 행렬식을 표현할 수 있다.

$$\left| J \right| = \begin{vmatrix} \frac { \partial { y_{ 1 } } }{ \partial { x_{ 1 } } }  & \frac { \partial { y_{ 1 } } }{ \partial { x_{ 2 } } }  & \cdots  & \frac { \partial { y_{ 1 } } }{ \partial { x_{ n } } }  \\ \frac { \partial { y_{ 2 } } }{ \partial { x_{ 1 } } }  & \frac { \partial { y_{ 2 } } }{ \partial { x_{ 2 } } }  & \cdots  & \frac { \partial { y_{ 2 } } }{ \partial { x_{ n } } }  \\ \vdots  & \vdots  & \ddots  & \vdots  \\ \frac { \partial { y_{ n } } }{ \partial { x_{ 1 } } }  & \frac { \partial { y_{ n } } }{ \partial { x_{ 2 } } }  & \cdots  & \frac { \partial { y_{ n } } }{ \partial { x_{ n } } } \end{vmatrix}$$

야코비 행렬식의 각 요소(element)는 각 함수 $y_n$을 $x_i$에 대해 편미분한 결과이다. 

1. 연립방정식에서의 야코비 행렬식

Theorem

$n$개의 함수의 집합 중에서 종속관계는 다음과 같다.

(1) $\left| J \right| = 0$이면 함수적으로 종속이다.

(2) $\left| J \right| \not= 0$이면 함수적으로 독립이다.

2. 음함수 미분법칙에서의 야코비 행렬식 (Implicit Function)

Theorem

$$\frac{\partial{y_i}}{\partial{x_1}}= \frac{\left| J_i \right|}{\left| J \right|}$$  

단, $(i=1, 2, \cdots, n)$

Proof

$$\begin{align} &F^{ n }(y_{ 1 },y_{ 2 },\cdots ,y_{ n }:x_{ 1 },x_{ 2 },\cdots ,x_{ n })=0 \\ &dF^{ n }=\frac { \partial { F^{ n } } }{ \partial { y_{ 1 } } } dy_{ 1 }+\frac { \partial { F^{ n } } }{ \partial { y_{ 2 } } } dy_{ 2 }+\cdots +\frac { \partial { F^{ n } } }{ \partial { x_{ 1 } } } dx_{ 1 }+\cdots =0 \end{align}$$

양변을 $dx_1$로 나누면, $x_1$이 아닌 다른 $x_i$는 상수 취급을 하여 모두 0으로 소거된다. $(\because dx_i = 0)$

그러므로 식을 정리하면 

$$\begin{align} dF^{ n }&=\frac { \partial { F^{ n } } }{ \partial { y_{ 1 } } } \frac{dy_1}{dx_1} +\frac { \partial { F^{ n } } }{ \partial { y_{ 2 } } } \frac{dy_2}{dx_1}+\cdots +\frac { \partial { F^{ n } } }{ \partial { x_{ 1 } } } \frac{dx_1}{dx_1}+\underbrace{\cdots\cdots}_{\text{become }0}  =0 \\ &= \frac { \partial { F^{ n } } }{ \partial { y_{ 1 } } } \frac{\partial{y_1}}{\partial{x_1}} +\frac { \partial { F^{ n } } }{ \partial { y_{ 2 } } } \frac{\partial{y_2}}{\partial{x_1}}+\cdots  =-\frac { \partial { F^{ n } } }{ \partial { x_{ 1 } } }\end{align}$$

이다. (여기에서 $\frac{d{y_i}}{d{x_1}}$는 $\frac{\partial{y_i}}{\partial{x_1}}$와 같이 편미분으로 표기해도 상관 없음)

결과적으로 위 식은 $\frac{\partial{y_i}}{\partial{x_1}}$을 변수로하는 방정식으로 표현할 수 있다. 정리된 방정식을 행렬로 나타내면,

$$\underbrace{\begin{pmatrix} \frac { \partial { F_{ 1 } } }{ \partial { y_{ 1 } } }  & \frac { \partial { F_{ 1 } } }{ \partial { y_{ 2 } } }  & \cdots  & \frac { \partial { F_{ 1 } } }{ \partial { y_{ n } } }  \\ \frac { \partial { F_{ 2 } } }{ \partial { y_{ 1 } } }  & \frac { \partial { F_{ 2 } } }{ \partial { y_{ 2 } } }  & \cdots  & \frac { \partial { F_{ 2 } } }{ \partial { y_{ n } } }  \\ \vdots  & \vdots  & \ddots  & \vdots  \\ \frac { \partial { F_{ n } } }{ \partial { y_{ 1 } } }  & \frac { \partial { F_{ n } } }{ \partial { y_{ 2 } } }  & \cdots  & \frac { \partial { F_{ n } } }{ \partial { y_{ n } } } \end{pmatrix}}_{\text{Jacobian Matrix Form}} \begin{pmatrix} \frac{\partial{y_1}}{\partial{x_1}} \\ \vdots \\ \vdots \\ \frac{\partial{y_n}}{\partial{x_1}} \end{pmatrix}  = \begin{pmatrix} -\frac { \partial { F^{ 1 } } }{ \partial { x_{ 1 } } } \\  \vdots \\ \vdots \\ -\frac { \partial { F^{ n } } }{ \partial { x_{ 1 } } } \end{pmatrix}$$

위 행렬의 해는 크래머 공식(Cramer's Rule)을 이용하여 도출할 수 있다. 따라서, $$\frac{\partial{y_i}}{\partial{x_1}}= \frac{\left| J_i \right|}{\left| J \right|}$$ 이 성립함을 알 수 있다.

3. 통계학에서의 야코비 행렬식

연속확률분포함수의 확률변수를 변환하는 변수변환 과정에서 변환된 확률분포함수를 도출할 때에 야코비 행렬식이 사용된다.

Theorem

연속확률변수 $X_1, X_2$의 결합확률변수가 $f(x_1, x_2)$이고 $(x_1, x_2)$와 $(y_1, y_2)$는 서로 **일대일로 대응**하여 $y_1=u_1(x_1, x_2), y_2=u_2(x_1, x_2)$를 $x$에 대해 정리하여 $x_1 = w_1(y_1, y_2), x_2 = w_2(y_1, y_2)$가 될 때, $Y_1$과 $Y_2$의 결합확률분포는 

$$g(y_1, y_2)=f[w_1(y_1, y_2), w_2(y_1, y_2)] \cdot \left| J \right|$$

이다. 여기서 $\left| J \right|$는 야코비 행렬식이고 각 요소에는 $x_i$에 대한 $y_i$ 편미분 값을 갖는다.

본 포스트에서는 야코비 행렬식의 활용에 대해 알아보았습니다. 이 외에도 야코비 행렬식은 그 특성상 다양한 용도로 활용할 수 있겠죠?