Học Machine Learning

Các bài học Machine Learning cơ bản

Ngoài lề 1: Schur Complement và Nghịch đảo của ma trận khối

by · Published · Updated

Xin chào các bạn, trong bài viết này, mình sẽ giới thiệu về Schur Complement của một ma trận khối, và ứng dụng của phép toán này trong việc tìm nghịch đảo của một ma trận khối (inverse of block matrix).

Block matrix factorization

Với một ma trận khối bất kỳ, M = \begin{bmatrix} A & B \\ C & D \end{bmatrix}, trong đó A, B, C, D là các ma trận con với kích thước thích hợp. Khi đó, ta có thể dễ dàng phân tách ma trận M dưới dạng sau đây:

\begin{bmatrix} I & -FH^{-1} \\ 0 & I \end{bmatrix} \begin{bmatrix} E & F \\ G & H \end{bmatrix} \begin{bmatrix} I & 0 \\ -H^{-1}G & I \end{bmatrix} = \begin{bmatrix} E - FH^{-1}G & 0 \\ 0 & H \end{bmatrix} (1)

Bạn đọc có thể kiểm tra phương trình trên bằng các thực hiện phép nhân ma trận theo từng khối (block matrix multiplication).

Block matrix inverse

Với dạng này, chúng ta có thể dễ dàng suy ra công thức cho nghịch đảo của một ma trận khối. Trước tiên, hãy để ý rằng nếu XYZ = W thì nghịch đảo của Y, tức Y^{-1} = ZW^{-1}X. Với công thức này thì ta chỉ cần tìm nghịch đảo của W là có thể tìm ra Y^{-1}, mà không cần phải tìm X^{-1} và Z^{-1}.

Áp dụng công thức này cho biểu thức (1), ta tìm được nghịch đảo M^{-1} theo công thức sau:

\begin{bmatrix} E & F \\ G & H \end{bmatrix}^{-1} = \begin{bmatrix} I & 0 \\ -H^{-1}G & I \end{bmatrix} \begin{bmatrix} (M/H)^{-1} & 0 \\ 0 & H^{-1} \end{bmatrix} \begin{bmatrix} I & -FH^{-1} \\ 0 & I \end{bmatrix} \\ = \begin{bmatrix} (M/H)^{-1} & -(M/H)^{-1}FH^{-1} \\ -H^{-1}G(M/H)^{-1} & H^{-1} + H^{-1}G(M/H)^{-1}FH^{-1}\\ \end{bmatrix}

Bạn đọc có thể kiểm tra biểu thức trên bằng cách phép nhân ma trận khối (block matrix multplication).

Trong đó, M/H = E - FH^{-1}G gọi là Schur complement của ma trận M.

Determinant của block matrix

Schur complement của một ma trận M, tức M/H, có một tính chất rất hay, đó chính là:

det(M) = det(M/H)det(H)

Biểu thức này có thể chứng minh bằng cách dùng phương trình (1) và tính chất của determinant det(AB) = det(A)det(B)

Ứng dụng của Schur Complement

Schur complement có thể dùng để tìm marginal, và conditional distribution của Multivariate Normal Distribution. Mình sẽ giới thiệu về phần này ở một bài viết khác.

Tags:

You may also like...

Leave a Reply

Your email address will not be published.