初歩過ぎてあまり説明を見ないベクトル・行列の微分の公式

行列で偏微分をしなきゃいけない時にとっさに忘れて非常に困ったので自分用にメモを残します。

ベクトルでの微分
行列での微分
- 公式
メモ

ベクトルでの微分

Aとxはベクトル（行列）とします。

１． $\dfrac{\partial A^T x}{\partial x} = A$

２． $\dfrac{\partial x^T A}{\partial x} = A$

手計算してチェックしてもいいですが，パっと思いだすのにはやっぱ書いておくべきでしょう。
もちろん，適当に成分を仮定して計算することも出来ます。

３． $\dfrac{\partial x^T A x}{\partial x} = (A+A^T) x$

４． $\frac{ \partial }{ \partial x } \left(Ax - b \right)^T C \left(Ax - b \right) = A^T \left(C+C^T\right)\left( A x - b \right)$

３の練習用の証明)
$\dfrac{\partial x^T A x}{\partial x} = \dfrac{\partial (x^T A) x}{\partial x}+\dfrac{\partial x^T (A x)}{\partial x}$

積の微分法。表記にはすこぶる自信がない。それぞれ１と２を適用して下のようになる。

$= (x^T A)^T + A x$

ここで， $(AB)^T = B^TA^T$ なので，

$= A^Tx + A x$

とまぁこんな感じか。

4も地道に展開すれば証明できます。

行列での微分

$\begin{equation} \dfrac{\partial}{\partial X} a^\top X b = ab^\top \end{equation}$

公式

以下のサイトより引用
「ベクトルで微分・行列で微分」公式まとめ - Qiita

${\begin{eqnarray*} \frac{ \partial }{ \partial A } tr \left( A \right) &=& I \\ \frac{ \partial }{ \partial A } tr \left( AB \right) &=& B^T \\ \frac{ \partial }{ \partial A } tr \left( BA \right) &=& B^T \\ \frac{ \partial }{ \partial A } tr \left( ABA^T \right) &=& A\left(B + B^T \right)\\ \frac{ \partial }{ \partial A } tr \left(f \left(U = g\left(A\right)\right)\right) &=& \frac{ \partial }{ \partial U } tr \left(f \left(U\right)\right) \frac{ \partial }{ \partial A } tr\left(g\left(A\right)\right) \\ \frac{ \partial }{ \partial A^T } f \left( A \right) &=& \left(\frac{ \partial }{ \partial A } f \left( A \right) \right)^T\\ \frac{ \partial }{ \partial A } |A| &=& |A|\left(A^{-1} \right)^T\\ \frac{ \partial }{ \partial A } \ln|A| &=& \left(A^{-1} \right)^T\\ \frac{ \partial }{ \partial X } ||AX - B||_F^2 &=& 2A^T\left(AX - B \right)\\ \frac{ \partial }{ \partial X } ||XA - B||_F^2 &=& 2\left(XA - B \right) A^T\\ \end{eqnarray*} }$