$\vec{b}\times\vec{c}$ 垂直于由 $\vec{b}$ 和 $\vec{c}$ 张成的平面(设为 $\pi$). $\vec{a}$ 与 $\vec{b}\times\vec{c}$ 的叉积垂直于 $\vec{b}\times\vec{c}$, 因此必位于平面 $\pi$ 内, 即可由向量 $\vec{b}$ 和 $\vec{c}$ 线性表示.
设 $\vec{a}\times(\vec{b}\times\vec{c})=k\vec{b}+\ell\vec{c}$. 将 $\vec{c}$ 分解为平行于 $\vec{b}$ 的分量和垂直于 $\vec{b}$ 的分量之和. 则
\[
\vec{c}=\langle\vec{c},\frac{\vec{b}}{|\vec{b}|}\rangle\frac{\vec{b}}{|\vec{b}|}+\biggl(\vec{c}-\langle\vec{c},\frac{\vec{b}}{|\vec{b}|}\rangle\frac{\vec{b}}{|\vec{b}|}\biggr)
\]
则
\[
|\vec{b}\times\vec{c}|=|\vec{b}|\cdot\biggl|\vec{c}-\langle\vec{c},\frac{\vec{b}}{|\vec{b}|}\rangle\frac{\vec{b}}{|\vec{b}|}\biggr|
\]
从而
\[
\begin{split}
|\vec{b}\times\vec{c}|^2 &=|\vec{b}|^2\biggl\langle\vec{c}-\langle\vec{c},\frac{\vec{b}}{|\vec{b}|}\rangle\frac{\vec{b}}{|\vec{b}|},\ \vec{c}-\langle\vec{c},\frac{\vec{b}}{|\vec{b}|}\rangle\frac{\vec{b}}{|\vec{b}|}\biggr\rangle\\
&=|\vec{b}|^2\biggl[|\vec{c}|^2-2\frac{\langle\vec{c},\vec{b}\rangle^2}{|\vec{b}|^2}+\frac{\langle\vec{c},\vec{b}\rangle^2}{|\vec{b}|^2}\biggr]\\
&=|\vec{b}|^2|\vec{c}|^2-\langle\vec{b},\vec{c}\rangle^2
\end{split}
\]
注意: 可以直接写出此关系式:
\[
|\vec{b}\times\vec{c}|^2=|\vec{b}|^2|\vec{c}|^2\sin^2\theta=|\vec{b}|^2|\vec{c}|^2-\langle\vec{b},\vec{c}\rangle^2,
\]
其中 $\theta$ 是 $\vec{b}$ 和 $\vec{c}$ 的夹角.
所以,
\[
\begin{split}
|\vec{a}\times(\vec{b}\times\vec{c})|^2 &=|\vec{a}|^2\cdot |\vec{b}\times\vec{c}|^2-\langle\vec{a},\vec{b}\times\vec{c}\rangle^2\\
&=|\vec{a}|^2[|\vec{b}|^2|\vec{c}|^2-\langle\vec{b},\vec{c}\rangle^2]-[\det(\vec{a},\vec{b},\vec{c})]^2\\
&=|\vec{a}|^2|\vec{b}|^2|\vec{c}|^2-|\vec{a}|^2\langle\vec{b},\vec{c}\rangle^2-[\det(\vec{a},\vec{b},\vec{c})]^2.
\end{split}
\]
记上面的式子为 (*), 这里我们用到了混合积的公式
\[
\langle\vec{a},\vec{b}\times\vec{c}\rangle=\langle\vec{b}\times\vec{c},\vec{a}\rangle=(\vec{b},\vec{c},\vec{a})=|\vec{b},\vec{c},\vec{a}|=\det(\vec{b},\vec{c},\vec{a})
\]
于是我们有下面的推论
Cor. 对3维欧氏空间中任意向量 $\vec{a},\vec{b},\vec{c}$, 有
\[
|\vec{a}|^2|\vec{b}|^2|\vec{c}|^2=|\vec{a}|^2\langle\vec{b},\vec{c}\rangle^2+|\vec{b}|^2\langle\vec{c},\vec{a}\rangle^2+|\vec{c}|^2\langle\vec{a},\vec{b}\rangle^2-2\langle\vec{a},\vec{b}\rangle\langle\vec{b},\vec{c}\rangle\langle\vec{c},\vec{a}\rangle+[\det(\vec{a},\vec{b},\vec{c})]^2
\]
推论的证明:
\[
|\langle\vec{a},\vec{c}\rangle\vec{b}-\langle\vec{a},\vec{b}\rangle\vec{c}|^2 =\langle\vec{a},\vec{c}\rangle^2|\vec{b}|^2+\langle\vec{a},\vec{b}\rangle^2|\vec{c}|^2-2\langle\vec{a},\vec{c}\rangle\langle\vec{a},\vec{b}\rangle\langle\vec{b},\vec{c}\rangle
\]
利用 (*) 式及 $\vec{a}\times(\vec{b}\times\vec{c})=\langle\vec{a},\vec{c}\rangle\vec{b}-\langle\vec{a},\vec{b}\rangle\vec{c}$ 可推出
\[
|\vec{a}|^2|\vec{b}|^2|\vec{c}|^2-|\vec{a}|^2\langle\vec{b},\vec{c}\rangle^2-[\det(\vec{a},\vec{b},\vec{c})]^2=|\vec{b}|^2\langle\vec{a},\vec{c}\rangle+|\vec{c}|^2\langle\vec{a},\vec{b}\rangle-2\langle\vec{a},\vec{c}\rangle\langle\vec{a},\vec{b}\rangle\langle\vec{b},\vec{c}\rangle
\]
Q.E.D of Cor.