Ich mach das ganze in zwei Dimensionen, weil es da ein bisschen übersichtlicher ist, es funktioniert in drei Dimensionen aber genauso, man muss nur die dritte Koordinate ergänzen.

Sei \(\overrightarrow a=\binom {a_1}{a_2},\ \overrightarrow b=\binom{b_1}{b_2}.\) Nach dem Kosinussatz gilt in obigem Dreieck

\(\begin{align}\left|\overrightarrow a-\overrightarrow b\right|^2&=\left|\overrightarrow a\right|^2+\left|\overrightarrow b\right|^2-2\left|\overrightarrow a\right|\left|\overrightarrow b\right|\cos(\varphi)\\(a_1-b_1)^2+(a_2-b_2)^2&=a_1^2+a_2^2+b_1^2+b_2^2-2\left|\overrightarrow a\right|\left|\overrightarrow b\right|\cos(\varphi)\\-2a_1b_1-2a_2b_2&=-2\left|\overrightarrow a\right|\left|\overrightarrow b\right|\cos(\varphi)\\\overrightarrow a\circ\overrightarrow b&=\left|\overrightarrow a\right|\left|\overrightarrow b\right|\cos(\varphi)\end{align}\)

und das ist die Formel, die du kennst. Sie folgt also direkt aus dem Kosinussatz, man muss bloß ein bisschen rumrechnen.