Folgende Dinge musst du wissen, um diese Aufgabe lösen zu können:

1. \(\vec x^2=|\vec x|^2\).
2. \(|\vec a\cdot\vec b|=|\vec a|\cdot|\vec b|\cdot\cos(\angle(\vec a,\vec b))\).
3. \(|\vec a\times\vec b|=|\vec a|\cdot|\vec b|\cdot\sin(\angle(\vec a,\vec b))\).
4. \(\vec a\times\vec b\) steht senkrecht auf \(\vec a\) und \(\vec b\).
5. \(\sin^2\varphi+\cos^2\varphi=1\).

Jetzt können wir alle Rechnungen nachvollziehen. Für die erste Rechnung: Nach 1. gilt \((\vec a\cdot\vec b)(\vec a\cdot \vec b)=|\vec a\cdot\vec b|^2\overset{(2)}=|\vec a|^2|\vec b|^2\cos^2(\angle(\vec a,\vec b))\). Für \(|\vec a\times\vec b|\) wurde die Formel (3) eingesetzt. Für die letzte große Klammer gilt \(\vec a\cdot(\vec a+\vec a\times\vec b)=\vec a^2+\vec a\cdot(\vec a\times\vec b)\). Für den zweiten Summanden wurde benutzt, dass \(\vec a\) nach (4) senkrecht auf \(\vec a\times\vec b\) steht und folglich das Skalarprodukt 0 ist nach (2). Also bleibt nur \(\vec a\cdot\vec a\) von diesem Ausdruck übrig. Damit sind wir bei der zweiten Zeile angelangt.
Von den ersten beiden Termen klammerst du jetzt \(|\vec a|^2|\vec b|^2\) aus und verwendest (5). Zum Vereinfachen von \(\vec a\cdot\vec a\) verwendest du wieder (1). Damit sind wir in der letzten Zeile, aufgrund der Kommutativität kommt insgesamt 0 raus.