Es soll $\|a_0-A\beta\|$ minimiert werden (der Abstand von \(a_0\) zu einem beliebigen Punkt der Ebene), das ist äquivalent dazu $\|a_0-A\beta\|^2$ zu minimieren, also $\|a_0-A\beta\|^2=(a_0-A\beta)^T(a_0-A\beta)$, denn es gilt stets $\|u\|^2=u^Tu$.
Ausmultiplizieren gibt: $(a_0-A\beta)^T(a_0-A\beta) =a_0^Ta_0-a_0^TA\beta -(A\beta)^Ta_0+(A\beta)^TA\beta =a_0^Ta_0-a_0^TA\beta -\beta^TA^Ta_0+\beta^TA^TA\beta$.
Ableiten nach $\beta$ (dass da Ableiten nach $\beta'$ steht, halte ich für einen Tippfehler - überhaupt ist es nicht sehr geschickt, das $'$ als Symbol für Ableitung und gleichzeitig für transponiert zu verwenden) ergibt:
$-2A^Ta_0+2A^TA\beta$
Das ist in https://imsc.uni-graz.at/keeling/erd_ws16/ergaenz4.pdf ausführlich vorgerechnet.
Das von Dir erwähnte $x^TAx = (Ax)^T(Ax)$ stimmt allgemein nicht. Es stimmt für symmetrische idempotente Matrizen, das ist die Situation in Deinem pdf-Dokument, die haben wir hier aber nicht. Verwende keine Internet-Fundstücke, in denen spezielle Situationen vorliegen, die Du hier nicht gegeben hast.

Anbei die Aufzeichnungen der Userin aus der Vorlesung.