Sehr seltsame Aufgabe.

1) Es sind keine Vektoren gegeben, sondern Zahlen - wenn das die Längen von zwei Vektoren sein sollen, dann fehlen da Betragsstriche.
Wenn Du $u=a\dot(a-3b)$ ausrechnen möchtest, und es sind Zahlen gegeben, geht es schneller, einfach einzusetzen: $u=5\dot(5-3\cdot 2)=-5$, da kommt aber nicht 10 heraus.

2) Nehmen wir an, es sind die Längen gegeben und Du sollst das Skalarprodukt $\vec{a}\cdot(\vec{a}-3\vec{b})$ bestimmen.
Warum benutzt Du da eine Wurzel? Damit würde man die Länge eines Vektors ausrechnen. Das Skalarprodukt ergibt aber sowieso schon eine Zahl.

Also: Du hast das Skalarprodukt $\vec{a}\cdot \vec{b}=5$ richtig berechnet. Du darfst den gegebenen Term aus-skalar-multiplizieren und dann entsprechend einsetzen. Dann kommt auch 10 heraus.
Die Wurzel brauchst Du nicht.

Probier das mal.

Edit zur Ergänzung: Das Ergebnis 10 ist keine Vektorlänge, sondern das Ergebnis des Skalarprodukts. Vektorlängen werden gegeben und dann benutzt, aber nicht berechnet.

Und wenn du zufällig am Betrag des Skalarprodukts der Vektoren interessiert sein solltest:

|a * b|=|a|*|b|*|cos(Winkel zwischen a und b)|

Von den Sachen auf der rechten  Seite ist ja Alles gegeben