Du musst auf die Richtung des Vektors achten, diese muss immer vom Scheitel aus wegführen. Wenn du also den Winkel $\alpha$ berechnen willst brauchst du die Vektoren $\overrightarrow{AB}$ und $\overrightarrow{AM}$ und nicht $\overrightarrow{MA}$. Bei dem Winkel $\beta$ das gleiche, du benötigst $\overrightarrow{BA}$ statt $\overrightarrow{AB}$. Bei den Beträgen der Vektoren im Nenner würde das keinen Unterschied machen, aber durch das Skalarprodukt im Zähler kommst du dadurch auf etwas anderes, was dann auch zu einem falschen Winkel führt.