Du unterscheidest bei deinem Vorgehen nicht zwischen x- und y-Richtung. Wenn Du z.B. nur die resultierende Geschwindigkeit in x-Richtung bestimmen würdest, dann könntest Du das, indem Du über ein entsprechendes Dreieck die Geschwindigkeiten bestimmst. Dann bekommst Du für den Körper 2 eine Geschwindigkeit von \( \cos(\pi / 6) \cdot v_2 = \frac{5 \sqrt{3}}{2} \frac{m}{s} \) heraus. Für die Geschwindigkeit von Körper 2 in y-Richtung erhältst Du \( \sin (\pi / 6) \cdot v_2 = \frac{5}{2} \frac{m}{s} \). Mit deiner Formel könntest Du nun die resultierenden Geschwindigkeiten in x- und y-Richtung bestimmen und anschließend mit dem Satz des Pythagoras die Gesamtgeschwindigkeit berechnen. Dies wäre allerdings einfach nur ein umständlicher Weg, der sich leicht in die Lösung deines Professors überführen lässt. 

Hier die Äquivalenz: 
Die resultierenden Geschwindigkeiten sind \( v_x = \frac{m_1 v_1 + v_2 m_2\cos \alpha }{m_1 + m_2} = \frac{1}{3} (20 \cdot \frac{5 \sqrt{3}}{2}) m/s \) und \( v_y = \frac{v_2 m_2 \sin \alpha}{m_1 + m_2} \). Damit ergibt sich 
\( v'^2 = v_x^2 + v_y^2 =  \frac{1}{(m_1 + m_2)^2} (p_1^2 + 2 p_1 v_2 m_2 \cos \alpha + v_2^2 m_2^2 \cos^2 \alpha + v_2^2 m_2^2 \sin \alpha ) = \frac{1}{(m_1 + m_2)^2} (p_1^2 + 2 p_1 p_2 \cos \alpha + p_2^2 (\underbrace{cos^2 \alpha + \sin^2 \alpha}_{=1}) )  = \frac{1}{(m_1 + m_2)^2}(p_1^2 + p_2^2 + 2 p_1 p_2 \cos \alpha) = v'^2 \Leftrightarrow v'^2 (m_1 + m_2)^2 = p_{gesamt}^2 = (p_1^2 + p_2^2 + 2p_1 p_2 \cos \alpha) \).