Hallo,

ich will vorab sagen, dass ich wenig Ahnung von den physikalischen Zusammenhängen habe. Aber ich will dir trotzdem mal meine Gedanken dazu geben.

Der Ortsvektor sollte der Berührpunkt der beiden Kugeln sein. Wenn du den Vektor zwischen den beiden Mittelpunkten hast und ich nehme bei Billiardkugeln mal an, dass alle den selben Radius haben, dann sollte der Berührpunkt der Mittelpunkt dieses Verbindungsvektors sein. 

Einen Vektor kann man mit Hilfe einer Drehmatrix drehen. In 2D lautet diese

$$ D_\alpha =  \begin{pmatrix} \cos \alpha & - \sin \alpha \\ \sin \alpha & \cos \alpha \end{pmatrix} $$

Diese Drehmatrix dreht einen Vektor so, als würde er im Koordinatenurpsrung liegen. Das sollte aber für einen Geschwindigkeitsvektor keinen Unterschied machen, da er ja eh nur eine Richtung charakterisiert oder?

Ich denke das Problem liegt jetzt in der Bestimmung des Winkels. Prinzipiell kann man den Winkel durch das Skalarprodukt bestimmen. Hier muss man aber aufpassen, dass man den richtigen Winkel erwischt. Ich denke da kann man eine gute Unterscheidung machen. Wir bestimmen den Winkel zwischen Geschwindigkeitsvektor und unserer senkrechten. Ist dieser Winkel kleiner gleich $90^\circ$, dann haben wir unseren Einfallswinkel. Ist er größer, müssen wir ihn von $180^\circ$ abziehen um den Einfallswinkel zu erhalten. Wenn wir dann 2x denn Einfallswinkel von $180^\circ$ abziehen, ist das die Drehung die wir erreichen wollen. 
Stimmst du mir bis hier hin zu?

Jetzt gibt es noch 1 Problem. Die Drehmatrix dreht immer entgegen des Uhrzeigersinns. Die Drehung die wir haben muss aber nicht immer entgegen des Uhrzeigersinns sein. Wir brauchen also noch eine Information darüber, in welche Richtung wir drehen wollen. 
Vielleicht macht es Sinn, wieder mit der Senkrechten zu arbeiten. Wir müssten mit der Orientierung der Senkrechten arbeiten. Wenn diese eine positive y-Komponente hat, und der Winkel aus dem Skalarprodukt kleiner gleich $90^\circ$ ist, dann sollte die Kugel von "unten" kommen und weiter nach "oben" gehen. Wir bräuchten also eine Drehung im Uhrzeigersinn. Hier müssten wir den Winkel mit einem negativen Vorzeichen belasten. Analog dann bei einem Winkel über $90^\circ$. 

Was sagst du zu den Gedanken?

Grüße Christian