Deine Rechnung ist ein wenig schwer zu durschauen, da du nicht erklärst, was du genau berechnest. Generell, für zwei Punkte $z_1,z_2 \in \mathcal{H}$, der oberen Halbebene, geht man wie folgt vor: 

Gilt für den Realteil $\Re(z_1)=\Re(z_2)$, so verbindet die beiden Punkte eine senkrechte Linie und wir sind fertig. Nehmen wir als an, dass das nicht der Fall ist. Damit $z_1=x_1+iy_1$ und $z_2=x_2+iy_2$ auf demselben Kreis mit Radius $r$ und Mittelpunkt $(a,0)$ liegen, welcher Orthgonal die $x$-Achse schneidet, muss gelten:

$$(x_1-a)^2+y_1^2=r^2=(x_2-a)^2+y_2^2$$

Da sich die Realteile unterscheiden, können wir diese Gleichung nach $a$ auflösen. Dann kannst du noch $r>0$ ausrechnen.  Jetzt du hast deine hyperbolische "Gerade", welche in der hyperbolischen Geometry eben u.A. Kreisbögen sind. 

Ich vermute damit, dass auch all deine Ergebnisse falsch sind. Das obere von den beiden gelben Kästen ist immerhin irgendeine quadratische Gleichung in $x,y$, aber ich will die gerade auch nicht vereinfachen, da mir allgemein in der Lösung leider ein wenig Kontext fehlt. Denk dran, auch Worte sind Mathe: In jedem Paper, Textbuch und Skript, was du liest, wird mehr geschrieben als gerechnet. Und das hat einen Grund!

Ich nehme an, Du verwendest hier das Poincarésche Halbebenenmodell, oder?

Wenn ja, dann ist Dein Ansatz richtig.

Dann aber verstehe ich Deine Gleichungen \(|z|^2=|z-i|^2\) und \(|z^2|=|z-(2+i)|^2\) nicht. Dies sind Gleichungen für die (euklidische) Mittelsenkrechte zwischen den Punkte 0 und A bzw. 0 und D. Diese haben mit der hyperbolischen Geraden nichts zu tun!

Wenn A und D auf K liegen sollen, dann müsste Deine Rechnung doch so anfangen: Finde a, b, c, so dass

    \(a|A|^2 + \Re(bA) + c = 0\)
    \(a|D|^2 + \Re(bD) + c = 0\)

Einsetzen von A und D liefert ein lineares Gleichungssystem mit zwei Gleichungen für die Unbekannten a, b und c. Von diesem Gleichungssystem musst Du dann eine Lösung bestimmen.