Das hört sich nach dem richtigen Rechenweg an. Was meinst du damit, dass du die quadratische Funktion nicht lösen kannst? Ich rechne mal die (a): $$g:2x-y=6\Longleftrightarrow y=2x-6\quad\text{ in hyp }\quad 8x^2-5(2x-6)^2=108\Longleftrightarrow 8x^2-5(4x^2-24x+36)=108\Longleftrightarrow -12x^2+120x=288$$ $$\Longleftrightarrow x^2-10x+24=0\Longrightarrow x_{1,2}=\frac{10}2\pm\sqrt{\left(\frac{10}2\right)^2-24}=5\pm1\Longrightarrow x_1=4,x_2=6$$ und die dazugehörigen $y$-Werte bekommst du dann, wenn du die $x$-Werte in $y=2x-6$ einsetzt.