Zum Beispiel kannst du die erste Gleichung nach $a^2$ auflösen $$36b^2+16a^2=a^2b^2\Longrightarrow36b^2=a^2b^2-16a^2=a^2(b^2-16)\Longrightarrow a^2=\frac{36b^2}{b^2-16}$$ Das kannst du dann in die zweite Gleichung einsetzen, um auf $$64b^2+9\frac{36b^2}{b^2-16}=b^2\frac{36b^2}{b^2-16}$$ Jetzt kannst du mit $b^2-16$ multiplizieren und durch $b^2$ teilen, denn $b^2=0$ ist sicher keine Lösung. Dann kommst du auf $$64(b^2-16)+324=36b^2\Longrightarrow 28b^2=64\cdot16-324=700\Longrightarrow b^2=25$$ und wenn du das wieder in die Gleichung mit $a^2=\ldots$ einsetzt, erhälst du $a^2=100$.