Um y zu bekommen, musst du x in die Gleichung von f(x) einsetzen.

Zuvor musst du überprüfen, für welchen der beiden x-Werte ein Maximum vorliegt und für welchen ein Minimum.

Außerdem vermute ich, dass vorgegeben ist, dass das Rechteck die Parabel nicht schneiden darf. Das wird aus deiner Aufgabenstellung nicht klar, aber sonst gibt es kein Maximum, sondern die Rechtecksfläche geht gegen `infty` für x gegen `-infty`. Ich nehme an, dass du das meinst mit deiner Aussage über den Definitionsbereich. Dessen linke Grenze ist dann dadurch gegeben, dass P auf dem Scheitelpunkt der Parabel liegt, also `x= 0`. Die rechte Grenze ist `x= 5` wenn P auf einer achsenparallelen Linie mit Q liegt. Am rechten Rand nimmt A den Wert 0 an, das ist uninteressant, am linken Rand könnte aber ein Randmaximum vorliegen, dass du noch überprüfen musst.

Die x-Achse spielt keine Rolle. Die Parabel schneidet die x-Achse bei x = 3, das ist aber völlig irrelevant. Oder steht in der Aufgabenstellung etwas, dass das Rechteck im I. Quadranten liegen soll?