Aus dem Kreis wird, wenn \(b > \frac{\pi a}{2}\), keine Ellipse. Warum? Nun, bekanntermaßen ist der Kreis diejenige Figur, die bei gegebenem Volumen die kürzeste Randlinie hat. Mit ein bisschen Hin- und Hertricksen kann man daraus herleiten, dass die trennende Kurve, zumindest dort, wo sie nicht den Rechecksrand berührt, ein Kreisbogen sein muss.

Deine Vermutung mit dem Viertelkreis ist also schon mal richtig!

Die trennende Kurve darf natürlich auch am Rechecksrand entlanglaufen, muss sie aber nicht.

Man kann o.B.d.A annehmen, dass \(a\le b\).

Das Rechteck kann man wie folgt in ein Koordinatensystem plazieren:
1. Ecke bei (0,0)
2. Ecke bei (a,0)
3. Ecke bei (a,b)
4. Ecke bei (0,b)

Die Kurve startet zunächst (0,0). Dann steigt sie senkrecht nach oben bis \( (0,y_0) \).
\(y_0\) ist noch unbekannt.
Dort biegt sie nach rechts ab. Ab dort wird sie durch eine stetige Funktion \(f:[0,a]\rightarrow \mathbb{R}^2\) modelliert mit \(f(0) = (0,y_0)\).

Diese Kurve teilt das Rechteck in zwei Teile:
1. Diejenigen Punkte (x,y) des Rechtecks, für die \( y \le f(x) \) gilt
2. Diejenigen Punkte (x,y) des Rechtecks, für die \(y > f(x) \) gilt

Der erste Teil muss nun halb so groß sein wie das Rechteck, also gilt
\( \int_0^a f(x) dx = \frac{ab}{2} \)

Unter dieser Nebenbedingung muss dann f so bestimmt werden, dass die Kurvenlänge minimal wird.
Die Kurvenlänge ist die Länge des senkrechten Stückes + Kurvenlänge von f.
Für die Kurvenlänge von f gibt es eine Formel:

\( \int_0^a \sqrt{1+(f'(x))^2} \,dx \)

Funktionen, die irgendwas minimieren, kann man mit der sog. Variationsrechnung bestimmen.
Minimierung unter Nebenbedingungen geht mit Lagrange-Multiplikatoren, und man kann Lagrange-Multiplikatoren mit der Variationsrechnung kombinieren.

So, das wäre erstmal die grobe Richtung.

Vielleicht sollte man bei dieser Aufgabe ein bisschen wie ein Physiker denken, und nicht wie ein Mathematiker.

Merke:
1. Mathematik ist die Kunst, so faul wie möglich zu sein.
2. Physiker sind die besseren Mathematiker.

Die  Varationsrechnung kann man sich im Grunde genommen sparen, weil: Das Ergebnis wird sein: Kreisbögen minimieren die Bogenlänge. Und da man das Ergebnis schon kennt, weiß man: Die Kurve ist Kreisbögen, wenn sie sich nicht gerade am Rechtecksrand entlangläuft.

Dann kann man sich überlegen, wie der Winkel zwischen Trennkurve und rechtem Rechteckrand aussieht. Dazu spiegelt man das ganze Problem am Rechteckrand, und betrachtet originales und gespiegeltes Rechteck als ganzes. Dann übersetzt man Minimierungsaufgabe in dieses Gesamt-Rechteck \( [0,2a] \times [0,b] \). Das sieht dann so aus:

Finde eine Kurve, die durch die Punkte \( (0,0) \) und \( (0,2a) \) geht, so dass die Fläche zwischen dieser Kurve und der y-Achte \( ab \) beträgt.

Das ist - nach dem oben gesagten - ein Kreisbogen, mit Maximim genau in der Mitte, bei x=a.

Wenn \( y_0=0 \) ist, dann kann man f als Kreisbogen ansetzen, welcher ein Maximum bei x=a hat, und diesen dann mit den Gleichungen
\(f(0)=f(2a)=0,\; \int_0^{2a} f(x)\,dx = ab \)
bestimmen.

Wenn \( y_0>0 \) ist, dann hat eine zusätzliche Unbekannte, nämlich \( y_0\). Also braucht es eine zusätzliche Gleichung.

Die liefert der Kontaktwinkel zwischen dem linken Rechtecksrand und der Kurve. Man stelle sich die Fläche unter f als Flüssigkeit vor. Dann kann man den Kontaktwinkel mit der Youngschen Gleichung ausrechnen, siehe hier: https://de.wikipedia.org/wiki/Kontaktwinkel#Young-Kontaktwinkel:

\( \cos(\theta_Y) = \frac{\gamma_{SG}-\gamma_{SL}}{\gamma_{LG}} \)

wobei

• \(\gamma_{SG}\) die Oberflächenspannung der nicht benetzen Fläche ist. Oberhalb von f soll aber keine Flüssigkeit sein, also ist \(\gamma_{SG}=0\).
• \(\gamma_{SL}\) die Grenzflächenspannung zwischen der benetzten Festkörperoberfläche und der benetzenden Flüssigkeit ist. Da am Rechecksrand die Länge zählt, ist \(\gamma_{SL}\) die Oberflächenspannung der benetzenden Flüssigkeit ist.
• \(\gamma_{LG}\) γ L G   die Oberflächenspannung der benetzenden Flüssigkeit ist.

Dann ist
\( cos(\theta_Y) = \frac{0-(\mbox{ Oberflächenspannung der benetzenden Flüssigkeit})}{\mbox{ Oberflächenspannung der benetzenden Flüssigkeit}} = -1\)
also
\(\theta_Y = \pi\)

Also ist hier kein Knick zwischen Kreisbogen und linkem Rechtecksrand, \(f'(0)=\infty\).