Die Frage hat mit Integralen erstmal gar nichts zu tun.
Es geht hier um die Transformation eines Gebiets (Kreisscheibe) in ein anderes. Wie diese andere aussieht, ergibt sich aus der angegebenen Transformationsvorschrift.
Man fragt sich: wo läuft \(r\), wenn \(\binom{r\cos \varphi}{r\sin \varphi}\) in der Kreisscheibe liegt? Antwort: \(r\in [0, R]\).
Genauso mit $\varphi$, Antwort: $\varphi \in [0,2\pi)$.
Ergebnis: der transformierte Bereich ist $[0, R]\times [0,2\pi)$, was erstmal ein Rechteck ist (kein Quadrat) und auch kein vollständiges Rechteck, denn der obere Rand des Rechtecks gehört nicht dazu.