Am besten formt man schon bei der (a) etwas anders um und geht über die inverse Matrix, also

\( \begin{pmatrix} 3 & -1 \\ 1 & 3 \end{pmatrix} \begin{pmatrix} x_1 \\ x_2 \end{pmatrix} - \begin{pmatrix} x_2 + \cos(x_1) \\ \sin(x_1 + x_2) \end{pmatrix} = \begin{pmatrix} 0 \\ 1 \end{pmatrix}\)

\( \Leftrightarrow \begin{pmatrix} 3 & -1 \\ 1 & 3 \end{pmatrix} \begin{pmatrix} x_1 \\ x_2 \end{pmatrix} = \begin{pmatrix} x_2 + \cos(x_1) \\ 1+\sin(x_1 + x_2) \end{pmatrix} \)

\( \Leftrightarrow \begin{pmatrix} x_1 \\ x_2 \end{pmatrix} = \frac{1}{10} \begin{pmatrix} 3 & 1 \\ -1 & 3 \end{pmatrix} \begin{pmatrix} x_2 + \cos(x_1) \\ 1+\sin(x_1 + x_2) \end{pmatrix} =: \phi \begin{pmatrix} x_1 \\ x_2 \end{pmatrix} \)

Für die (b) erhalten wir dann zunächst

\( \left\| \frac{1}{10} \begin{pmatrix} 3 & 1 \\ -1 & 3 \end{pmatrix} \right\|_{\infty} = \frac{2}{5} \)

Und wegen

\( \vert x_2 - y_2 + \cos(x_1) - \cos(y_1) \vert \) \( \le \vert x_2-y_2 \vert + \vert \cos(x_1) - \cos(y_1) \vert \) \( \le \vert x_2 - y_2 \vert + \vert x_1 - y_1 \vert \)

und

\( \vert \sin(x_1+x_2) - \sin(y_1 + y_2) \vert \le \vert x_1+x_2-(y_1+y_2) \vert \le \vert x_1-y_1 \vert + \vert x_2 - y_2 \vert \)

folgt außerdem

\( \left\| \begin{pmatrix} x_2 + \cos(x_1) \\ 1+\sin(x_1 + x_2) \end{pmatrix} - \begin{pmatrix} y_2 + \cos(y_1) \\ 1+\sin(y_1 + y_2) \end{pmatrix} \right\|_{\infty} \) \( \le \vert x_1-y_1 \vert + \vert x_2-y_2 \vert \) \( \le 2 \cdot \left\| \begin{pmatrix} x_1 \\ x_2 \end{pmatrix} - \begin{pmatrix} y_1 \\ y_2 \end{pmatrix} \right\|_{\infty} \)

Insgesamt gilt also

\( \left\| \phi \begin{pmatrix} x_1 \\ x_2 \end{pmatrix} - \phi \begin{pmatrix} y_1 \\ y_2 \end{pmatrix} \right\|_{\infty} \)

\( = \left\| \frac{1}{10} \begin{pmatrix} 3 & 1 \\ -1 & 3 \end{pmatrix} \left( \begin{pmatrix} x_2 + \cos(x_1) \\ 1+\sin(x_1 + x_2) \end{pmatrix} - \begin{pmatrix} y_2 + \cos(y_1) \\ 1+\sin(y_1 + y_2) \end{pmatrix} \right) \right\|_{\infty} \)

\( \le \left\| \frac{1}{10} \begin{pmatrix} 3 & 1 \\ -1 & 3 \end{pmatrix} \right\|_{\infty} \ \ \left\| \begin{pmatrix} x_2 + \cos(x_1) \\ 1+\sin(x_1 + x_2) \end{pmatrix} - \begin{pmatrix} y_2 + \cos(y_1) \\ 1+\sin(y_1 + y_2) \end{pmatrix} \right\|_{\infty} \)

\( \le \frac{4}{5} \cdot \left\| \begin{pmatrix} x_1 \\ x_2 \end{pmatrix} - \begin{pmatrix} y_1 \\ y_2 \end{pmatrix} \right\|_{\infty} \)

Für die Anwendung des Banachschen Fixpunktsatzes brauchst du dann noch eine geeignete abgeschlossene Menge.