Das \(a\) hängt weder von \(k\) noch \(j\) ab, das kannst du also vor beide Summen ziehen. Ebenso hängt das \(k^2\) nicht von \(j\) ab, also kannst du das vor die innere Summe ziehen. Dann sind wir schonmal bei \(a\sum_{k=0}^n\left(k^2\sum_{j=1}^mj\right)\) Jetzt hängt die innere Summe auch nicht mehr von \(k\) ab, also kannst du die ganze innere Summe ausklammern und kommst auf \(a\left(\sum_{k=0}^nk^2\right)\left(\sum_{j=1}^mj\right)\) und jetzt musst du nur noch die Formeln für die Summe der ersten \(m\) Zahlen und ersten \(n\) Quadratzahlen einsetzen, die du hoffentlich kennst.

Behandle zuerst die innere Summe. Es gilt $$\sum_{j=1}^m ak^2j = ak^2 \cdot \sum_{j=1}^m j$$Diese Summe kannst du nun ganz einfach mit der gaußschen Summenformel berechnen. Jetzt zur äußern Summe. Es gilt $$\sum_{k=0}^n \Bigl(ak^2 \cdot \sum_{j=1}^m j \Bigr)=a \cdot \sum_{j=1}^m \Bigl (j\Bigr)\cdot \sum_{k=0}^n k^2$$Hier verwendest du dann \(\sum_{k=1}^n k^2 = \frac {n(n+1)(2n+1)}{6}\)