Das Problem bei Deiner Rechnung ist, dass \([x^n]_0^{\infty} =  \infty\) und \( [x^n F_X(n)]_0^{\infty} =  \infty\).

All die Integrale mit Obergrenze \(\infty\) sind uneigentliche Integrale und über lim definiert, und mit lim muss man rechnen:

Man muss also mit einer reellen Obergrenze b rechnen, und dann \(b\rightarrow \infty\) gehen lassen.
Dann wird aus \([x^n F_X(x)]_0^{\infty}\) der Term \([x^nF_X(x)]_0^b = b^n F_X(b)\).

Passt man Deine Rechnung entsprechend an, so erhält man
\(\mathbb{E} [X^n]
  \;=\;  \displaystyle \lim_{b \rightarrow \infty} \int_0^b n x^{n-1} (F_X(b)-F_X(x)) \,dx\)
Unter der großzügigen Annahme, dass für \(b\rightarrow\infty\)
nicht nur \( F_X(b)\) gegen eins konvergiert,
sondern sogar \( \int_0^b x^{n-1} F_X(b) \,dx\) gegen \( \int_0^{\infty} x^{n-1} 1 \,dx\),
hast Du es dann bewiesen.