Das Problem bei Deiner Rechnung ist, dass $[x^n]_0^{\infty} =  \infty$ und $[x^n F_X(n)]_0^{\infty} =  \infty$.

All die Integrale mit Obergrenze $\infty$ sind uneigentliche Integrale und über lim definiert, und mit lim muss man rechnen:

Man muss also mit einer reellen Obergrenze b rechnen, und dann $b\rightarrow \infty$ gehen lassen.
Dann wird aus $[x^n F_X(x)]_0^{\infty}$ der Term $[x^nF_X(x)]_0^b = b^n F_X(b)$.

Passt man Deine Rechnung entsprechend an, so erhält man
$\mathbb{E} [X^n]   \;=\;  \displaystyle \lim_{b \rightarrow \infty} \int_0^b n x^{n-1} (F_X(b)-F_X(x)) \,dx$
Unter der großzügigen Annahme, dass für $b\rightarrow\infty$
nicht nur $F_X(b)$ gegen eins konvergiert,
sondern sogar $\int_0^b x^{n-1} F_X(b) \,dx$ gegen $\int_0^{\infty} x^{n-1} 1 \,dx$,
hast Du es dann bewiesen.