Das kleine Landau Symbol \(\mathcal{o}\) sagt, aus, dass eine Funktion langsamer wächst als eine andere. Für \(f=\mathcal{o(g)}\) bedeutet dies, dass \(f\) langsamer wächst als \(g\). Dies kann man auch mit einem Grenzwert beschreiben. Da \(g\) schneller als \(f\) wächst, wird in dem Grenzwert \(\lim_{x \to \infty}\frac{f(x)}{g(x)}\) der Nenner immer größer, sodass er gegen \(0\) konvergiert.

Das klärt sich direkt mit der Definition, z.B. \(f(x)=o(x^4)\) bedeutet \(\frac{f(x)}{x^4}\to 0\), also in der letzten Zeile z.B. \(\lim\limits_{x\to 0} \frac{o(x^4)}{x^4}=0\).
Z.B. das \(o(x^4)\) am Ende der ersten Zeile kommt vom Taylor-Restglied \(R\), denn \(R\le C\frac{x^6}{6!} =D\,x^6 = o(x^4)\) für \(x\to 0\), denn \(\frac{x^6}{x^4} \to 0\) für \(x\to 0\).
Die Schreibweise kommt z.B. in der Numerik oft vor. Was dabei verwirrend ist, ist die Verletzung des Gleichheitszeichens:
es kann sein, dass \(f_1(x)=o(g(x))\) und \(f_2(x)=o(g(x))\), aber \(f_1(x)\neq f_2(x)\), falls beide \(x\to x_0\) sind. Genauer, das ist sogar meistens so. Genauso übrigens für O(g(x)). Manche schreiben daher auch besser: \(f(x)\in o(g(x))\) und meinen damit, dass es in einer Funktionenklasse ist. Das tun aber nur die wenigsten.
Man sollte immer dabei schreiben, für welchen Grenzwert es gemeint ist.