Der Hinweis ist ja gegeben dass \(\tan(x)=\dfrac{\sin(x)}{\cos(x)}\) ist. Dementsprechend gilt \(\tan(x^2)=\dfrac{\sin(x^2)}{\cos(x^2)}\). Wenn du wissen willst wie die Tangensfunktion aussieht, lass sie dir doch einfach mal mit deinem Taschenrechner oder auf wolframalpha.com zeichnen. 
Die Ableitung würdest du eigentlich mit Hilfe der Quotientenregel \(f'(x)=\dfrac{u'(x)\cdot v(x)-u(x)\cdot v'(x)}{(v(x))^2}\) für \(f(x)=\dfrac{u(x)}{v(x)}\) mit \(u(x)=\sin(x^2)\) und \(v(x)=\cos(x^2)\). Die Ableitungen \(u'(x)\) und \(v'(x)\) berechnen sich mit Hilfe der Kettenregel. Es ergeben sich \(u'(x)=2x\cdot \cos(x^2)\) und \(v'(x)=-2x\cdot \sin(x^2)\). Dann noch alle Funktionen in die Quotientenregel einsetzen und vereinfachen mit dem gegeben Hinweis. 

Hoffe das hilft weiter.

ersetze einfach tan (x^2) duch sin (x^2) / cos (x^2) und leite diese Funktion ab (Quotientenregel); dann sollst du noch zusammenfassen und umformen und dabei die angegebene Regel (Satz des Pythagoras im Einheitskreis) beachten/benutzen