Um dieses Problem zu lösen ist das Anwenden der Differenzialrechnung überflüssig, und wahrscheinlich auch so gedacht von deinem Professor, der Term \(x \cdot sqrt(x-floor(x))\) wird im Intervall maximal, wenn der Term unter der Wurzel maximal ist, also wenn \(floor(x)\) sich einer ganzen Zahl annähert. In diesem Fall wird der Term unter der Wurzel z.B. 1,999-1, also 0,999.
Wenn man jetzt den Faktor x betrachtet muss man auch den noch berücksichtigen und somit den größtmöglichen Wert von x, der < 3 ist nehmen, also 2,99999 usw.
In der Hoffnung dir helfen zu können,
Fix

Die Funktion ist nicht überall differenzierbar, da sie bei ganzzahligen Werten von \(x\) springt. Deshalb wird dir die Ableitung auch nicht viel dabei helfen, Extremwerte zu bestimmen.
Trotzdem: Für \(x\notin\mathbb Z\) kann man die Ableitung bestimmen. Für solche \(x\) ist \(\lfloor x\rfloor\) in einer Umgebung konstant, also kann man es einfach wie eine Konstante betrachten, dann ist \((\lfloor x\rfloor)'=0\) und insgesamt $$\frac d{dx}x\sqrt{x-\lfloor x\rfloor}=1\cdot\sqrt{x-\lfloor x\rfloor}+x\cdot\frac{1}{2\sqrt{x-\lfloor x\rfloor}}=\frac{3x-2\lfloor x\rfloor}{2\sqrt{x-\lfloor x\rfloor}}$$