Das ist in der Aufgabe ungeschickt formuliert. Natürlich ist $\frac15\not\in \{0,...,5\}$. Gemeint ist, dass die Inverse von 5 in $Z_6$ existiert, d.h. es gibt eine Zahl $x$ in $Z_6$, so dass $5\cdot x=1$ ist (nichts anderes bedeutet es ja, dass $x=5^{-1}$ ist). Was $x$ konkret ist, kannst Du leicht selbst rausfinden, durch Probieren (es gibt ja nur 6 Möglichkeiten).
Nämlich, was ist also $5^{-1}$? Mit dieser Zahl werden dann im Beispiel  beide Seiten multipliziert.

Das ist hier sehr schlecht notiert. Mit $\frac{1}{5}$ und $\frac{1}{2}$ sind hier nicht die Brüche aus $\mathbb{Q}$ gemeint, sondern die inversen Elemente zu $5$ und $2$, also $5^{-1}$ und $2^{-1}$ aus $\mathbb{Z}_6$, sofern existent. Das sind also die sogenannten $c$, die in $\mathbb{Z}^{*}_m$ enthalten sind.