Ja, wenn der Zustandsraum endlich ist. Dann koennen die Uebergangswahrscheinlichkeiten in einer Matrix dargestelt werden.

Zunächst wird eine Markow-Kette nicht durch eine Matrix definiert, sondern durch eine Familien von Zufallsvariablen mit bestimmten Eigenschaften. Eine Markow-Kette hat also zunächst erstmal nichts mit Matrizen zu tun.

Allerdings lassen sich die Übergangswahrscheinlichkeiten im Falle einer endlichen Markow-Kette in einer endlichen stochastischen Matrix zusammenfassen. Im Falle einer allgemeinen Markow-Kette ist das aber nicht immer möglich.