Markov-eigenschap

Een stochastisch proces heeft de Markov-eigenschap indien het verloop van het proces voor volledig bepaald wordt door . Dat wil zeggen dat geen extra informatie over verkregen wordt door naast ook nog te kennen wanneer s < t.

De waarde van is de toestand van het Markov-proces op tijdstip t. Als we t identificeren met ``heden'' dan wil de Markov-eigenschap zeggen dat alle informatie van het systeem over het gedrag in de ``toekomst'' gegeven wordt door de huidige toestand en dat kennis van het proces uit het ``verleden'' hier niets aan toevoegt.

De Markov-eigenschap impliceert dat de verblijftijd in een gegeven toestand een ``geheugenloze'' verdeling moet hebben.

Een Markov-proces is nu, per definitie, een stochastisch proces dat aan de Markov-eigenschap voldoet. Een Markov-proces wordt ook wel Markov-keten genoemd indien de toestandsruimte discreet is, d.w.z. kan alleen waarden aannemen in een aftelbare verzameling. In de gevallen die wij bestuderen is de toestandsruimte steeds de discrete verzameling of een eindige deelverzameling daarvan.

Afhankelijk van de waarden die de tijd-parameter kan aannemen spreken we van een continue-tijd Markov-keten of een discrete-tijd Markov-keten. Bij een continue-tijd Markov-keten is t een continue variabele, meestal met waarden in het interval . Bij een discrete-tijd Markov-proces is t een discrete variabele, meestal met waarden uit de verzameling .

Conceptueel is een discrete-tijd Markov-proces nog het meest eenvoudige. Voordat we daarmee beginnen, eerst nog een korte herhaling van matrixrekening, omdat daarmee zo compact de waarschijnlijkheidsanalyse van Markov-ketens beschreven kan worden.