De kracht van de Markov-modellen is dat de toestand van het systeem alle informatie bevat die we in onze analyse willen beschouwen. We hebben in de voorbeelden gezien (en meer voorbeelden volgen nog) dat met een toestandsruimte die een deelverzameling is van de natuurlijke getallen zinvolle, niet-triviale prestatie-analyse gedaan kan worden.
In het meer algemene Markov-model kan de toestand van het systeem een vector zijn met geheel-tallige waarden, of reële waarden. Dit kan nog meer algemeen gemaakt worden, maar dan verliest het de kracht van de eenvoud.
Het feit dat alle informatie zit in de toestand van het systeem, betekent met name, dat de tijd die al verstreken is (gedurende het verblijf in een toestand) niet bepalend is voor het toekomstig gedrag van het Markov-proces. Daarom heeft de kansverdeling van de verblijftijd van het proces in één toestand noodzakelijkerwijs de geheugenloze eigenschap. Bij een discrete-tijd Markov-keten is de verblijftijd geometrisch verdeeld en bij een continue-tijd Markov-keten heeft de verblijftijd de negatief exponentiële verdeling.
In de volgende hoofdstukken worden de Markov-modellen toegepast op wachtsystemen, verliessystemen en betrouwbaarheidsrekening.