Jednu z výrazných dominant města dal Otakar II. postavit jako hrad podtrhující jeho moc. Pevností se stal v 18. století. Součástí pevnosti bylo i vězení, kam se zavírali nejen trestanci, ale provinilci z řad vysoce postavených vojenských osobností jako např. generál Trench.
Josef II. v roce 1783 ještě přitvrdil a vystavil zde civilní trestnici pro nejtěžší zločince, kdy vznikly kasematy a vězni zde konali nejtěžší práce. Poté už vězení sloužilo pro politické vězně, až bylo zrušeno úplně a vznikly zde kasárny pro vojáky. Svůj trest si zde odpykával také známý loupežník V. Babinský. Od roku 1962 je Špilberk národní kulturní památkou.
Dnes lze na Špilberku navštívit kasematy, rozhlednu, s průvodcem na objednávku lze navštívit i jihozápadní bastion, navštívit lze i různé expozice. Navíc je ze Špilberku pěkný rozhled na město a jedná se jistě i o příjemní místo k odpočinku
