Na de dood van Karel IV werd de burcht voor een tijd weer door de koning gehouden, later aan Chval van Rzavé, burggraaf van Vyšehrad, beleend en uiteindelijk in het erfelijke bezit van de laatstgenoemde gegeven. In 1411 was Jan Sádlo van Smilkov de houder van de burcht, raadsman en gunsteling van de koning Wenceslaus IV. Na zijn dood nam de burcht zijn zoon Jan over. Hij nam in 1435 deel aan de verovering van de burcht Ostromeč van taborieten, daar het garnizoen van Ostromeč veel schade in de omgeving aanrichtte aan de bezittingen van andersdenkenden. In het voorjaar van 1440 nam Jan deel aan vredesbesprekingen van de omliggende regio’s (gewesten van Kouřim, Čáslav, Hradec en Chrudim) en tekende verklaring over het bewaren van de landelijke vrede. Daar was hij ook de hoofdman van het gewest Kouřim gekozen. Jan kocht later de burcht Léštno met landerijen en verkocht in 1443 Kostelec. De nieuwe eigenaar werd Kuneš van Dubá, genaamd Rozkoš (Genot), kleinzoon van de grootste legeraanvoerder van hussieten: Jan Žižka van Trocnov. Hij koos de kant van katholieke tegenstanders van de koning George van Podiebrad en viel vanuit Kostelec zijn wijde omgeving aan met roofovervallen. Omdat Kuneš echter de zgn. "landelijke vrede" ondertekende, maar toch schade bracht aan het Boheemse koninkrijk: "met vuur, afpakken en roof", werd Kostelec in 1449 belegerd, doch zonder resultaat. Na een korte wapenstilstand en onderbreking van de belegering kwam er in 1450 de tweede, door legers van George van Podiebrad en de Pragenaars. Hoewel een van zijn bondgenoten, Friedrich hertog van Saksen, zijn leger naar de stad Most stuurde om een deel van de Tsjechische legers bezig te houden en het zo de belegerde burcht makkelijker te maken, viel Kostelec deze keer snel in handen van zijn belegeraars. Daar de koning George van Podiebrad persoonlijk aan beide belegeringen deelnam, getuigt het over de militaire en politieke betekenis van de burcht. Onder de belegeraars was naar zeggen ook Jan Sádlo junior, waarschijnlijk wegens zijn kennis van de burcht en de zwakke plaatsen ervan. Landgoederen van Kostelec werden verdeeld en de burcht kwam later in handen van Zdeněk van Sternberg, die het liet versterken en uitbreiden. Maar na verloop van tijd werd de burcht verlaten, toebedeeld aan het landgoed van Konopiště en aan zijn lot overgelaten. Vanaf het einde van de 18de eeuw was de burcht eigendom van de heren van Vrtba, eigenaars van de naburige Týnec. Ergens in de loop van de 19de eeuw was het burchtareaal gedeeltelijk schoongemaakt, de weg over de gracht werd met stenen trappen gemakkelijker gemaakt en de kronen van enkele muren waren beveiligd. Op de hoger gelegen binnenplaats werd een paviljoentje gebouwd, met een uitzicht over het dal van de Sázava, maar van dat gebouw is niets meer bewaard.
Tegenwoordig is het burgerlijke genootschap de Orde van de Ridders van de Witte Kruis bezig om de burcht te redden. Doelstelling van de Orde is de overgebleven gebouwen en muren te versterken en veilig te maken uit het oogpunt van de statica en ruimte te creëren voor de presentatie van de burcht en zijn geschiedenis, maar ook voor culturele acties in een aan de historie rijke omgeving...