La fortune de la famille Temple a été basée sur l'élevage des moutons , ils ont d'abord été enregistrée en tant que telle à Witney dans l'Oxfordshire . Le Stowe a été loué à partir de 1571 par Peter Temple, son fils John Temple acheté le manoir en 1589 et c’est devenu la maison de la famille Temple. A la fin du 17e siècle, la maison a été entièrement reconstruite par Sir Richard Temple, sur le présent site. L’ancien bastion médiéval était situé près de l'église paroissiale qui est à environ 100 mètres au sud-est de la maison actuelle. Ayant été repensé par la suite au fil des ans, l'ensemble du front est de 916 pieds (279 m). L'approche allée qui mène à la maison est encore en usage aujourd'hui, mais il ne fonctionne plus sous l'arche.