​L'original manoir et de la zone connue sous le nom Broadlands a appartenu à l'abbaye de Romsey depuis le 11ème siècle lors de la Conquête anglaise Normande. Après la dissolution des monastères , Broadlands a été vendu à Sir Francis Fleming en 1547. Sir John St. Barbe apporté de nombreuses améliorations au manoir avant qu'il ne soit laissé à son cousin Humphrey Sydenham en 1723. Lorsque Sydenham a été ruiné au 18ème siècle suite à ses conquêtes navales , il se mit à le vendre à Henry Temple, 1er vicomte Palmerston en 1736. Il a été le 1er Vicomte Palmerston qui a commencé la formalisation des jardins entre le fleuve et la maison. En 1767, une importante architecture de «transformation» a été lancé par Lancelot Brown , un architecte et paysagiste, et complété par l'architecte Henry Holland , qui a conduit à faire du manoir un palais de style palladien.