Il y eu des manoirs sur le site de Groombridge depuis des siècles. La plus ancienne mention est à partir de 1239, lorsque la Seigneurie de Groomsbridge a été accordé à William Russell . William et son épouse Haweis construit un petit château avec des douves à Groombridge, et, plus tard , ont bénéficié d'une charte d’ Henri III d'Angleterre pour construire un chantre . Lorsque William est mort en 1261, la seigneurie a été accordé à Henry de Cobham, 1er baron de Cobham , héritier de l'influente famille du Kent. Juste deux générations plus tard, le domaine appartenait à l'architecte Philip Packer , qui, en 1662, a construit la maison aujourd'hui, avec l'aide de son ami Christopher Wren . Cependant, après avoir épousé une héritière dans une vaine tentative pour résoudre ses problèmes financiers, Phillip Packer est décédé à l'âge de 32 ans, et la succession a été dévolu à la chancellerie . La place est restée vide pendant 20 ans. Bien que Groombridge Place est restée largement intacte depuis sa construction il ya 350 ans, le manoir a subi sa part de restauration.