La Casa de los Arias Dávila configura, a principios del S. XVI, este Palacio de Hoyuelos como cabecera de su Señorío, un territorio de bosques umbríos y tierras de labor, y de almas, Señorío reconvertido por la Ley de Señoríos Jurisdiccionales en la actual Baronía de Hermoro. Y sucede que el fundador de la Casa y estirpe, Pedro Arias Dávila, formado en la Corte de Don Juan II, dejó de lado cacerías y lebreles, canciones y lecturas, para entretenerse en tareas que se le antojaron de más lucimiento, como las campañas de Granada y de África y, pasando a mayores, la conquista luego de Nicaragua, formulando asimismo el diseño de Panamá. De entonces acá, el palacio ha sido la sede de señores que alternaron la cultura con el ocio, e incluso con la guerra, culminando el Señorío a finales del S. XIX en un ilustrado, el Conde de Cedillo, de la Academia de la Historia, y con cuya hija menor, Constanza, contrae matrimonio el también ilustrado Marqués de Lozoya, que mantiene el recinto como lugar estival de estudio y recreo.