Cuenta la tradición que en el siglo XIV la virgen de Santa Catalina se apareció en este lugar y por este motivo se erigió una ermita en su honor.
Don Juan Martínez de Iruña, señor y patrono de la ermita, vivía en este paraje en una casa fuerte desde donde se divisaba parte importante de la Llanada Alavesa.
En el siglo XV, su hijo, Andrés Martínez de Iruña, dona la ermita y la torre a la orden de los Jerónimos y los Iruñas se trasladan a vivir a Vitoria, a la casa de Doña Ochanda. Ocupó esta familia puestos muy importantes en la vida vitoriana y su escudo está en el ábside de la iglesia de San Vicente.
Mientras, la ermita y torre en Badaya quedan convertidas en convento titulado "Santa Catalina de Badaya o Nuestra Señora de Gracia". Los Jerónimos residirán aquí durante 60 años, abandonándolo debido a su pobreza. Un año más tarde son los Agustinos los que se instalan en el convento y permanecen en él durante casi 4 siglos.
Al año del abandono, el General Zurbano incendia el convento tras la derrota de un destacamento carlista que se había protegido en él. Desde entonces sus recintos y paredes han sido invadidos por la vegetación y los escombros; también muchos han sido los que utilizaron los restos como cantera de piedra labrada.
En el siglo XIX el Estado se incauta de este convento y habiéndolo puesto en venta es adquirido por un particular en estado de ruina. Es a finales de año 1999 cuando el Ayuntamiento de Iruña de Oca decide aprovechar el magnífico enclave del convento y sus románticos vestigios para la creación de un jardín botánico bajo la sugerencia de Eduardo Álvarez de Arcaya como un óptimo lugar de exposición botánica debido a la confluencia de climas mediterráneo y atlántico.