All’inizio di viale Arnaldi si trova la chiesa della Madonna dell’oliva eretta nel 1512 da Angelo Leonini, al tempo Vescovo di Tivoli. Il nome particolare deriva dal fatto che un tempo la chiesa sorgeva in mezzo agli oliveti.  Una targa affissa sulla parete esterna testimonia il passaggio di Garibaldi, eroe dei due mondi, che venne a Tivoli il 3 luglio 1849.

Utilizzata come locale privato dal 1960,nell’interno si trova ancora parte dell’originario altare dove è posto un affresco che raffigura la Madonna con Bambino. Intorno al dipinto è modellata una decorazione in stucco con rami d’ulivo alla base del cui tronco si può vedere la rappresentazione della città di Tivoli in cui sono riconoscibili il campanile di Santa Maria Maggiore, Villa D’Este, il Tempio di Ercole e le Cascate. Si dice che l’allora vescovo di Tivoli, Angelo Leonini, pose il suo stemma gentilizio sulla facciata di questa chiesetta oggi sconsacrata, che alcuni vescovi dopo il 1890 si fermassero in essa per indossare i propri paramenti prima di entrare in città a svolgere i loro compiti e che fosse utilizzata come luogo d’incontro delle fazioni tiburtine in lotta per trattare la pace, in onore alla Vergine della Pace.
Sulla destra, non molto lontano dalla chiesa invece, si trova una stele di travertino, inizialmente innalzata per ricordare la marcia dei legionari abruzzesi e tiburtini della “Colonna Bottai” su Roma il 28 ottobre 1922, successivamente dedicata alle vittime del nazifascismo.