Упираясь в португальскую границу, окруженный морем оливковых рощ, город-крепость Оливенса фактически находился под властью Португалии на протяжении 6 веков. Отсюда и необычное смешение стилей. Так, замок с 30-метровой главной башней был возведен Жуаном ІІ Португальским в XV веке, в бывшем помещении королевской пекарни сейчас Этнографический музей. Церковь Санта-Мария-Магдалина – единственный в стране образец португальского стиля, объединившего готику и Мануэлино XVІ века. Наиболее характерные его особенности спиралевидные колонны и ребристые своды.
В 11 км к северу от Оливенсы находятся остатки моста (380 м), возведенного Мануэлем І Португальским через реку Оливенсу. На нем произошло множество сражений.