Первое поселение недалеко от будущего Олеского замка существовало в 1700—600 годах до нашей эры. В X—XII веках древнерусское поселение было расположено под самой замковой горой. Олеский замок — одно из старейших сооружений в Галиции. Он построен на перекрёстке старинных торговых дорог из Валахии и Венгрии на Волынь, и служил ключом к этой земле. Исследования фундамента замка показало, что он был выстроен сразу из камня, и деревянной крепости на его месте не существовало. Стены были высотой около 10 метров и 2,5 метра толщиной [1].
Время начала строительства Олеского замка неизвестно. Возможно, Олеский замок начал строиться вскоре после опустошения монголо-татарами в 1241 году древнерусского города Плеснеск [2]. По данным исследователей XIX века, неподтверждённым современным состоянием изученности источников, впервые замок упоминался в 1327 году; из этого делали вывод что он был построен одним из сыновей галицко-волынского князя Юрия Львовича — Андреем либо Львом.
Олеский замок в плане имеет овальную форму и расположен на естественном холме высотой около 50 метров. Замок прошел три периода строительства:
1) конец XIII — начало XIV веков, создание древнерусской крепостной стены;
2) XV — начало XVI веков, строительство внутри стен двухэтажного сооружения;
3) конец XVI — начало XVII веков, расширение замковых помещений.
В старину первую линию обороны представлял частокол, вторую линию — земляной вал с частоколом и рвом, третью линию — сам замок с мощной надвратной башней. В начале XVII века замок приобрёл вид жилого сооружения с чертами стиля итальянского ренессанса.
В 1892 году стены восточной стороны замка были укреплены контрфорсами. Некоторые реставрационные работы проводились в 1930-х годах. В 1961 году отстраивание сооружения начали Львовские реставрационные мастерские. Замку возвращался вид, который он имел в XVII веке, а более ранние интерьеры нижнего этажа воссоздавались в соответствии со временем их создания.