En el siglo XVI se construyó una ermita dedicada a Santa Catalina de Siena en un montículo entre la ciudad amurallada y la isla de las Palomas, que se convertía en islote cuando subía la marea.
En el siglo XVIII la ermita funcionó también de lazareto (=lugar donde pasaban la cuarentena los viajeros procedentes de lugares con epidemias).
Poco después se convirtió en almacén de pólvora.
1812: tras el intento de invasión napoleónica los ingleses empezaron a fortificar el lugar; pero se quedó sin terminar.
1933: construcción del actual castillo (imitación de un palacio renacentista) para instalar un "semáforo" (=telégrafo óptico de señales marítimas) de la Marina de Guerra, pero no llegó a usarse entonces.
Al comenzar la II Guerra Mundial se usaron presos políticos republicanos para construir "nidos de ametralladoras" (bunkers) alrededor del castillo como medida de defensa ante una eventual invasión de otro país.
Luego el castillo fue ocupado como vivienda por algunas familias tarifeñas.
1972: instalación del semáforo para el control del paso de buques y de un centro de observación meteorológica de la Armada (hasta el año 2000).
Actualmente el Castillo ha pasado a ser propiedad municipal y una escuela taller está restaurándolo. No se ha decidido a qué va a ser destinado, pero podría convertirse en un museo.