La leyenda, solo conocida por los habitantes de la zona, cuenta que las playas y sus habitantes era objeto de frecuentes ataques piratas, y de que gracias al sistema de torres vigías y al uso de caracolas marinas como sistema de aviso, fue posible acabar con ellos. Al jefe de los piratas, se le horadó la mano con un hierro incandescente, atravesándole la mano, y dando con ello nombre a la zona: La Torre de la mano Horadada, que más tarde evolucionó a «La Torre de la Horadada», nombre actual.

La Torre Vigía pertenecía al sistema de vigilancia costera de Felipe II, y fue construida en el año 1591 sobre otra torre anterior. Señalaba el límite sur tradicional del Reino de Valencia, y durante el siglo XIX fue utilizada para hacer señales con el telégrafo óptico. Se trata de una torre de base troncocónica, enlucida y almenada, que dispone de varias ventanas. El acceso al interior se realiza desde el interior de la vivienda particular a la que está adosada. Su nombre proviene de la disposición interior de sus pisos, que se comunicaban por un agujero central que atravesaba la torre de arriba a abajo.