De este Castillo Templario del S.XIII, se conservan el Torreón y lienzos de las murallas (que se cree ocuparon gran parte del pueblo), vestigios que nos demuestran que Segura de Toro fue un importante punto estratégico para vigilar la Ruta de la Plata a su paso por el Valle del Ambroz. Perteneció a los Caballeros de Montegaudio, siendo su maestre el Conde de Sarriá. Esta Orden fue creada por uno de los fundadores de la Orden de Santiago, separado de ésta y unida después al Císter, se la conoció como Orden de Monfragüe, hasta su fusión con la Orden de Calatrava. Por lo que se puede afirmar, que el castillo, perteneció al Temple. Con la supresión de la Orden Templaria, el obispo de Plasencia, don Domingo, recibió los términos de Segura y Hervás. Como Segura tenía un buen castillo, don Domingo lo ocupó con sus mesnadas y puso al frente un castellano. Finalmente, dejó en su testamento, que el lugar de Segura con su castillo fuera para el concejo de Plasencia. Se tiene constancia que su tenencia fue dada por los Reyes Católicos, al menos desde 1489, a Pedro de Carvajal. Hasta 1833 perteneció al Sexmo de Plasencia, figurando después como jurisdicción y partido de Granadilla, y luego al de Hervás.