Se comenzó en el siglo XIII y se reformó durante el XIV y el XV. Presenta un excelente estado de conservación. Cuenta con murallas y foso, sobre el que se tiende un puente anteriormente levadizo. El edificio está construido en planta poligonal y tiene cuatro torres y patio de armas. Sus muros, de casi dos metros de grosor, soportaron frecuentes ataques, como los de la Guerra Irmandiña, hecho que inspira la fiesta más conocida de la villa: el Asalto ao Castelo. Fue objeto de encarnizadas disputas por parte del arzobispo Fonseca de Compostela y la familia de los Moscoso, dos de los poderes más importantes de la Galicia medieval. Durante siglos, fue propiedad de los condes de Altamira y centro de una extensa jurisdicción de tierra y mar, gobernando los puertos de Camariñas y Laxe. A finales del siglo XIX el poeta del Resurgimiento Evaristo Martelo Paumán del Nero manda restaurar el castillo tras la venta a su familia. Finalmente, pasó a pertenecer a la Diputación de A Coruña, institución que lo rehabilitó y dedicó al uso público, gestionado por el Ayuntamiento de Vimianzo.
En su interior se pueden ver trabajando a diferentes artesanos en la Muestra de Artesanía al Vivo: encaje vimiancés, lino, alfarería, cestería,  trenzado en paja, maquetas de barcos o joyería en vidrio.