祠堂為五開間三進(jìn)，大天井內(nèi)有東西兩廂。在清咸豐年間，因遭到太平天國戰(zhàn)爭(zhēng)的破壞，錢氏后裔于清同治11年（1872年）重修，一塊“重修新安鄉(xiāng)錢武肅王祠堂碑記”還鑲在墻上。