赵南星祠堂位于高邑县东关赵家街路南。南北长二十六点八米，宽八点四五米，有瓦房两排。北房为过厅门口一间，两侧耳室各一间；南房为布瓦硬上顶正殿。正殿与门楼高墙相连，中间成一小方院。院内植松柏，并置一圆形小花池。祠堂门前有一点五米高的围墙，装有铁栅栏门。
赵南星祠堂原称赵家宗祠，是明天启年间吏部尚书赵南星的宗祠，初建于明洪武年间。清嘉庆元年，改平顶为布瓦硬山顶。民国十三年，省政府曾拨款重修。一九八二年，石家庄地区文物处拨款四千元资助修缮。一九八三年县政府将北房过厅东侧耳室的砖墙及北房房顶全部更新。对南方即正殿硬损处进行补修，所有的门窑及房檐下的木板油漆刷新，使其修茸如初。