常氏宗祠始建于何時已經無從考證，但到了清末光緒年間，常氏后裔中的一支常萬玘（后稱南常）和另一支常萬達（后稱北常）則分別建立起自己這一支系的祠堂，村人稱之為“南祠堂”和“北祠堂”。由于歷史原因，包括南祠堂在內的常家莊園南常部份已毀損殆盡、無法恢復，所以我們現在看到的就只是常家的北祠堂了。