鈐山堂里外兩進，門前古樟掩映，院后桂樹飄香，曾漁和嚴紹慶、嚴紹庭兄弟住在內堂，內堂是一個天井和一棟兩側有廂房圍著的二層木樓，婢女仆婦住廂房，主人住正房和樓上，人口不多，很是寬敞。

對于曾漁來說，住在鈐山堂這邊固然少了一份獨處的清靜，但意外的妙處是：鈐山堂內堂的樓上除了嚴嵩當年的大量藏書外，還有兩間書房是嚴世蕃收藏書畫古董之所，據嚴紹慶說這里的藏品僅次于其父嚴世蕃在北京的“月明來仙居”...