梁学昌《庭立纪闻》云：“《史记·封禅书》：南山、秦中，祠二世皇帝，其后匡衡奏罢之。《三国志·王朗传》注：会稽旧礼秦始皇，与夏禹同庙，朗为太守，除之。此古者祀厉之意，盖鬼有所归，乃不为厉，故泰厉、公厉、族厉之祀，先王皆举而不废。然因有此与（当为“举”字之误），后世建立淫祠，遂假以为说，岂可训乎？温州有秦桧祠，朱文公毁之；王振祠，天顺元年立，见钟惺《明纪编年》；魏忠贤祠，则天启时处处有之。”
又宋高文虎云：“温州土地，杜十姨无夫，五髭须相公无妇，州人迎配，合为一庙，乃杜拾遗、伍子胥。”
按今郡城并无杜拾遗、伍子胥祠，杜与伍足迹并未到温，宜不得有祠，不知此笑柄从何而起。今城内外并无他淫祠，惟载在祀典而剥多待整者尚多，是所望于贤有司之修举废坠耳。