绣谷在阊门内后板厂，国初朔州刺史蒋深筑。初刺史之祖垓，成进士后，隐居读书，偶课园丁剃草，土中得一石，有“绣谷”二字，作八分书，遂以名其园。园中亭榭无多，而位置颇有法，相传为王石谷手笔也。康熙三十八年己卯，刺史尝集郡中诸名宿作送春会，坐中年最长者为尤西堂、朱竹两太史，张匠门、惠天牧、徐澄斋诸先生尚为诸生，画师则王石谷、杨子鹤，方外则目存上人。
是时沈归愚尚书年才二十七，居末座，赋诗作画，为一时之盛。刺史之子仙根亦好风雅，乾隆二十四年又作后己卯送春会，则以尚书为首座矣。世传《张忆娘簪花图》，即于是园作也。嘉庆中，为叶河帅观潮所得，道光初，又归南康谢椒石观察，作板舆之奉，今又为婺源王氏所有矣。先是蒋氏欲将是宅出售他姓，犹豫未决，为问于乩仙，仙判一联云“无可奈何花落去，似曾相识燕归来”，是宋人晏殊句也，而不解其义。迨归叶氏，则上句应矣；后叶氏转售于谢，谢又售于王，则下句应矣，异哉。