港之祖祠，前代已有建立。明永乐十九年，上以天后屡著灵异，闻祖祠圯坏，特命内官赴港修整。及嘉靖时，倭人扰攘，民居尽被毁，独祠不坏。祠内供奉始祖唐邵州刺史公暨后之高曾祖父兄并后宝像。顺治辛丑年，奉文迁界，子姓将神主宝像暂寄于涵江天后宫，祠遂圯。康熙二十年，展界复回，乡人同子姓鸠工建造，赴涵请历代神主供于寝堂，宝像供于中厅。春秋二祭，皆在于斯。
世传祠内宝像系异人妆塑，各处供奉之像皆不能及。以迁界寄奉涵江。至复界时，子姓到涵请回。涵之里人不肯。乃同诣神前卜筊，得九十九圣筊。涵江里人遂备船，用彩亭鼓吹，送宝像登舟。船甫开，雷雨骤至，随船之后，而船不沾濡。既入祠，雷雨大作，水溢堂庑。乡族之人不能行礼，口祝于后。雷雨即时屏息，风扫地乾。瞻拜者莫不诧异。嗣后凡有到祠请香火者，多有雷雨随之，至今犹然。