杨山庙位于吴集老街。传说上古时期，炎帝带领杨山侯、灵山侯、洪山侯治理洣水，因操劳过度，四人先后病逝，葬于风光秀丽的洣水河畔，洣水也因此被称为“圣水河”。杨山侯葬在今天的衡东县吴集镇，后人感念他的恩德建杨山庙来祭祀他，尊为太古灵侯，香火旺盛，现在的庙堂修复于清道光年间.