狄公祠位于距县城8公里黄岭乡姚家村西头。此处原为唐旧县街北门衙狱。据县志载，唐武后天授二年九月梁公狄仁杰拜地官侍郎，同凤各鸾间章平章事，明年，改长寿元年正月被来俊臣所诬贬为彭泽令。七月至县，值岁大旱，民罹饥谨，即抗疏乞免民租，虽皇上免租，但前任县令在县牢关押了三百多名无辜抗租农民，狄仁杰辩悉冤情后，在年末全部放回家中过年，约期返狱，到期仅二名死囚迟到，一为隔江大风所阻，二为老母去世，狄公以恩德及人，均免死罪，将全部罪犯开释，众囚感恩无所报答，每人怀土一兜曰：“以土谢恩，土生万物，狄公乃再生父母”，将土堆放狱侧遂成小丘，后人称为“纵囚墩”。后人在“纵囚墩”上建狄公祠。