贵溪是南宋四大书院之一的“象山精舍”创建地。象山书院首创于南宋谆熙十四年（公元1187年），当时称作“象山精舍”。贵溪应天山“陵高而谷邃，林茂而泉清”，陆九渊登而乐之，乃建精舍居焉。学生也悄悄结庐其旁。早晨鸣鼓“揖升讲座”，从容授学。讲授五年，求学者超过数千人。当时已负盛名的理学家朱熹写信给陆九渊说：“闻象山垦辟架凿之功益有绪，来学者亦甚，恨不得一至其间观奇揽胜”。

象山书院几经风霜，几经迁徙，直至清同治年间迁至县城东重建书院，又因战祸，荡然无存。然而，它的影响始终存在。它为贵溪乃至相邻各县的文化发展、培养人才做出了突出贡献。在宋、明时期，贵溪学子中进士者两百余人。南宋嘉定至淳熙四十四年间，贵溪籍郑天佑祖孙三代11人中进士。明嘉庆年间有被誉为“精忠贯日月，芳誉溢乡间”的宰相夏言。有刚正廉洁，“一介不取，一介不予”的应天礼经考官江以朝。他被海瑞称赞为：“江公百世师表，称之天下不愧，世世不愧”。徐九思、徐贵明父子更是明嘉靖年间有名的为民兴利除弊的水利专家。陆象山的哲学思想（包括他的教育思想）由于历史的局限，固然有许多唯心主义成分。但是，他的“六经皆注我，我何注六经”的无畏精神；他反对的“自暴、自弃”，强调“自立、自重，不随人脚跟，学人言语”的开创精神；他的“往哲之言，因时乘理”的深刻见解，不无可取之处。陆象山以他的博学卓识吸引学生，从而使象山书院成为当时全国著名书院之一。清代学者全祖望评价说：“岳麓、白鹿、丽泽、陆氏之象山，并起齐名，四家之徒遍天下”。