唐改县名名鲁山，因县东北十八里有鲁山。据《读史方舆纪要》：“山高耸，回生群山，为一邑巨镇，县以此名。”

鲁山县历史悠久，夏商时，鲁山县初称鲁县，后改称鲁阳，春秋时属郑，后来隶楚。楚肃王三十年（公元前374年），魏伐楚取鲁阳，鲁阳属魏，西汉置鲁阳县，归南阳郡。三国时，属魏，晋代，属南阳国，南北朝永初年间，属南朝宋。公元487年，北魏孝文帝南巡，改名山北县，并置鲁阳镇。太和十八年（495），为荆州治所，又为广州治所。太和二十二年（499）。兼鲁阳郡治所。隋大业初（617），改名鲁县。唐武德四年（621），为鲁州治所。贞观元年（627），废州，改鲁县为鲁山县，隶属伊州。贞观八年（634），属汝州。至明洪武初，属南阳府汝州。成化十二年汝州升为直隶州，鲁山县直至清末民初仍隶属汝州直隶州。民国三年（1914），属河南河洛道，民国二十一（1932）年到三十六年（1947），属河南省第五行政区。1949年后隶属许昌专区（后改地区），1983年归平顶山市辖，至今未变。