阳山县境内使用的方言主要有两种：一种是阳山白话（本地话），属粤语范畴。使用者占全县总人口的55%；一种是客家语，使用者占全县总人口的35%。此外，零星分布着瑶话、惠州白话、星子话、胡广话方言点，使用人口占全县总人口的10%。县城与某些大集镇同时兼用广州白话和带地方口音的普通话。相比较而言，阳山白话在全县的影响最大，客家语方言区、瑶语区的居民进城一般都操县城白话，境内普遍存在双语双方言兼用现象。
阳山白话
在粤语中有一定的代表性，主要分布于阳城、高峰、江英、青莲、水口、杜步、东山、大莨、犁头、岭背、黄坌、小江、石螺、白莲、杨梅等乡镇，使用人口26.6万。
阳山客家语
阳山讲客家语的人，大部分祖先从粤东的梅州、河源、惠州和韶关的新丰迁来，主要分布于县境西部的黎埠镇和西南部的七拱镇、太平镇、杜步镇等。此外青莲镇的南山、杨梅镇的河皮、大（上大下平），秤架的大陂、黄坌镇的北部。全县讲客家语的人口近20万。
阳山湖广话 阳山县湖广话方言分布在阳城镇元江村委会蕉迳村，全村近四百人，阳城镇石彻村委会圹下村，约三百人，七拱新圩大江村委会齐头坑村，约一百人，均来自湖南宜章县麻田村。据了解，黎埠镇界滩村李氏家庭也讲“湖广话”。 韩愈是唐代唯一一位一生曾三次入粤，两次在粤担任地方长官的大文学家、诗人。韩愈十岁时，曾随兄嫂谪居韶州两年。韩愈36岁时，曾因谏旱饥为民请命贬阳山令，第二次入粤，治阳一年两个月。韩愈52岁时，因谏迎佛骨贬潮州刺史，第三次入粤，刺潮八个月。韩愈在令阳和刺潮过程中，施政以仁，为政以廉，轻徭薄赋，关心民瘼，兴修水利，办校兴学，尽责尽力，为人民办好事，做实事，大大促进了阳山、潮州乃至整个岭南的开化、开发和开放，赢得阳山人民“生子名韩”，潮州“一片山水尽姓韩”的美誉。从这个意义上说，韩愈是唐代开发岭南的先驱，为岭南的社会发展和进步作出了重大贡献。就阳山来说，韩愈是阳山历史上第一位有名字，史迹记载的县令。阳山自西汉元鼎六年（公元前111年）设县，至韩愈803年贬阳山令，之前913年的县令无一记载，可以说，阳山有名字记载的县令自韩愈始。韩愈是阳山文化史上由蒙昧走向文明的一位里程碑式的人物。韩愈还是唐代第一位把阳山县名冠入诗文的大文学家、诗人。他804年在阳山写的《送区册序》，第一句是“阳山，天下之穷处也”。同样，他在阳山写的《刘生》诗，第一句是“阳山穷邑唯猿猴”。阳山县名便遂他的诗文闻名天下，走向世界。后人称，世人先知有韩愈，然后知有阳山矣。从这一点说开去，阳山、潮州乃至广东弘扬韩愈文化就更具有独特的意义和优势。