阳明书院座东北朝西南，占地12亩，建筑面积2600平方米。分南北两院，中轴线上为门斗、传心堂、五贤祠、魁星阁，前后三进；南院为教工楼、号房、庖湢;北院为核室。

门斗是指大门。传心堂是指先哲讲学的地方。五贤祠是指王学后人举办重要祭祀的建筑，日常供学生、弟子祭吊及春秋两会主讲的地方，五贤是指王守仁、邹守益、罗洪先、聂豹、欧阳德。号房是指考棚，考试的地方。庖湢是厨房和卫生间。核室，一楼为教室、二楼为藏书的地方。

阳明书院正面的两幅字“东南邹鲁”“西江杏坛”是当时为全国讲会中心之一的荣誉。邹、鲁是孔子、孟子家乡的雅称，泛指有文化的地方。东南是指阳明书院所在地。杏坛是孔子聚徒讲学的地方，也是指教书育人的地方。西江，指江西。五贤祠二楼的魁星阁，象征着当地文化昌盛，传说魁星降临赐福，让庐陵文运昌盛。魁星是指北斗星中的前四星，主管文运功名禄位。“江右王学”，江右是指江西的别称，等同西江，王学发展有四个区域，浙江的绍兴、江西的吉安、广州的潮州、江苏的泰州。其中最成熟最核心的地方就是吉安。讲学是指对精英讲课，讲会是针对普通的民众。

书院内各分室门楣及门框处均有楹联，“天理致良知真三不朽一脉心传登圣域，青原开讲席藉四名徒千秋德化壮庐陵”；“传理入心慎思参透儒禅道，致知格物笃学洞明天地人”；“善恶由心门前我抱齐贤志，后先相踵江右谁矜破贼才”；“良知二字传心远，圣域千秋遗爱深”……这些楹联是阳明书院留存的历史，也是深厚庐陵文化底蕴的见证。阳明书院是我国著名的理学讲坛，是江西著名的书院之一，与白鹭洲书院、鹅湖书院、白鹿洞书院齐名。