南京大学的前身中央大学和金陵大学，都是中国最早进行研究生教育的大学。新中国成立以后，南京大学于1954年恢复研究生招生，直至1965年，全校共招收276名研究生。1978年，南京大学又一次成为全国首批恢复招收研究生的高校之一；1984年，南京大学和21所兄弟院校被列为首批试办研究生院的单位。南京大学研究生院的建立，标志着南京大学的发展进入了一个新的阶段。在1995年初由国务院学位委员会办公室和国家教育委员会对全国33所研究生院综合评估中，南京大学名列第三，被批准正式成立南京大学研究生院。随着南京大学首批进入“211工程”建设以及国家重点建设的高水平大学的行列，南京大学研究生教育进入了一个崭新的发展时期。到2005年6月底，已授博士学位2890名、硕士学位14362名。目前在校研究生9324名，其中博士生2976名，硕士生6348名。2003年12月由教育部批准设立的南京大学苏州研究生院目前正式启动。
南京大学研究生院建院初，就明确以学科建设为龙头，而后学科建设办公室主任由研究生院院长兼任，统筹研究生教育和学科建设工作。目前全校共有18个博士后流动站、16个博士学位授权的一级学科、116个博士学位专业、180个硕士学位专业、7个专业学位授权点。经多年建设，学校拥有了一批新兴交叉学科方向、28个国家重点学科、10个江苏省重点学科、10个国家级重点实验室、11个国家基础学科应用科研和人才培养基地、3个教育部人文社会科学重点研究基地、69个跨学科研究中心。他们为南京大学研究生教育提供了坚实基础。
南京大学拥有一批国内外具有重要学术影响的资深学者，集中了一批优秀的中青年学术骨干活跃在指导研究生的第一线，其中中国科学院和工程院院士26名、“国家重点基础研究发展规划”项目首席科学家2名、国家级有突出贡献的中青年专家18名、教育部“长江学者奖励计划”特聘教授36名、国家杰出青年基金获得者 70名、教育部“跨世纪优秀人才培养计划”人选35名、国家级教学名师4名，在岗博士生导师630名。他们以严谨的治学态度、活跃的学术思想把南京大学的研究生引向科学研究的前沿。
南京大学研究生教育围绕南京大学创建世界一流大学的总体目标、开辟南京大学研究生培养和合作科研的广阔渠道。一批著名政治家、社会活动家如前联合国秘书长布托·加利、前美国总统布什、前德国总统约翰内斯·劳、前澳大利亚总理霍克等以及著名科学家吴健雄、袁家骝、许靖华、史蒂文·穆勒等被授予南京大学名誉博士学位；创建了中美文化研究中心、中德经济法研究所、中日文化研究中心等机构共同培养研究生；1994年，南京大学研究生教育走出国门，经教育部批准赴新加坡开办MBA班，先后又在新加坡、马来西亚开办中文硕士、MBA班，与荷兰合办MBA班。
近年来，南京大学在研究生招生、培养、学位授予、非学历教育、思想教育管理诸方面取得了可喜成绩。南京大学被SCI收录的论文50%以上是在校研究生为第一作者；在《中华人民共和国学位条例》颁布十周年之际，南京大学自己培养的20名毕业生被国务院、教育部授予“在工作中做出突出贡献的中国博士、硕士学位获得者”的光荣称号； 22位博士获得“全国优秀博士学位论文”奖；25部教材由教育部及国务院学位委员会办公室推荐为“全国研究生教学用书”。
随着南京大学“211工程”全面实施和“985工程”二期的启动，南京大学研究生教育将努力探索高素质高层次人才培养的新思路、新模式，把南京大学研究生教育的各项工作扎扎实实落到实处，为南京大学创建世界一流大学的目标勤奋工作。
