1927年，国民政府定都南京以后，时任教育行政委员会委员蔡元培等人提出“大学院”“大学区制”的改革方案，具体做法是：

第一，在中央设立“中华民国大学院”，取代教育行政委员会，统管全国教育；第二，将全国依省划分为若干大学区，按北伐进军的序次，命名为第一中山大学（广东），第二中山大学（湖北），第三中山大学（浙江），第四中山大学（江苏）……撤销各省教育厅，由各中山大学统管各省教育。

国立东南大学(招生办)，历史悠久、规模宏大、学术地位颇高，早已蜚声海内外。鉴于此，1927年6月9日，国立东南大学被改组为第四中山大学。

1927年11月，“中华民国大学院”正式成立，蔡元培任院长。

第四中山大学校本部设在南京市四牌楼国立东南大学原址，管辖全省14所中学，13所实验中学，5所乡村师范学校及实验小学，4所农业职校。为加强对全省教育系统的管理，南京、上海两特别市的教育由第四中山大学校长亲自指导；全省各县的教育局长由第四中山大学校长委派；第四中山大学还管辖南京国学图书馆、各地省立图书馆以及各扩充教育机构。

国立第四中山大学是在东南大学的基础上与河海工科大学、江苏政法大学、江苏医科大学、南京工业专门学校、南京第一农业专门学校、南京商业专门学校、苏州工业专门学校以及上海医科大学等八校联合组建而成的。当时全校共有教员257人，学生1421人。

由于中山大学不止一处，不易辨记。半年以后，诸多教育行政要人就要求更改校名。1928年2月29日，奉大学院第165号训令，学校更名为江苏大学。

这次改名，在校内掀起了轩然大波。4月13日，学生在体育馆召开全体会议，一致反对改名“江苏大学”，他们甚至还摘下了校门外“江苏大学”的名牌。4月24日，大学委员会召开临时会议，以大学院第337号训令下达称：“江苏大学改称中央大学，得加‘国立’二字”。

是年5月4日，大学院院长蔡元培亲自到校宣布更名，学校首任校长为张乃燕。中央大学建立之初，共有教职工435人，学生1552人。“教育部”1928学年工作概况统计显示，中央大学在当时国内高校中堪称翘楚。

1930年3月，张乃燕校长筹款兴建大礼堂，后因经费问题停工。同年12月13日，朱家骅被任命为新任校长。其后，朱家骅凭借自己在国民党中的影响，请得拨款，由建筑系卢毓骏教授主持续建。大礼堂于1931年4月底竣工，5月5日国民会议在此召开。大礼堂顶高34米，共3层，可容纳2700人。80多年来，巍峨的大礼堂一直矗立在学校中央。如今，大礼堂与六朝松一样，成为海内外校友心目中母校的象征。