早在先秦時期，中國就已經出現了學校。傳說夏朝就出現了稱為“序”的學校，主要教授射箭。商代又設立了“瞽宗”，用于貴族子弟學習禮樂。西周時期已形成了較為完備的學校系統，分為國學和鄉學兩類。國學設立于首都，包括大學和小學兩級，其中天子設立的大學稱為辟雍，諸侯設立的稱為泮宮。《禮記·王制》記載：“天子命之教，然后為學。小學在公宮南之左。大學在郊，天子曰辟雍，諸侯曰泮宮。”鄉學則是地方官學的總稱，其具體設置又有不同的叫法，如《禮記·學記》：“古之教者，家有塾，黨有庠，術有序，國有學。”

經歷了春秋戰國時期的動亂，官學體系遭到了嚴重的破壞，所謂“天子失官，學在四夷”。而隨著百家學說的興起，民間的私學逐漸繁榮發展起來。這些私學的產生，給了普通民眾受教育的機會，其中最有代表性的就是孔子創辦的儒學。戰國時期，還出現了“半公半私”性質的學校——稷下學宮。稷下學宮本來是齊國以“招致賢人”為目的創建的，希望吸引儒家、道家、法家、陰陽家等各派學者為齊國建設出謀劃策，后來逐漸發展成為集講學、著述、教育、咨詢為一體的高等學府。

在漢代，被破壞的官學體系得以重新建立，在“獨尊儒術”政策的指導下，這些官辦學校以教授儒家經典為主。創立于漢武帝時期的太學，被認為是中國高等教育的發端，教師由博士官擔任，學生從最初的只招收博士弟子五十人，至東漢質帝時，發展到三萬人。地方興辦官學始于蜀郡守文翁，之后在漢武帝的倡導下，各地也逐漸設立了官辦的學校。此外，由于東漢靈帝的個人喜好，東漢末年還一度興辦了以教授文學藝術為主的專科學校——鴻都門學。

漢代的私學也較為發達，出現了以啟蒙教育為主的書館、以傳授儒家經典為主的經館。書館又稱學館，其教師稱為書師，教學內容以識字為主，是后來私塾的前身。經館又稱精舍，其教師多為名家大儒，有固定的講學場所，學生常常以千計，如《后漢書》記載：“蔡玄字叔陵，汝南南頓人也。學通五經，門徒常千人，其著錄者萬六千人。”

魏晉南北朝時期，受戰亂的影響，官學系統又陷入低谷。但很多統治者都注重對官學的建設和恢復，還出現了一些創新性的舉措。如西晉設立了國子學，“定置國子祭酒、博士各一人，助教十五人，以教生徒。”(《晉書·職官志》)，與太學并立，主要培訓貴族子弟。南朝宋設立“四館”，分別講授玄學、史學、文學和儒學，北周在麟趾殿設立麟趾學，講授文史、藝術，這些都擴大了官學教學內容的范圍。

隋朝統治時間雖然不長，但是對于教育非常重視，制定了一系列的政策。例如，設立了國子寺(后改稱國子監)，作為首個專門管理學校教育的行政機構，負責管理國子學、太學、四門學、書學和算學。

唐代國子監在隋代的基礎上，增加了廣文學和律學。為了滿足科舉考試的需要，龍朔三年(663年)以后，國子監以開展經學教育為主，書學、算學、律學分屬蘭臺、秘閣和刑寺管理。此外秘書省設有小學，負責貴族子弟的初級教育。隸屬東宮的崇文館和隸屬門下省的弘文館也都屬于貴族學校。除了中央的官學，地方上各府、州、縣也分別設有府學、州學和縣學，統歸各地長史管理，均以教授儒家經典為主。各級官學的學生逐級通過各類考試后，可以參加科舉考試或直接分派官職，而連續三次考試未通過的，則要終止學習(《新唐書·選舉志》)。

唐宋時期，民間教育以書院為代表。唐末五代時期，受戰亂影響，官學衰落，原本主要是供人讀書的書院，開始有了聚徒講學的作用。到了宋代，私人講學的書院大量出現，如白鹿洞書院、岳麓書院、嵩陽書院、石鼓書院等。隨著理學的發展，加之宋理宗的支持，宋代的書院達到極盛。書院的教學將教師指導、學生自學與集體研討相結合，注重培養學生的學習能力。大多數書院的教學目標不是應科舉，而是研究義理之學，《白鹿洞書院學規》載：“古昔圣賢所以教人為學之意，莫非使之講明義理，以修其身，然后推以及人，非徒欲其務記覽，為詞章，以釣聲名，取利祿而已也。”

明代朝廷對學校教育非常重視，朱元璋曾提出：“治國以教化為先，教化以學校為本。”中央官學以國子監為主，其教育主要為科舉考試服務，參加科舉考試必須經過官學的學習。國子監的學生稱為監生，監生除了日常的學業外，還要分批到政府部門進行實習，稱為監生歷事，以積累從政經驗。

清代學校制度基本沿襲明代舊制。到了清末，內外交困下的清政府宣布廢除八股取士，頒布了《奏定學堂章程》，在全國建立初、中、高三等學堂，實行新的教育制度。辛亥革命后，南京臨時政府規定原有學堂均改稱“學校”，這一名稱一直沿用到今天。

明清時期，隨著科舉制度的完備，民間各種教育機構也逐漸興盛，除了書院以外，義學和家塾都有較大發展。義學也稱義塾，是指私人或地方集資興建、帶有公益性質的啟蒙學校，主要為了教育家族或同鄉子弟，一般免收或減收學費。家塾也就是我們常說的私塾，是由私人創建、為滿足個人家庭教育需要為主的民間學校，規模較小，主要為科舉考試打基礎。大族富戶為了維持家族興盛，追求仕途經濟，都爭相開辦家塾培養子弟，黃宗羲《陳存齋墓碣》稱：“今則比屋為子營入學，嶄嶄惟恐后時矣。”

清末，外國傳教士大舉進入中國，一些教會學校開始在東南沿海地區興建，并逐漸向內地輻射，最終形成涵蓋從初等教育到高等教育，并包括各種專門教育的龐大教育系統，最多時達學校15000所，學生約80萬名。