"国学"一词，古已有之。《周礼•春官宗伯•乐师》言："乐师掌国学之政，以教国子小舞。"《礼记•学记》曰："古之教者，家有塾，党有庠，术有序，国有学。"孙诒让在其所著《周礼•正义》中指出："国学者，在国城中王宫左之小学也。"由此可见，"国学"在中国古代，指的是国家一级的学校，与汉代的"太学"相当。此后朝代更替，"国学"的性质和作用也有所变化。

唐代贞元中，李勃隐居读书于庐山白鹿洞，至南唐时，在其遗址建学馆，以授生徒，号为"庐山国学"（亦称"白鹿洞国学"、"庐山国子监"、"庐山书堂"等），首次使用了"国学"这一概念。到宋代，又改称"白鹿洞书院"，为藏书与讲学之所。宋代书院兴盛，涌现出白鹿、石鼓（一说嵩阳）、睢阳和岳麓四大书院。由此来看，"庐山国学"实际上是一所既藏书又讲学的"学馆"，亦即后来的"书院"。在当时的境域下，所藏之书和所讲之学，自然是中国的传统学术文化。从宋代四大书院的实际情况来看，也是如此。可见此时"国学"这一概念的使用，与"国医"是一样的。

但是，真正把"国学"同诸多"外学"相提并论，即作为一门统揽中国学术的概念提出来，则是在西学东渐、我国社会和学术文化处于空前转型的清末民初。

19世纪末，面对西学和"欧化主义"的刺激，日本学界从世界文化格局中反思和重识本国文化，发出了提倡"国粹"、"国学"的呼声，从此"国学"一词在近现代流行开来。这就自然感染并刺激了处境相似的中国学人。1902年秋，流亡海外的梁启超曾与黄遵宪等人商议，在日本创办《国学报》。但黄主张先作"国学史"，使梁放弃了创办《国学报》的设想。而国粹派学者则趁机力倡"国学"。1904年，邓实在上海的《政艺通报》发表《国学保存论》，论述了保存"国学"的重要性。次年，邓实、黄节等人在上海成立了"国学保存会"，以"研究国学，保存国粹"为宗旨，发行《政艺通报》、《国粹学报》，标志着"国学"在国内的立足。