本所第一任所长傅斯年先生于1928年创建历史语言研究所，并以史语所优越的组织与研究能力为后盾，于1933年委托成立了中央博物院筹备处。他认为博物馆主要目的在教育民众，以提升国民素质，开启国人文化视野。他的博物馆理念带有浓厚的自然史博物馆性质，与收藏展示古董的博物馆截然异趣。
全馆以本所的治学理念——「新学术」精神为主轴，将历年研究成果与素材规划成不同的展示主题。一楼的考古空间以时间为轴，内容包括新石器时代龙山文化、殷商、西周、东周几个相延续的上古文明；二楼历史空间则依史料类型来区分，包括居延汉简、珍藏图书、内阁大库档案、中国西南民族、丰碑拓片、台湾史料六大主题及特展区，由本所各领域的研究人员分别撰文，诠释文物的历史脉络与文化意涵。参观动线由二楼大厅开始，各展区由此向外辐射，各自以既独立又相连的空间区块呈现。
二楼的每一展区皆有一个引介式的空间先介绍文物入藏的经过及其学术价值，再经由空桥的导引，与展示文物的另一空间相连。二楼地面上透明的挑空玻璃，以及从上而下进入一楼的动线设计，都是为营造一楼考古空间深入地底的氛围而设计的。在一楼展区中，通过玻璃墙构成的抽象时间走廊将各展区串连起来，原本馆舍柱列过多可能造成的空间限制，则被巧妙地转化为以空间区块虚拟历史断代的形式。本区的展示除了配合相关的墓或工作照片外，最大的特点就是将整个墓葬出土时的所有文物全数展出，以凸显考古出土物的脉络与特色。
本所文物若按材料区别，有石、骨、蚌、陶、玉、青铜等器物，及竹木简牍与纸本的档案图书。按时代别，则可上溯旧石器时代，下至明、清、近现代。按地区别，则有的远自欧洲，有的近在台湾，大部分出自中国。
其中除图书、金石拓片藏于本所傅斯年图书馆，明清时期内阁档案藏于明清档案工作室外，其余十四余万件文物，皆收藏于本馆。主要内容如下：
本所于中国大陆时期发掘的考古遗物十万余件。其中河南安阳殷虚遗址出土遗物约占库藏量70％；另外，尚有河南浚县辛村、辉县琉璃阁、汲县山彪镇，山东济南城子崖、日照两城镇，甘肃敦煌佛爷庙、武威喇嘛湾及民勤三角城等遗址出土遗物。
原摩梯耶（ Mortillet）父子收藏欧洲旧石器七千余件。
傅斯年先生购于北平的商周青铜器一批。
居延汉简 一万三千余件。
中国民族学文物约一千余件。