由華僑大學第二至第五屆董事會董事、香港中文大學榮譽講座教授、美國密歇根大學研究科學家杜祖貽教授于2004年倡建，并捐贈100萬港元建設資金及一批價值不菲的文物，2013年再捐贈300萬元人民幣作為文物館發展基金。隨后新加坡魏維賢教授、梁榮基教授、李懷德先生；香港蔡永業夫人、吳忠旦先生、麥繼強教授、魏玉心博士、劉素絢女士、洪蘭教授、胡宗仁先生；臺灣歐豪年教授等知名人士以各種方式襄助。館藏展品迄今已達數百件。原四端文物館臨時展館位于華僑大學廈門校區行政研發大樓23層。新館位于鄭年錦圖書館二期，2014年11月開館。
