卡內基美隆大學的兩位創辦人，安德魯·卡內基和安德魯·梅隆，皆為美國近代史上舉足輕重的人物。 卡內基是20世紀初美國四大財閥之一，其財富在整個人類歷史中居於第二位，僅次於石油大王洛克菲勒。 而梅隆（Andrew Mellon），是美國著名的銀行家，梅隆金融財團的老家長，並於1921年至1932年間擔任美國財政部長，歷三屆政府而不倒。 梅隆財團是全世界最大的資產管理公司之一，於2007年與紐約銀行完成併購。 官方吉祥物為「蘇格蘭梗」（Scottish Terrier）。

1900年，安德魯·卡內基致函政府，願意出資100萬英鎊建一所技術學院。 後來政府在肖萊公園附近劃出32公頃土地建成了卡內基技術學院。 根據卡內基的設想，學院將為當時的匹茲堡培養3年制所需的工業專門人才。 最初該學院包括科學與技術學校（培養工藝師和助理工程師）；藝術學校（培養設計師和手藝人）；培養製造業和建築業的學徒工和熟練工學校，以及一所培訓家庭主婦和秘書 的瑪格麗特·莫萊遜·卡耐基學校。 在這以後的20年中，學院也設置了碩士和博士的培養教學。

1912年，學校改名為卡內基理工學院（Carnegie Institute of Technology）並提供四年制學位。 轉制以研究為主1913年，銀行家安德魯·W·梅隆（Andrew William Mellon）創立梅隆工業研究所（Mellon Institute of Industrial Research）。

1917年學校設立全美第一個戲劇學院，提供了戲劇相關的學士學位，致力於藝術人才的培育。

1967年，梅隆學院和卡內基學院的董事會決定將兩所學院合而為一，並取名為卡內基美隆大學。

1968年，互格麗特·莫萊遜學校改成一所人文和社會科學方面的學院；同時，又新建了招研究生的學校，如工業管理學院、城市與科學方面的學院，以及近期新建的 計算機科學學院。 另外一些新的研究中心（如軟體工程及機器人中心）等也相繼誕生。

2005年，成立卡內基美隆大學日本分校（Carnegie Mellon CyLab Japan）。