Das Kaiserhaus wurde 1587 als erstes steinernes Haus in Hildesheim durch den Rechtsgelehrten Caspar Borcholt  erbaut. Nach der Zerstörung im Krieg vom 22. März 1945 wurde die Fassade 1997 an einem modernen Bau restauriert. Es war einst eines der prächtigsten Wohnhäuser der historischen Fachwerkstadt. Die Figuren auf der reichgeschmückten Fassade des Renaissancebaus am Alten Markt symbolisieren die vier Weltepochen: von links die assyrisch-babylonische, die persische, die griechische und die römische. Die Bilder im Erker stellen die Jahreszeiten dar. Seinen Namen hat das Haus nach den Medaillons mit Darstellungen römischer Kaiser.

Das Kaiserhaus ist der Gründungssitz des Hornemann-Instituts, eines Zentrums zur Erhaltung des Weltkulturerbes.

Caspar Borcholt (* in Lüneburg; † 5. September 1599 in Hildesheim) war erzbischöflich bremischer, bischöflich hildesheimischer und fürstlich lüneburgischer Rat.

Geboren wurde er als Sohn des späteren Ratsherrn Statius Borcholt (d. Ä.), der 1569 starb und seiner Frau Hille von der Mühlen. 1587 baute er das Kaiserhaus in Hildesheim als erstes steinernes Haus der Fachwerkstadt.

Seine Brüder waren der Kanzler von Verden Heinrich Borcholt (1531–1585), der Bürgermeister von Lüneburg (1578–1594) Georg Borcholt (* 1600) und der berühmte Rostocker Professor Johannes Borcholt (1535–1593).