Budapest bizonyosan legrégebbi eredetű és ma is használatban álló épülete nemcsak természetszerűen hordozza magában a budai vár történelmét, hanem a legek mellett számos történelmi nevezetesség is kötődik hozzá. Már az épület címe – Hess András tér 3. – is árasztja a történelmi levegőt, az első magyarországi könyvnyomtató nevét viseli, aki 1473 pünkösdjén valahol ennek a háznak a közelében nyomtatta ki a Chronica Hungarorumot, a Budai Krónikának is nevezett első nyomtatott könyvünket. A krónika két részben tárgyalja a magyar történelmet: az első rész szövege több önálló történeti mű összeolvadásából jött létre, a második szakasz I. Lajos halálától Mátyás moldvai hadjárata utánig, 1468-ig tart. Aki látni akarja a becses relikviát, annak sem kell sokat sétálnia a Hess András tértől – a közeli Országos Széchényi Könyvtár több példányt is őriz belőle.
Építészettörténészek a gótikus ablakmaradványból megállapították, hogy az eredeti ház már emeletes volt és 1260 körül épülhetett. Első lakóiról nincsenek ismereteink, azt viszont tudjuk, hogy még félig-meddig új korában, az 1300-as évek első felében igen rangos tulajdonosa volt: Kont Miklós (? –1367. április vége). A jeles férfiú 1345 és 1351 között Nagy Lajos király pohárnokmestere volt. (A pohárnokmester a király legbizalmasabbjai közé tartozott – a cím viselője zászlósúr volt.) Ő lett az uralkodó egyik vezető diplomatája, majd Kont vezette Nagy Lajos második itáliai hadjáratát, később egyszerre töltötte be az erdélyi vajda és a nádor tisztét. A család genealógusa szerint az ő unokája volt az a Kont Pál, akinek a fia felvette a Pálffy nevet – ily módon a ház az egyik legpatinásabb magyar arisztokrata famíliához is kötődik.
Kont Miklós özvegye az épületet a csatkai pálos kolostornak adományozta, s egy rövid ideig e ház falai között őrizték Remete Szent Pál (test)ereklyéjét is. Az ereklye meglehetősen hányatott utat járt meg. A 4. században, Egyiptomban elhunyt remete csontjait a 12. században Konstantinápolyba vitték, majd 1240-be Velencébe kerültek. Nagy Lajos annyira kedvelte a pálos rendet, hogy megfogadta, ha sikerül győzelmet aratnia Velence felett, a szent ereklyét a pálosoknak adja. A szent maradványainak nagyobb részét 1381 októberében szállították Budára, majd onnan kerültek a budaszentlőrinci főmonostorba. Ennek emlékére a középkor végéig az épületet „Remete Szent Pál testét őrző háznak” hívták, és erről nevezték el ekkoriban Szent Pál utcának a mai Fortuna utcát.
Érdekes módon a következő három évszázad háztörténetéről már alig tudunk. Bár a magyar középkorból viszonylag kevés írásos dokumentum maradt fenn, arról oklevelek vallanak, hogy a 15. században iparosok bérelték – többek között egy asztalos és egy ablakkészítő.
A következő feljegyzés már Buda 1686-os visszafoglalásához kötődik. Az épület előtt esett el szeptember 2-án a budai vilájet utolsó török kormányzója, Abdurrahmán Abdi Arnaut pasa. A híres albán származású katona nagy karriert futott be: volt Bagdad kormányzója, majd Egyiptom helytartója, a boszniai vilájet kormányzója, 1682-tól Buda helytartójának nevezték ki, két évre rá pedig az egész hódoltság ura. Az emlékét őrző háromnyelvű tábla is a várfal egy közeli szakaszán áll: „A 145 éves török hódoltság utolsó budai helytartója vezír Abdurrahmán Abdi Arnaut pasa e hely közelében esett el 1686 nyárutó hava 2 napján délután életének 70-ik évében. Hős ellenfél volt békesség vele!” – olvasható a magyar mellett oszmán-török és mai török nyelven.
A Vörös Sün nevet 1696-ban kapta a ház – itt működött az ugyanazon nevű hétszobás fogadó –, akkor ez volt az egyetlen „professzionális” szállóhely Budán. A tulajdonos okosan élt az adottsággal: az épület kertjében népszerű táncesteket rendeztek. Ekkorra már olyan híre volt a Vörös Sünnek, hogy az 1760-as években egy osztrák színigazgató a tánctermet egy színpaddal is kibővítette, ennek köszönhetően Budán elsőként itt tartottak színházi előadást.
A Vörös Sün 1805-ig működött vendégfogadóként, de falai között és kertjében vidám élet zajlott: itt működött az ország egyetlen gyermekszínháza, a Verner színház. A gyermekek nem csak itt, a Hess András téri épület nagytermében és nem csak gyermekközönségnek játszottak nagy sikerrel egész estét betöltő színdarabokat. A 6–14 éves gyermekek sikeres vidéki turnéiról Eszterházán is megemlékeztek.
Az ingatlant 1773-ban Nepauer Mátyás budai építőmester vette meg, aki a színpadot bálok lebonyolítására is alkalmas tánctérré szerette volna átalakítani. Ez a terve azonban nem valósult meg, ugyanis kérelmét a budai városi tanács elutasította. II. József 1783-ban elrendelte, hogy a kormányszékek Pozsonyból Budára költözzenek. Mivel a Vörös Sün ekkorra már kicsinek és korszerűtlennek találtatott, a magisztrátus felszólította a tulajdonost az épület bővítésére, de az nem tudott vagy nem akart a felszólításnak eleget tenni. Ekkor a fogadó működtetési joga máshoz került. Valamennyit bővített rajta – az egyik szobájában néhány évig fogorvosi rendelő is működött.
A ház 19. századi történetéről különösebb érdekességeket nem jegyeztek fel és a 20. század első fele is inkább rontott, mint javított a hírnevén: a két világháború között vöröslámpás házként működött, amíg 1938-ban a hatóság a műintézményt be nem záratta. Az épületet 1959-ben, majd a rendszerváltás után is renoválták, így ma nagyjából régi fényében tündököl, földszintjén pedig az egykori fogadó nagyon távoli leszármazottjának is tekinthető bolt és kávézó működik.