W tym miejscu funkcjonował przez kilkaset lat jeden z 3 najstarszych szpitali Torunia, nadmieniony jako Szpital św. Jakuba już w 1330 r. Z tego względu zdobi go umieszczony nad wejściem barokowy krucyfiks - symbol religijny.
Szpital w średniowieczu rozumiany był jako przytułek dla starszych, kalekich czy ubogich osób. Przytułkami opiekowały się osoby duchowne. Kościół jako założyciel pozyskiwał fundusze od zamożnych osób świeckich i duchownych. Szpitale kliniczne powstawały dopiero w XIX w. wraz z rozwojem medycyny.
W 1929 r. wpisany został do rejestru zabytków i stał się własnością Gminy Miasta Toruń. W okresie powojennym przekształcony na dom mieszkalny.
Obecnie obiekt adaptowany został na hotel i restaurację.