Palác inspirovaný gotikou postavil v roce 1899 Peter Jakab jako svou soukromou rezidenci. Dokonce pro stavbu budovy posloužily i kamenné kvádry, které nenašly uplatnění při obnově dómu sv. Alžběty. Uvnitř se skrývá přepychový interiér, který sloužil reprezentačním účelům.
Původně palác stál u Mlýnského náhonu, který mu dodával malebný vzhled, náhon však v roce 1968 padl za oběť čtyřproudé silnici.
Když Jakab odcházel, prodal palác Hugovi Barkányiovi, tomu byl roku 1945 zabaven státem, dokonce tu sídlil dočasně prezident E. Beneš. Ovšem dodnes bojuje o palác v restitučních sporech dědička rodiny Barkányi a město.
