Pro stavbu biskupské rezidence koupil roku 1662 hradecký biskup Matouš Ferdinand Sobek z Bilenberka tři měšťanské domy. Hradecké biskupství bylo založeno o dva roky později, v roce 1664, ale se stavbou rezidence začal až biskup Tobiáš Jan Becker v roce 1709. Přední část budovy byla stavěna v letech 1709-10 zřejmě podle plánu Marcantonia Canevalla a zadní část dostavěna biskupem Janem Adamem hrabětem Vratislavem z Mitrovic v letech 1714-16 asi podle návrhu Giovanniho Santiniho. V roce 1777 bylo průčelí zvýšeno o druhé patro biskupem Josefem Adamem hrabětem z Arco, čímž vznikl moderní biskupský palác, jak ho známe dnes. Prostorná budova umožňovala, aby v ní již trvale sídlili biskupové. Kolem roku 1830 byl interiér paláce empírově upraven. V roce 1897 shořela střecha, která byla následně opravena.V kapli byl roku 1786 vysvěcen na kněze Josef Dobrovský. Po komunistickém převratu v únoru 1948 směla církev rezidenci využívat velmi omezeně a budova začala chátrat. Roku 1963 byla upravena pro účely Krajské galerie. V roce 1990 se z paláce opět stalo sídlo Biskupství královéhradéckého a o rok později byla zahájena generální rekonstrukce, v roce 1994 byla budova slavnostně vysvěcena. V budově se nacházejí portréty hradeckých biskupů.

Přední průčelí měří přes 26 metrů a je bohatě zdobeno v duchu pozdního baroka. Nejvýraznější prvek představuje vstupní portál, jehož výzdoba vystupuje až do druhého patra. Portál je kamenný, po stranách zdobený jónskými sloupy. Nad ním je umístěn výrazný tympanon se sochou Panny Marie, o patro výš v dalším tympanonu je vytesán znak stavitele rezidence Tobiáše Jana Beckera. V druhém patře je výzdoba ukončena trojúhelníkovým tympanonem s vyobrazeným Duchem Svatým s paprsky. Na mansardové střeše jsou po stranách dva barokní vikýře. Vnitřní výzdoba značně utrpěla přestavbou budovy pro potřeby galerie v roce 1963.

Pátý biskup - Tobiáš Jan Becker, má zásluhu na vytvoření podmínek ke skutečné existenci biskupství, konzistoře, kapituly a kněžského domu. T. J. Becker pocházel z Králík a byl jmenován biskupem v listopadu roku 1701. Byl velmi činný a organizačně schopný, velkou pomocí mu byla velmi dobrá spolupráce s jezuitským řádem. 13. října roku 1709 vysvětil biskupskou rezidenci a katedrálu, protože nenalezl doklady o jejím svěcení.