Na místě dnešní Zámecké lékárny byly původně 2 měšťanské domy, které koupil Petr Vok z Rožmberka po jeho přestěhování do Třeboně.

Domy zakoupil s jasným účelem vybudování paláce pro uložení sbírek, obrazů, knih a uměleckých předmětů.

V roce 1605 byl započato se stavbou, první knihy se stěhovaly v roce 1607 a 1608.

Současně s palácem byly provedeny i stavební změny na zámku tak, aby bibliotéka byla přístupná přímo ze zámku z pokojů Petra Voka a z reprezentačních prostor.

Po smrti Petra Voka byl palác využíván jako ubytovací rezerva pro hosty, byty pro trvalé bydlení, v plánu bylo využít palác jako sídlo Schwarzenberských úředníků.

V přízemí domu bydlel lékárník, v patře od roku 1727 také lékař.