Prawdopodobnie już w XIV w. istniał w Pankowie obronny dwór, otoczony fosą i stawami pełnił funkcje tzw. zamku ucieczkowego dla okolicznej ludności. Zabudowania strawił pożar w XVI wieku, później zostały odbudowane, przebudowane i ponownie zniszczone podczas wojny trzydziestoletniej.

Zamek został ponownie odbudowany, lecz powoli tracił swoje funkcje obronne, a w XVIII w. służył jako pałac myśliwski. Przed II wojną światową pałac pełnił funkcję budynku mieszkalnego, po wojnie niszczeje do dziś.