Wielu zniszczeń dokonali również Szwedzi. Szybko jednak odbudowywano wieś. Podczas wojny północnej wieś odbudował biskup warmiński Teodor Potocki. Budowę barokowego pałacu i bramy wjazdowej w XVIII w zainicjował biskup warmiński Adam Stanisław Grabowski. Pałac w Smolajnach był ulubionym miejscem biskupa Ignacego Krasickiego, który urządził tu piękny park i wybudował wieżę bramną wraz z oficyną. Zaraz po II wojnie światowej na wakacje przyjeżdżali tu studenci Katolickiego Uniwersytetu Lubelskiego. Zbudowali tu oni drewnianą kaplicę. Później utworzono tu szkołę rolniczą i technikum rachunkowości.