Na přelomu 12. a 13. století se v oblasti Švihova rozkládala zemanská sídla, která vlastnil Budovij ze Švihova, mnohem častěji se ale setkáme se jménem jeho syna a dědice Držkaje. První zmínky o švihovské vsi pocházejí z roku 1245. Centrum osídlení se v této době mělo rozkládat v okolí dnešního kostela sv. Jiljí.

Hrad jako takový se výslovně uvádí až o více než jedno století později, roku 1375.  Rýzmberkové na přelomu 13. a 14. století přenesli sídlo z návrší do údolí, kde nechali vybudovat tvrz. Doprovným jevem byl přesun centra osídlení do míst, ve kterých se rozkládá Švihov dnes.

Prvním pánem Švihova se stal Vilém II., jenž se svou manželkou přivedl na svět tři syny – Viléma, Břeňka a Půtu. Prostřední syn, Břeněk, zastával řadu významných funkcí (zasedal u dvorského soudu, stal se nejvyšším komorníkem královstí českého a rok zastával úřad nejvyššího dvorského sudího v Čechách) a po smrti bratrů spravoval Švihov a Rabí.

Již za Břeňka docházelo k přestavbám, které měly tvrz proměnit v hrad. Břeňkovi synové měli spravovat majetek společně, ale nakonec došlo k rozdělení – Jan získal Rabí a Rýzmberk, Vilémovi připadl Švihov.

Nedílnou součástí historie tvrze je i období reformace a husitské revoluce. Vlastník hradu Vilém (syn Břeňka) byl stoupence katolicismu a v době husitských válek stál na straně císaře Zikmunda Lucemburského. Katolíci v západních Čechách navíc viděli Viléma z Rýzmberka jako vůdce protihusitských sil na Plzeňsku. Bojoval dokonce u Tachova, Stříbra či Plzně. Poté co se Vilém rozhodl k výpadu proti kališnickým Klatovům, zahájili Husité tažení proti Švihovu. Husité tvrz obléhali a přibližně o 14 dnů později jí dobyli. Odborníci se neshodnou na tom, co s tvrzí následně udělali. Někteří tvrdí, že jí zapálili, jiný jsou přesvědčeni, že jí pobořili či zcela zničili, další zastávají názor, že tvrz opravili.

Na Švihov se Vilém vrátil až roku 1436. Císař Zikmund jej za jeho služby a věrnost náležitě odměnil prostřednictvím nových území. Díky tomu se Rýzmberkové stali jedním z nejvýznamnějších českých rodů. Dědicem majetku se stal Vilémův syn z druhého manželství, Půta Švihovský, který je spojen s vybudováním hradu na základech tvrze.