元亀年間(1570～73年)に亀山城の奥平氏が武田氏との和睦の証として塞之神城と共に築城した。しかし、奥平氏が和睦を渋り遅延していたため武田側より強談に合い、一日にして築いたことから｢一夜城｣とも呼ばれた。
　1573(天正元)年、奥平貞能,貞昌父子は徳川方へ寝返り、居城の亀山城を退去して滝山城に入る。近くの古宮城から武田軍に追撃されるも(石筒ヶ根古戦場)徳川軍の援軍を得て武田軍は撤退した。奥平氏は1575(天正3)年の長篠設楽ヶ原の戦いで織田徳川連合軍とともに武田勝頼軍に勝利し、地方豪族から歴史の表舞台へと登場する。
　城砦は標高661m,比高160mの文殊山に築かれ、楕円形の主郭には西と東に虎口を設けられ、一部を除いて土塁が囲んでいる。現在は物見櫓,城柵が設置されている。主郭中央の文殊菩薩像が祀られた文殊堂は江戸時代に地元有志により奉納されたもので、城名はこの文殊堂が山麓の善福寺奥之院にあたることに因んでいるという。