平安時代末期、伊那源氏で船山城主の片切為行は八男の宗綱を片切郷の南にある大島郷に分知し、宗綱は郷名を名乗って大島氏初代となった。鎌倉時代,室町時代には宗家片切氏とともに守護小笠原氏に属していたものと思われる。大島城の築城年代は定かではないが、大島氏によって築かれたとされる。
　大島城は天竜川に面して東側に突き出すような台地の上に築かれており、現在は台城公園として整備されている。天竜川を背に城の側面,背面は台地の断崖となっており、前面の空堀はこの断崖へと続いている。東端に本丸,西に二の丸,三の丸と配した縄張りで、これらは徐々に拡張されたと考えられる。二の丸,三の丸の西側にはそれぞれ馬出を備えている。三の丸の西にある馬出は民家の敷地になっているが、外側には二重の三日月堀が現存する。二の丸の西にある馬出は、三角形の小郭から三の丸に対して斜めに土橋が架かる珍しい構造をとっている。丸馬出し,三日月堀,枡形虎口などは甲州流築城術の特徴であり、1571(元亀2)年に武田信玄が遠江,三河攻略の拠点とするために秋山虎繁(信友)に命じて大改修を施したときの遺構と思われる。
　1573(元亀4)年、秋山虎繁が東濃岩村城を攻略して織田信長に備えるために伊那を去った頃、武田家臣の日向虎頭(玄徳斎宗栄)が大島城代として入城している。このほか、主な城将に信玄の弟武田信廉(逍遥軒信綱)がいる。
　1582(天正10)年、織田信忠率いる織田勢は伊那路を快進撃して飯田城を落城させた後、電光石火のごとくここ大島城に迫った。大島城には城代の日向玄徳斎と武田逍遥軒信綱のほか、700余人が守備に就いていたが、来襲の日の夜中に武田逍遥軒が城を抜け出て甲斐へと逃走してしまった。このため城兵の多くも城に火を放って逃走し、大島城は自落同然の状態で織田勢に占領されてしまった。ただ、旧城主の大島為継や宗家の片切政忠らは自害、もしくは潔く戦死したと伝えられている。ちなみに武田逍遥軒は勝頼自害後、織田方に捕らえられ府中立石にて斬首されている。