高天神城は、遠江国の重要拠点と考えられていました。戦国時代には、この城をめぐって数々の争奪戦が繰り広げられたそうです。

「三の丸」は追手門の東側に位置しています。この跡地からは城東中の学区を見渡すことができます。「あー土方小が見える！」という声も上がっていました。