平安時代に藤原秀郷が築いたという伝承があるが定かでない。正確な築城時期は不明で、１４世紀後半から記録に出現している。この小山城を築いたときに城守りの神として祇園社（現在の須賀神社）を祀ったことから祇園城と呼ばれるようになったという。
１５世紀には小山氏の本城となった。その後の戦国時代には、小山氏は越後の上杉氏や小田原の北条氏に攻略され、天正三年（１５７５年）に北条氏照によって城は陥落。氏照が城を大規模に拡張・整備を行ったという。
のちに小山氏は北条氏の配下として城を回復するが、北条氏の滅亡とともに所領を没収される。城は結城氏に与えられ、慶長五年（１６００年）の徳川家康の上杉征伐の途中、石田三成の挙兵の報を知り、この地において軍議が開かれたことは「小山評定」として有名。
江戸幕府が成立すると本多正純が三万石で城主となり、最終的な縄張りを完成させ、東西約４００メートル南北７００メートルにおよぶ城郭となった。
元和五年（１６１９年）に正純が宇都宮に転封となり、祇園城は廃城となった。
現在は城山公園となっている。