金山城は保元二年（１１５７年）、源義家の嫡孫にあたる新田義重が要害城として築いたのが始まりとなります。しかし新田義貞が南朝について敗北すると廃城となりました。
　その後、文明元年（１４６９年）に岩松（新田）家純が重臣・横瀬（新田）国繁に命じて再築し、国繁が城代となります。のちに古河公方・足利成氏に攻められるが落城せず、名城として名を高めました。
　次第に勢力を強めた横瀬氏は、泰繁の代の享禄元年（１５２８年）、主家・岩松昌純を滅ぼし、姓を由良氏に改め金山城主となります。
　このときの由良氏による金山城増強により、堅堀が作られ、土居や腰曲輪を整え、石垣を大量に用いた本格的城郭となりました。
　由良氏はのちに古河公方に属したため、金山城は上杉謙信、北条氏政、武田勝頼に攻められましたが落城しませんでした。
　その後、由良国繁は北条氏直の謀略によって小田原城に拘留され、金山城は北条氏邦と成田氏長の連合軍に攻められましたが落城しませんでした。しかし国繁の母・由良輝子が息子の一命を案じて和議の使者を差し出し、難攻不落の金山城はついに北条氏の軍門に下ります。北条家臣・清水康英が城代として入り、由良氏は桐生城に退きました。
　豊臣秀吉の小田原攻めに由良国繁は北条方として小田原城へ派兵しましたが、輝子は孫の由良貞繁を大将とした軍を豊臣方に差し出し、鉢形城や八王子城攻めに活躍します。戦後、この輝子計らいで国繁は助命され、常陸牛久に転封されました。
　金山城はその後廃城となり、明治六年、天主曲輪に新田神社が創建されました。