唐沢山城は藤原秀郷が延長五年（９２７年）と天慶三年（９４０年）の二度にわたって築城したと伝えられます。後に秀郷の子孫といわれる佐野成俊が足利よりやってきて城を再興して以来、佐野氏代々の居城となりました。
　戦国時代には、小田原北条氏三万五千、越後上杉氏一万五千の大軍の攻撃をたびたび受けますが落城せず、関東の名城として知られるようになります。一時北条氏の持城となっていたが、豊臣秀吉の小田原征伐のとき臣従を誓った佐野房綱が唐沢山城を奪還して秀吉より本領を安堵されます。このとき房綱は唐沢山城を西国式の石垣を多用した城に大改造しています。
　慶長七年（１６０２年）、江戸城周辺の山城禁止令（山城御法度）によって、平野部にある春日岡に新たに佐野城を築城し、唐沢山城は廃城となります。
　しかし廃城の理由は諸説があり、「江戸城大火展望説」や「豊家縁故説」などがあります。
　慶長十九年（１６１４年）、大久保長安事件に連座して、佐野家は取り潰され、佐野は彦根藩の飛び地となり、城跡は佐野城と同様に彦根藩に管理されました。
　明治十六年に、秀郷を祀る唐沢山神社が本丸跡に建てられ、山城全体が境内となっています。