बताया जाता है कि फूलबाग में बने इस गोपाल मंदिर का निर्माण सिंधिया राजवंश ने सन 1921 में कराया था। इसके बाद सिंधिया रियासत के महाराज माधवराव ने इसका जीर्णोद्धार कराया और बेशकीमती ज्वैलरी में हीरे और पन्ना जड़ित गहने बनावाए। फिर आजादी के बाद सिंधिया राजवंश ने इस मंदिर की देखरेख और कीमती गहनों को भारत सरकार को सौंप दिए थे। जिनको आज के समय में जिला कोषालय के लॉकर में रखे होते हैं।