इस किले के भुतिया होने के पीछे एक कहानी है| ऐसा कहा जाता है कि बहुत पहले काला जादू करने वाले एक तांत्रिक को भानगढ़ की राजकुमारी रत्नावती से प्यार हो गया और वह तांत्रिक इस राजकुमारी को पाने के ख्वाब देखने लगा | क्योकि तांत्रिक काला जादू जानता था तो उसने राजकुमारी को अपने वश में करने लिए उस पर काला जादू किया पर खुद ही उसका शिकार हो कर मर गया लेकिन मरने से पहले वह भानगढ़ को बर्बादी का श्राप दे जाता है , जिसके कारण पूरा भानगढ़ नष्ट हो गया | यह जगह अब भारतीय पुरातत्व विभाग के अधीन है और उन्होंने सूर्यास्त के बाद इसे किले में नहीं रुकने की सख्त हिदायत दे रखी है।