কথিত আছে, আড়াইশো বছর আগে বিদ‍্যাধরীর জলস্ফিতি হয়ে বন‍্যায় ভেসেছিল সুন্দরবনের বিস্তীর্ণ এলাকা। সেই সময় সুন্দরবনের জঙ্গলে বিদ‍্যাধরী নদীর পাশে এক সাধু জঙ্গলের মঙ্গলের জন্য এই অরণ‍্য কালীর যজ্ঞ শুরু করেছিলেন। তারপর একটু একটু করে ধাপে ধাপে তৈরি হয়েছে একটি মন্দির। বর্তমানে অরণ্য কালিবাড়ি বলে পরিচিত।