আজ থেকে প্রায় ৫০০ বছর আগে মজুমদার বাড়িতে কালী মন্দির প্রতিষ্ঠা হয়। কথিত আছে, যশোহরের রাজা প্রতাপাদিত্যের রাজত্বের শেষদিকে যখন রাজ্যে বিশৃঙ্খল অবস্থা। সেই সময় রাজা প্রতাপাদিত্যের রাজ্যের দেওয়ান ছিল আড়বেলিয়ার এই মজুমদার পরিবারের পূর্বশূরী এক বংশধর। রাজা প্রতাপাদিত্যের দ্বারা প্রতিষ্ঠিত যশোহরের বিখ্যাত যে কালী মন্দির যা যশোরেশ্বরী নামে খ্যাত, এই যশোরেশ্বরী কালীমাতা দ্বারা মজুমদার পরিবারের ওই পুরুষ স্বপ্নে আদেশ পান, "আমাকে এখান থেকে তুই নিয়ে চল, এখানে আমি থাকতে পারছিনা।" দেবীর নির্দেশ মতো তিনি মন্দিরের দেবী ঘট (তামার) ও মায়ের হাতের খাঁড়া নিয়ে যশোহর ত্যাগ করেন।