২০০৪ সালে বিবাহ বিচ্ছেদ ঘটে সইফ আলি খান এবং তাঁর প্রথম স্ত্রী অমৃতা সিংয়ের। সেই সময় নাকি উপযুক্ত রোজগার করতেন না সইফ। তাঁকে খুবই তিরস্কার জানাতেন অমৃতা। সেই অসম্মান গায়ে মাখতেন সইফ। হতাশায় ভুগতেন খুব। বিয়ে ভাঙার পর ৫ কোটি টাকা চেয়েছিলেন অমৃতা। সেই টাকাটাও নাকি পুরোপুরি দিতে পারেননি সইফ। অর্ধেক টাকা, অর্থাৎ, ২.৫ কোটি টাকাই দিতে পেরেছিলেন অমৃতাকে। কন্যা সারা এবং পুত্র ইব্রাহিমকে নিয়ে সইফের পতৌদি পরিবার ত্যাগ করেছিলেন অভিনেত্রী।
অমৃতার চলে যাওয়ায় কেবল সইফ নন, মানসিকভাবে ভেঙে পড়েছিলেন সইফের পিতা মনসুর আলি খান পতৌদি। নাতি ইব্রাহিমের সঙ্গে খুবই বন্ধু ছিলেন তিনি। সইফও তাই-ই ছিলেন। ইব্রাহিম যখন পতৌদি প্যালেস থেকে মায়ের হাত ধরে তাঁর বাড়িতে গিয়ে থাকতে শুরু করে, সইফের মন ভাঙে। সেই থেকে ছেলের ছবি মানিব্যাগে নিয়ে ঘোরেন সইফ।
২০১২ সালে সইফকে বিয়ে করেন কাপুর পরিবারের ছোট মেয়ে করিনা কাপুর খান। মজার বিষয়, সইফ-অমৃতার বিয়ের সময় করিনা গিয়েছিলেন তাঁদের বিয়েতে। সেই সময় করিনার বয়স মোটে ১০ বছর। তাঁকে পরবর্তীকালে বিয়ে করেছিলেন সইফ। তাঁর সঙ্গেই ১২ বছর ধরে সুখে সংসার করছেন বলিউডের ছোটে নবাব। তাঁদের দুই পুত্রও বেশ জনপ্রিয় – তৈমুর এবং জেহ।
তবে নিজের মানিব্যাগে এখনও পর্যন্ত ইব্রাহিমের ছবিই রেখে দিয়েছেন সইফ। সেই জায়গা এখনও অন্য কেউই নিতে পারেননি। প্রত্যেকবার মানিব্যাগ পাল্টানোর সময় ইব্রাহিমের ছবি সযত্নে রেখে দেন সইফ।