তবে পাওলা হিটলারের ভাগ্যটা ছেলেবেলা থেকেই ছিল খারাপ। মাত্র ৬ বছর বয়সে পিতৃহারা হন তিনি। মা ক্লারা হিটলার তাকে এবং তাঁর দাদা অ্যাডলফকে নিয়ে অস্ট্রিয়ার লিঞ্জ শহরে বসবাস করতে শুরু করেন। কিন্তু মাত্র ৫ বছর পর, পাওলার ১১ বছর বয়সে ক্লারা হিটলার ক্যান্সারে আক্রান্ত হয়ে মারা যান। মা মারা যাওয়ার পর অ্যাডলফ হিটলার বোনের খুব একটা দায়িত্ব নেননি। চিত্রশিল্পী ও রাজনৈতিক নেতা হওয়ার বাসনা নিয়ে তিনি অস্ট্রিয়ার রাজধানী ভিয়েনা চলে যান। এমনকি বাবার পেনশনের বেশিরভাগটাই নিজে নিয়ে, বোনকে যৎসামান্য অর্থ পাঠাতেন প্রতিমাসে। সেইসময় অশেষ কষ্টে জীবন কাটত পাওলার। পরবর্তীকালে জার্মান রাজনীতিতে হিটলার গুরুত্বপূর্ণ ভূমিকা নিতে শুরু করলেও ভাগ্য ফেরেনি পাওলার। জার্মান রাজনীতিতে যখন হিটলারের উত্থান ঘটছে তখন তার বোন ভিয়েনায় কখনও গৃহ পরিচারিকার কাজ করে, আবার কখনও বা কোনও বেসরকারি সংস্থায় সহকারীর কাজ করে দিন গুজরান করছেন। এর মধ্যেই ১৯৩০ সালে দাদার কারণেই একটি বীমা কোম্পানি থেকে পাওলাকে ছাঁটাই করা হয়। কারণ ততদিনে গোটা বিশ্বের কাছে অ্যাডল্ফ হিটলার এক বদ্ধ উন্মাদ, জাতিবিদ্বেষী হিসেবে পরিচিতি পেয়েছেন।