पासवान ने दो शादियां की थी। पहली शादी राजकुमारी देवी से 1960 में हुई थी। उस वक्त पासवान की उम्र महज 14 साल थी। इस शादी से दो बेटियां हैं। एक का नाम आशा और उषा है। दोनों बेटियों की शादी हो चुकी है। 1981 में पासवान ने राजकुमारी देवी को तलाक दे दिया था। हालांकि वो अब भी पासवान के पैतृक घर में ही रहती हैं।