Ο Έλληνας πατέρας του μετανάστευσε στις ΗΠΑ στα 15 του, με τον Τζιμ να γεννιέται εκεί το 1943. Ο ίδιος σπούδασε χημεία και βιολογία. Όμως, διακρίθηκε στον αθλητισμό.
Σε ηλικία 28 ετών και ενώ είχε ήδη τη δουλειά του σε μια μεγάλη επιχείρησε πήρε μια απόφαση χωρίς να τη σκεφτεί ιδιαιτέρως.
«Είχα φιλοδοξίες να γίνω γιατρός. Αλλά κατάλαβα γρήγορα ότι μισούσα το σχολείο»