Хаджи Герай родился предположительно в городе Лиде[1], одном из городов Великого княжества Литовского, где его семья проживала в эмиграции из-за нестабильного положения в Крыму. Среди его предков были эмиры (провинциальные наместники) Крымского улуса Золотой Орды.
Отцом Хаджи Герая был Гыяс-эд-Дин, а матерью - Асия, дочь мурзы. Гыяс-эд-Дин был старшим сыном Таш-Тимура, который в 1395 году провозгласил себя независимым крымским ханом. Во время нашествия Тамерлана на Золотую Орду Таш-Тимур был изгнан из своих владений. Его сыновья Гыяс-эд-Дин и Девлет-Берди вынуждены были бежать в литовские владения. Братья поддерживали золотоордынского хана Тохтамыша в борьбе за власть с могущественным темником Едигеем. В одной из битв погибли многие соратники Тохтамыша, среди которых был и Гыяс-эд-Дин. Предания сообщают, что слуга Гыяс-эд-Дина едва спас малолетнего сына своего хозяина от истребления, постигшего сторонников Тохтамыша. Около шести лет слуга где-то скрывался с ребёнком, пока не вернулся в родное селение и не передал мальчика на воспитание родственникам.