شمس الدین و الدنیا، لسان الغیب، کاشف الحقائق، زبده المتکلمین و ترجمان الاسرار و … و همچنین چون در آن زمان به بزرگان و دانشمندان خواجه اطلاق می شد به وی نیز که از بزرگان زمان بود خواجه اطلاق شده است.
موطن اصلی حافظ ظاهرا کوپای اصفهان و محل سکونت جدش غیاث الدین اصفهان بوده است. غیاث الدین پسری به نام بهاء الدین داشت که همان پدر حافظ می باشد. غیاث الدین همواره زندگی خود را از قیل و غال دور نگه می داشت و همواره به تجارت سرگرم بود، به همین دلیل زندگی مرفه و آرامی داشت. در اثر تشنجات نیمه ی دوم قرن هفتم ه.ق که اصفهان کانون بلوا شد.
غیاث الدین به همراه خانواده به شیراز هجرت کرد. این در زمانی بود که آبش خاتون از اتابکان فارس بر شیراز حکومت می کرد.
غیاث الدین پس از ورود به شیرازدر محله ای نزدیک دروازه کازرون بنام محله ی شیادان خانه ای خرید و به تجارت مشغول شد و پس از مدتی از افراد سرشناس و موفق شد.
بهاالدین پس از چندی مورد توجه شیخ عبدالله کازرونی که در همسایگی حجره ی آنها بود قرار گرفت و به بهاالدین گفت که حاضر است دخترش را به عقد او درآورد. پس از آن با قبولی بهاالدین آن دختر به عقد او درآمد.
زمانی نگذشته بود که غیاث الدین فوت کرد. پس از آن بهاالدین به تنهایی به کسب و کار مشغول شد و پس از مدتی صاحب ۳پسر به نامهای خلیل، عادل و محمد و یک دختر گردید. رونق کار آنها بسیار زیاد شده بود که بهاالدین دچار بیماری شد. در ابتدا وی فکر می کرد یک مریضی ساده است ولی بعد از مدتی بیماری وی رو به شدت گذارد تا جایی که بهاالدین توان رفتن به حجره را پیدا نکرد. حکما نیز کاری از پیش نبردند و حال بهاالدین روز به روز وخیم می گشت. بیماری او چند ماهی به طول انجامید و هیچ کدام از اطبا نتوانستند کاری از پیش ببرند تا آنکه بهاالدین در یک شب سرد زمستانی فوت کرد. این در حالی بود که محمد تنها هشت سال داشت.
پس از فوت پدر، پسران به امور تجاری حجره پرداختن تا اینکه بعد از دوسال به دلایلی نا معلوم از آن شهر کوچ نمودند و حافظ و مادر و خواهرش در شیراز باقی ماندند و به علت عدم کسب و کارفشار زیادی به آنها آمد.
خواجه پس از مدتی در سن ۸-۹ سالگی به مردی که در همسایگی آنها بود سپرده شد، ولی پس از مدتی آثار سوء اخلاق در این مرد ظاهر گشت و لذا حافظ از نزد او بیرون رفت. پس از مدتی وی توانست در یک نانوایی کار پیدا کند. در مجاورت نانوایی که حافظ در آن مشغول به کار بود مکتبی بود که دوستداران علم و ادب و بخصوص طالبین علوم و فنون قرآنی را به خود جذب می کرد.
حافظ نیز با پرداخت کمی از دستمزد خود در آنجا به تعلیم و آموزش مشغول شد و بدین کار تا حدی جدیت ورزید تا حافظ کل قرآن گردید. این گونه نقل شده استکه حافظ آنقدر فعال بود که استاد نیز از کار او به وجد می آمد و مورد توجه قرارش می داد.
نقل شده است که در آن نزدیکی مردی بود که بزازی داشتاین مرد علاوه بر آن شعر می گفت از قوانین شعری نیز آگاه بود و حافظ نیز اشعار سروده ی خود را به منظور تصحیح یا تایید برای او می خواند، اما اشعار حافظ از اصول بر خوردار نبود و به همین دلیل مورد استهزاء دیگران قرار می گرفت.
حافظ نیز در اشاعرش به این نکته اشاره ی صریحی دارد و می گوید:
دوش وقت ســحــر از غـصـه نـجاتم دادند وانــدر آن ظلمت شب آب حیاتم دادند
بیخــود از شــعشعه ی پرتوی زاتم کردند باده از جــام تـجـــلی صفـــاتـم دادنــد
چه مبارک سحری بود چه فرحنده شبی آن شـــب قـدر کـه این تازه براتم دادند
