خانه اش ساده و محقر است. کلاس ها همان جا برگزار می شود!« کف منزل خالی از هر فرشی است و تنها یک گلیم نایلونی خوشرنگ در آن انداخته شده که آن را هم عموی ایشان برای آقای قاضی فرستاده است و چون می دانسته که او از مناعت طبعی که دارد هدیه قبول نمی کند گفته است شما اگر حق الناس را قبول دارید من این را وقف بیرونی شما کردم!» شب ها به خاطر نبودن لامپ، خانواده در تاریکی به سر می بردند و گاهی آن قدر روزگار به سختی می گذرد که آقای قاضی هنگامی که یکی از شاگردانش سید حسن الهی به تبریز می رود به او می گوید: « رفتی، فلان کتاب مرا بگیر از فلان جا و بفروش و پولش را برای من بیاور!»

تنگی معیشت و فقر در بعضی از مقاطع زندگی، آنچنان آقای قاضی و خانواده اش را تحت الشعاع قرار می دهد که بعضی از کتاب هایشان را می فروشند تا از پول آن امرار معاش کنند ولی هرگز راضی نمی شود از وجوهات شرعیه استفاده کند. در حالی که هزار و یک توجیه برای استفاده داشتند