ہرجیسا کا نام عربی فقرے "ہرر الصغیر" یعنی "چھوٹا ہرر" سے ماخوذ سمجھا جاتا ہے، کیونکہ اس بستی کے بانی شیخ مادار چاہتے تھے کہ یہ ایتھوپیا کے شہر ہرر کی طرح اسلامی تعلیم کا مرکز بنے۔ ایک اور رائے اس نام کو "کھالوں کی فروخت کی جگہ" سے جوڑتی ہے، جو علاقے کی چمڑے کی تجارت کی عکاسی کرتی ہے۔