בית הכנסת נבנה במאה ה-16 על ידי קבוצת יהודים ממגורשי ספרד שהגיעו לעיר בהנהגת הרב מלכיאל אשכנזי. בית הכנסת נמצא במרכזה של שכונת אברהם אבינו בחברון.
על פי האגדה (המופיעה בספר עמק המלך כמעשה שהיה) באחת השנים, נכחו בחברון תשעה יהודים בלבד, והיה חסר העשירי להשלמת המניין בתפילות יום הכיפורים. בהיכנס היום הקדוש הופיע יהודי אלמוני, ובזכותו נתקיימה בחברון תפילת כל נדרי ושאר תפילות היום במניין. במוצאי החג נעלם האיש והופיע שוב בחלומו של רב הקהילה וסיפר לו כי הוא אברהם אבינו.
בעקבות אגדה זו נקרא בית הכנסת בחברון על שם אברהם אבינו.

במאורעות תרפט הרסו הערבים את בית הכנסת. הירדנים הקימו במתחם שירותים ציבוריים, מזבלה ודיר עיזים. גם את שאר שרידי הרובע הם הרסו בפקודת מלך ירדן.
אחרי חידוש היישוב היהודי בחברון נחשף בית הכנסת על ידי פרופסור בן-ציון טבגר והוא פעל לשיקומו מחדש, כמו גם לשיקומו של בית העלמין היהודי של חברון שאף הוא נהרס וחולל על ידי הערבים אחרי הטבח בתרפט.
בית הכנסת שוחזר על פי תמונות ועל פי זכרונות של בני חברון שניצלו בתרפט, וכיום הוא שוב פעיל ומשמש לתפילה.

לבית הכנסת הוחזרו ספרי תורה עתיקים שנלקחו ממנו לירושלים לאחר הטבח בתרפט.