تولّى العلج علي باشا الجزائر بناء حصن ينتصب اليوم بأعلى ربوة الكدية فيما بين سنة 1570 وسنة 1573م بإشراف مهندس عسكري صقلّي، ويبدو أنّ هذا الحصن احتلّ مكانة مهمّة لفترة طويلة من الزّمن. ويظنّ بعضهم أنّ هذا الموقع الحصين كان الأغالبة وربما البيزنطيون أو حتى الرّومان قبلهم قد شيّدوا به قلعة لحماية المدينة وحراستها وأنّ الحصن الحالي أقيم على أنقاض هذه القلعة. ومن المعلوم أنّ العلج علي قد احتلّ البلاد التونسية في أوائل سنة 1570 وطرد السّلطان مولاي حميده الحفصي الذي احتمى بقلعة حلق الوادي وكانت في إمارة الوالي الاسباني ألفنسو دي بيمنتال، وولّى عليها رمضان باشا. ولكن لم يدم حكمه طويلا إذ اضطرّ إلى الفرار سنة 1573م إلى القيروان هو ورفاقه تاركا المجال للجيوش الاسبانية التي احتلّت البلاد.
ولقد بُني الحصن الاسباني في السنوات
الثلاث التي دام فيها الحكم التّركي وأتمّ الاسبان بعد ذلك بناء الحصن الذي يحمل إلى يومنا هذا اسمهم. والأصحّ هو تسميته بالحصن الأندلسي علما أنّ الأندلسيين قد أسهموا في إنجاز عدة منشآت مثل القناطر والمساجد والمدارس والتّحصينات والأسبلة الخ... ويتّخذ الحصن شكل نجمة ذات خمسة أذرع كما أكّد ذلك الرّحالة الذين زاروا بنزرت على التوالي سنة 1587 ثمّ 1624 ثم 1724م. أمّا الزّيادات التي غيّرت الشّكل الأصلي للحصن فمن المرجّح أن تكون قد أضيفت في أوائل الحماية من الجيوش الفرنسيّة.