كانت القلعة الصغرى تسمى"قيرزا" وهي قرية فينيقية أسسها الملاحون الفينيقيون على أنقاض قرية بربرية وابتنوا لأنفسهم فيها قطعة على الربوة لحماية قوافل التجارة وهي تمر بين "عتيقة" و "حضر موت".
وقد سميت بالصغرى نظرا لصغر حجم القلعة أو الحصن، فهي تأتي من حيث ضخامة البناء بعد قلعتي "اتيكودة"و"القلعة الكبرى" على طول الساحل.
وكانت مهمة القلعة الصغرى أن تكون همزة وصل بين القلعتين الأخريتين ولا تزال أثار العهود البربرية و الفينيقية و الرومانية و البيزنطية باقية هناك فوق الربوة وعلى سهولها الممتدة.
غير أن البلدة لم تظهر للعيان إلا في منتصف القرن الخامس عشر ميلادي، وقد شيدت هناك فوق الربوة حذو الأنقاض الباقية للقلعة الفينيقية وفي المكان الأول للقرية البربرية القديمة.
ظهرت هذه التسمية لأول مرة في العصر الحفصي إلا أن بعض المؤرخين يعودون بنشأتها الأولى الى العصر الأغلبي .
و قد لعبت القلعة الصغرى دورا تاريخيا جهويا و وطنيا بالغ الأهمية منذ القرن 17 الى القرن 19 م خلال العصر المرادي (1677/1554 ) و في عهد الدولة الحسينية اذ أسهمت في الصراع الباشي و كان لانتصار الحسينية على الباشوية تأثير في وضع القلعة الصغرى خلال القرن 19 م و تحديدا في أحداث انتفاضة 1864 م.
يعتبر الجامع الكبير من أقدم الآثار بمدينة القلعة الصغرى و قد بني في أعلى مكان بها مع عدد المساجد و الزوايا كـــ : زواية سيدي محمد بن عيسى ، وزاوية سيدي عبد السلام و مقام سيدي بنور و مقام سيدي منصور البطاشي و مقام " سيدي عيســى " و مقام " سيدي الحاج " و مقام سيدي " محمد بن منصور " و مقام " سيدي عبد الله الغريب " و مقام " سيدي العرفاوي " .
و للقلعة الصغرى مجموع عادات و تقاليد تظهر في الأفراح كالخطبة (زيارة بيت الفتاة لطلب يدها و الهدية الدالة على اتخاذ الخطوبة الشكل الرسمي بتقديم هدايا في المواسم و الأعياد ويتم عرض جهاز العروس بمنزل والديها واستقبال الزائرات والعرضة قبل الوليمة بيوم واحد إذ تتنقل النساء المتزوجات من أهل العروس و أهل العريس داخل شوارع البلدة و أزقتها لاستدعاء أهل البلدة و الحنة لتزيين العروس وإعدادها لحفل الزواج ....)