Στο νότιο τμήμα του νησιού, βρίσκονται τα καστροχώρια ή μαστιχοχώρια. Είναι μεσαιωνικά χωριά που χτίστηκαν την περίοδο της Γενουοκρατίας μεταξύ 13ου και 14ου αιώνα μ.Χ. Κύριος σκοπός τους
ήταν η προστασία των μαστιχοκαλλιεργητών και των οικογενειών τους από τους πειρατές που εποφθαλμιούσαν την μοναδική και πολύτιμη μαστίχα.
Είναι χτισμένα κυρίως σε μικρές κοιλάδες, μακριά από τη θάλασσα και η αρχιτεκτονική τους διαφέρει σημαντικά από την αρχιτεκτονική του υπόλοιπου νησιού. Καταρχήν είναι κτισμένα γύρω από κεντρικούς πύργους.
Περιβάλλονται από αμυντικό τείχος που σχηματίζεται από τους εξωτερικούς τοίχους των σπιτιών. Η διάταξή του τείχους είναι συνήθως τετράγωνη με ημικυκλικούς πύργους στις γωνίες.
Πρόσβαση στο εσωτερικό του οικισμού παρείχαν πύλες οι οποίες όμως δεν σώζονται μέχρι σήμερα. Οι δρόμοι των οικισμών είναι λιθόστρωτοι, στενοί και οι κατοικίες είναι κολλημένες η μία στην άλλη. Οι βασικοί δρόμοι, οδηγούν όλοι στην κεντρική πλατεία του χωριού, σε πολλά σημεία τους είναι σκεπασμένοι από κατοικίες – τις λεγόμενες βότες – ή τόξα, τα οποία επιτρέπουν στους κατοίκους να κινούνται σε όλη την έκταση του χωριού χωρίς να χρησιμοποιούν τους δρόμους. Από αυτά τα σημεία αιφνιδίαζαν όσους εχθρικά κινούνταν στους δρόμους του χωριού. Άλλος τρόπος άμυνας των κατοίκων ήταν η ύπαρξη αδιεξόδων στα στενά δρομάκια του οικισμού. Με αυτόν τον τρόπο κατάφερναν να αναγκάζουν τις ομάδες των εχθρών να διαχωρίζονται σε μικρότερες, 
αλλά και να χάνουν το δρόμο τους προς τον κεντρικό πύργο.
Στο κέντρο του χωριού βρίσκεται ο κεντρικός πύργος, που ήταν το τελευταίο καταφύγιο των κατοίκων του χωριού σε περίπτωση που το χωριό καταλαμβανόταν απ’ τους πειρατές. Συνήθως αυτός ο πύργος περιβαλλόταν από τείχος με τέσσερις γωνιακούς πύργους.
Όλο το χωριό είναι φτιαγμένο από πέτρα. Τα σπίτια είναι κυρίως διώροφα με μικρά παράθυρα στον πρώτο όροφο τα οποία βλέπουν προς το εσωτερικό του χωριού. Στο ισόγειο δεν υπάρχουν παράθυρα. Οι χώροι αυτοί χρησιμοποιούνταν σαν αποθήκες, στάβλοι ή βοηθητικοί χώροι. Ο κύριος χώρος του σπιτιού βρίσκεται στον όροφο. Εκεί επίσης υπάρχει και ο «ηλιακός» ο οποίος ήταν ακάλυπτος χώρος που προσέφερε αερισμό και φωτισμό στην κατοικία. Ήταν το σημαντικότερο τμήμα της κατοικίας αφού αυτές, όντας ασφυκτικά κλειστές, αντιμετώπιζαν πρόβλημα αερισμού και φωτισμού καθώς και των ευεργετικών ακτίνων του ήλιου. Η όλη δομή της κατοικίας φανερώνει βυζαντινή προέλευση.
Τα χωριά αυτά κατοικούνται μέχρι και σήμερα χωρίς σημαντικές εξωτερικές αρχιτεκτονικές αλλαγές 
έτσι ώστε να διατηρούν τον μεσαιωνικό χαρακτήρα τους. Τα κυριότερα μεσαιωνικά χωριά είναι τα Αρμόλια, τα Μεστά, το Πυργί, οι Ολύμποι, η Βέσσα, η Καλλιμασιά, και η Καλαμωτή. Το Πυργί και τα Μεστά έχουν κρατήσει περισσότερο από τα άλλα αναλλοίωτο τον οχυρωματικό τους χαρακτήρα.
Αν θέλετε να περιηγηθείτε σε ένα χωριό χτισμένο την εποχή των πειρατών, αν θέλετε να αφήσετε την φαντασία σας να ταξιδέψει στα στενά σοκάκια του, να ακούσετε τις ιστορίες για μάχες που έχει να σας διηγηθεί η κάθε πέτρα του δεν έχετε παρά να επισκεφθείτε τα υπέροχα καστροχώρια!