Η Χώρα είναι κτισμένη σε μια ορεινή γλώσσα ξηράς, που χωρίζει τον όρμο στα δυο που σχηματίζεται ανάμεσα στα δυο ακρωτήρια Γυάλια και Κάβο Σταράς. Από τη γλώσσα που μπαίνει στον όρμο σχηματίζονται δυο μικρότεροι, ο Νημποργιός και το Παραπόρτι, αριστερά και δεξιά.
Η Γλώσσα καταλήγει στο ψηλό βραχονήσι που κάποτε υπήρχε το βενετσιάνικο κάστρο, εκεί στην πλατεία του Αφανούς Ναύτου, που βλέπει και το Ναυτικό Μουσείο.
Στη Ρίβα, τελειώνει η Παλιά Πόλη. Το στενό λιθόστρωτο δρομάκι με τα περήφανα αρχοντικά στ’ αριστερά και δεξιά του, οδηγεί στην Εξώπορτα, που βρίσκεται στην κεντρική πλατεία Θεόφιλου Καΐρη με την μαρμάρινη προτομή του Διδασκάλου του Γένους.
Στην παλιά πόλη ξεχωρίζουν στοές και καμάρες-οι Πόρτες-κάτω από τ’ ανώγεια των σπιτιών που έκλειναν με σιδερένιες πύλες κατά τη βενετική και αργότερα την τουρκική περίοδο για λόγους προστασίας.
Η Νέα Πόλη ξεκινά από την Πλατεία Καΐρη, όπου ο κεντρικός της δρόμος λέγεται Αγορά, καθώς εκεί βρίσκονται τα εμπορικά καταστήματα της Χώρας, αλλά και κάποια καφενεία και εστιατόρια.
Ξεχωριστά τα αρχοντικά σπίτια, αληθινά μνημεία παραδοσιακής αρχιτεκτονικής, διατηρούνται μέχρι σήμερα, αφού η σύνεση και η επιμονή στην παράδοση, έχουν καταφέρει να διατηρήσει η Χώρα τον χαρακτήρα της ανέπαφο από τις αρχιτεκτονικές ασχήμιες της εποχής, αλλά και μακριά από τα υποτιθέμενα αγαθά της δήθεν τουριστικής ανάπτυξης.
Τα περισσότερα αρχοντικά είναι κτισμένα σε νεοκλασικό ρυθμό και στολισμένα μ’ έναν πλούτο μορφολογικών χαρακτηριστικών (πορτοσιές, κάδρα και τύμπανα παραθύρων, καπνοδόχοι, λεπτές κορνίζες με απροκάλυπτα) που συναντώνται μόνο στην Άνδρο.
Τη μορφή των κατοικιών καθόρισαν οι σχιστολιθικοί όγκοι όγκοι που αφθονούν στο νησί καθώς επίσης και η άφθονη ξυλεία που παρέχουν τα κυπαρίσσια. Το ανδριώτικο σπίτι κτίζεται πάντα με πέτρα και η οροφή αποτελείται από ξύλινους κορμούς καλυμμένους με σχιστολιθικές πλάκες.
Παντού κυριαρχούν τα διακοσμητικά στοιχεία, με γεωμετρικά σχήματα με σχιστόπλακες, τύμπανα θυρών και παραθύρων εγχάρακτα σε μαρμάρινες ή σχιστολιθικές πλάκες, κτητορικές πλάκες ή οικόσημα, εγχάρακτες ή εξώγλυφες με διάφορα διακοσμητικά θέματα και χρονολογίες κατασκευής, κάποια χαρακτά στολίδια, σταλακτίτες, μαρμάρινες κολονίτσες, κεραμικά πιάτα.
Τα περισσότερα αρχοντικά μαρτυρούν την ευμάρεια και τον πλούτο των οικογενειών του νησιού, άλλωστε η Άνδρος που αποκαλείται και «νησί των εφοπλιστών» είναι ένα νησί με ισχυρή προσωπικότητα την οποία φροντίζει να επιδεικνύει σε κάθε επισκέπτη.