Културно-историјско средиште Паштровића је било острво Свети Стефан. Тврђава је саграђена 1442. године, када су у њој досељени први становници. Због великих зидина, многобројне породице су тражиле у њој уточиште у периодима сукоба са Османлијама или под најездом гусара.
Насеље је настало после сукоба са Турцима, када су Паштровићи притекли Которанима у помоћ да одбране град. По повратку из завршене битке, Паштровићи су код плаже Јаз уочили у близини обале преостале османлијске галије, које су напали. Од заробљеног плијена подигнули су тврђаву, са по једном кућом за свако од дванаест паштровских племена и дали јој име Свети Стефан, по истоименој цркви посвећена архиђакону Стефану Првомученику изграђеној у вријеме Немањића.
Због свог погодног положаја Свети Стефан је био трговински и саобраћајни центар Паштровића. Посједовао је велики стратегијско-трговачки значај у вријеме Млетачке републике и трговине са Венецијом. Мјесто је почело лагано да губи значај крајем 19. вијека, када је почело масовније исељавање становништва. Потпуно исељавање извршено је 1955. године, када је острво комплетно адаптирано и претворено у „град-хотел“. Данас је то једно од најлуксузнијих љетовалишта на Јадрану.
У свом напису „Општество паштровско у окружију которском“, Стефан Митров Љубиша пише:
„У среди општества Паштровићи находи се на једном отоку мали градић, именоват Св. Стефан; он је с дебелим зидом ограђен и три миље јужно-источно од Будве одстоји, у њему свако паштровичко племе има своју кућу, јер је управо на опште трошкове саграђен био. Не изостављам описати ријетки догађај због шта је ова грађевина учињена.
Наступили Турци Котор да освоје и, лишити га сваке помоћи, опсједну га са свију страна. Паштровићани, као ваздашњи јунаци, нису могли трпити да Турћин граду додијава, опреме се са свом могућом силом њи’ до иљаду пјешаца, крену се из дома с брашеницима у торби, и за час долете у Солила, поље у општини грбаљској, који до канала Боке допире; ту оставе неколико људиј у бусији, да би путове турској војсци препречили, остали нагрну с плећа на Турке.
Грађани осјете се помоћи, излете из Котора, и велика битка запламти се кроз сву војску. Турци надјачани обрате плећа, и без реда почну к мору бјежати, а наши ји немило гонити, и док су се у своје барке укрцали, више иј је него половина изгинула.
Благодарни Которани прославили су спасеније Котора преизврсним и различитим свјетковањем на чест својих избавитеља, заједно с њима.
Враћајући се затим Паштровићани с части из града пут дома, њекиј мимоидућиј човјек извјести ји, да у Јазу (друго поље грбаљско) много турски бродова сургани леже, који због рђавога времена усиловани су били у тому пристаништу, или боље рећи у тој локви, остати и сакрити се. Ови с радостју приме такову новину, договоре се на бродове громко и сложно ударити. За два сата стигну до мора, гдје многе празне барчице на крају нађу, а на некима мало число војника било, који се одма без сваке противности предаду.
Паштровићани најпре повежу турске војнике и без оружја пребаце ји на крај међу своје; потом све што је љепше, ваљаније и дргаоцјеније на бродовима покупе, и на једна понајљепши брод укрцају, на једра га ставе, и с неколицином своји’ јунака вјешти’ помораца оправе га у у Паштровиће.
Шта ће сад Паштровићани чинити од заплијењенога блага? Ко ће им га за право, да се никоме криво не учини, и да један другога не зажали, подијелити? Договоре се ово благо употријебити за добро опште. Заиста паметно измишлење. Саграде од истога блага млади градић св. Стефан , и у њему сваком племену по једну кућу учине.
У неко вријеме ово је било главно мјесто, гдје су се поглавице паштровске на сабор окупљале, а сад броји около сто житеља само.“
