A regény bevezető esszé a szerző szülővárosáról - Salemről, őseiről - puritán fanatikusokról, a salemi szokásokban végzett munkájáról és az emberekről, akikkel ott kellett szembenéznie. „Sem a vám elöljárója, sem a hátsó ajtaja nem vezet a paradicsomba”, és az intézmény szolgálata nem járul hozzá az emberek jó hajlamának virágzásához. Egyszer, a vámok harmadik emeletének hatalmas helyiségében hatalmas papírokat ásva, a szerző egy nyolcvan évvel ezelőtt meghalt Jonathan Pugh kéziratát találta meg. Prien Esther életrajza volt, aki a 17. század végén élt. Vörös rongyot tartottak a papírokkal, közelebbi vizsgálat után kiderült, hogy hihetetlenül hímzett az „A” betű; Amikor a szerző mellkasára tette, úgy tűnt, hogy éget. A Whig győzelme után elbocsátott szerző visszatért irodalomtudományi tanulmányokhoz, amelyekre Pugh úr munkájának gyümölcsei nagyon hasznosak voltak számára.

A bostoni börtönből Esther Prien jön, karjában egy baba. Gyönyörű ruhát visel, amelyet a börtönben magára varrott, mellére a skarlát hímzése „A” betű formájában - a házasságtörő szó első betűje. Mindenki elítéli Esther viselkedését és dacos ruháját. A piacra vezeti a peronra, ahol délután fel kell állnia egy-egy tömeg ellenséges pillantása alatt - ilyen büntetést ítélte meg a bíróság a bűn miatt és azért, mert megtagadta az apja nevét újszülött lányának. A pillérnél állva Eszter emlékeztet korábbi életére, a régi Anglia gyermekkorára, egy középkorú, elfoglalt tudósra, akivel összekapcsolta sorsát. A tömeg körül nézve észreveszi a hátsó sorban egy embert, aki azonnal birtokba veszi gondolatait. Ez az ember nem fiatal, egy kutató átható pillantása és fáradhatatlan munkavállaló háborított hátulja. Azt kérdezi másoktól, hogy ki ő. Meglepődnek, hogy ő semmit sem hallott róla. De elmagyarázza, hogy nincs itt, régóta rabszolgává tették a pogányok számára, és most az indiánok Bostonba vitték váltságdíjat. Azt mondják, hogy Esther Prien egy angol tudós felesége, aki úgy döntött, hogy Új-Angliába költözik. Feleségét előre küldte, és Európában maradt. Két éve Bostonban Esther nem kapott semmilyen új információt tőle: valószínűleg meghalt. A leereszkedõ bíróság figyelembe vette az összes enyhítõ körülményt, és nem ítélte el a bukott nőt halálra, hanem elítélte, hogy csak három órán keresztül álljon a szégyenteljes oszlopnál lévõ peronon, és az életének hátralévõ részén a tiszteletlenség jele legyen. De mindenki felháborodott, hogy nem nevezte el a bűn bűnrészesejét. A legidősebb bostoni pap, John Wilson ráveszi Estherét a csábító nevének nyilvánosságra hozatalára, majd Dimsdale fiatal lelkész követi őt, akinek az egyházi képviselője félbeszakított hangon beszélt vele. De a fiatal nő makacsul csendesen tartja gyermekét szorosan a mellkasához.

Amikor Esther visszatér a börtönbe, ugyanaz az idegen, akit a téren látott, jön hozzá. Orvos, és Roger Chillingworth-nek hívja magát. Először megnyugtatja a gyermeket, majd Esther gyógyszert ad. Fél, hogy megmérgezi, de az orvos megígéri, hogy nem bosszút áll sem a fiatal nő, sem a csecsemő számára. Túl feltételezhető volt, hogy feleségül veszi egy fiatal, gyönyörű lányt, és várja meg tőle a viszonyt. Esther mindig őszinte volt vele, és nem úgy tett, mintha szereti. Tehát mindketten ártottak egymásnak, sőt. Chillingworth azonban szeretné tudni szeretett Eszter nevét, annak a nevét, aki mindketten gonoszul tettek. Esther megtagadja a nevét. Chillingworth esküszik rá, hogy nem fogja senkinek kinyilatkoztatni a valódi nevét és a kapcsolatát vele. Hadd higgyen mindenki, hogy férje meghalt. Mindenesetre úgy dönt, hogy kideríti, kivel vétkezett Esther, és megtorpant szeretőjével.

A börtön elhagyása után Esther egy elhagyatott házban telepedik le Boston szélén, és kézimunkaként él megélhetést. Olyan képzett hímző, hogy nincs vége az ügyfeleknek. Csak a szükségleteket vásárolja meg, és a fennmaradó pénzt szétosztja a szegényeknek, gyakran sértések hallgatása helyett hála helyett. Lánya, Pearl gyönyörű, de szenvedélyes és változtatható hajlammal rendelkezik, tehát Esthernek nem könnyű vele. Pearl nem akarja betartani semmilyen szabályt. Első tudatos benyomása a skarlátvörös levél volt Esther mellkasán.

Az elutasítás pecséte a lányt hordozza: nem olyan, mint más gyermekek, nem játszik velük. Látva a lány furcsaságait és kétségbeesetten megtudja, ki az apja, néhány polgár ördögi spawnnak tartja. Esther soha nem szakít le lányával, és mindenhová magával viheti. Egy nap jönnek a kormányzóhoz, hogy visszaadjanak egy pár ünnepi hímzett kesztyűt, amelyet az ő megrendelt. A kormányzó nincs otthon, és a kertben várják őt. A kormányzó visszatér Wilson és Dimsdale papokkal. Útközben beszélték arról, hogy Pearl bűn gyermeke, és el kellene vennie anyjától, és átadni más kezekbe. Amikor ezt Esthernek jelentik, nem vállalja, hogy feladja a lányát. Wilson lelkész úgy dönt, hogy megtudja, Esther keresztény szellemben neveli-e. Pearl, aki még annál is többet tud, mint amire korában állt, makacsul válaszol arra a kérdésre, hogy ki teremtette őt, azt válaszolja, hogy senki sem teremtette őt, anyja csak a rózsabokorban találta meg a börtön ajtaján. Az imádatos uraim rettegnek: a lány már három éves, és nem tudja, ki teremtette őt. Úgy döntöttek, hogy elviszik Pearlt anyjuktól, és csak a Dimsdale lelkész közbenjárásának köszönhetően képes otthon otthon tartani a lányát.

Az orvostudomány és a jámborság ismerete megszerezte a bostoni emberek tiszteletet Chillingworth iránt. Nem sokkal az érkezése után Dimsdale tiszteletet választotta szellemi apjává. Minden plébánia nagyra becsülte a fiatal teológust, és aggódott az egészsége miatt, amely az utóbbi években jelentősen romlott. Az emberek láthatták a gondviselés ujját, amikor megérkeztek képzett orvosukhoz, és ragaszkodtak ahhoz, hogy Dimsdale úr forduljon hozzá segítségért. Ennek eredményeként a fiatal pap és az öreg orvos összebarátkoztak, majd együtt telepedtek le. Chillingworth, aki Eszter titkait a bíró szigorú pártatlanságával kezdett kivizsgálni, egyre inkább egyetlen érzés - a bosszú - hatalmába esik, amely egész életét alávetette. Érezve a fiatal pap lelkes természetét, be akar hatolni a lelke rejtett mélységeibe, mert ez semmit sem ér véget. Chillingworth állandóan provokálja Dimsdale-t, és elmondja neki a megbánhatatlan bűnösöket. Azt állítja, hogy Dimsdale testi betegsége mentális sebeken alapszik, és ráveszi a papot, hogy tárja fel neki az orvosnak az érzelmi szenvedés okát. Dimsdale kiáltja: "Kik vagytok <...> állni a szenvedõ és az Úr között?" De ha egyszer egy fiatal pap elalszik egy székben a nap folyamán, és még akkor sem ébred fel, amikor Chillingworth belép a szobába. Az öreg megközelíti a kezét, a mellére teszi a kezét, és kibontja a ruhákat, amelyeket Dimsdale orvosa soha nem vett le. Chillingworth diadalmaskodik - "így viselkedik a Sátán, amikor meg van győződve arról, hogy egy értékes emberi lélek elveszett a mennyért, és a pokolért nyeri meg." Dimsdale ellenségesnek érzi magát Chillingworth iránt, és szemrehányást ad neki, miközben nem talál rá okot, és Chillingworth - „egy nyomorult, magányos lény, még szerencsétlenebb, mint az áldozata” - minden erővel megpróbálja súlyosbítani Dimsdale mentális kínját.

Egy éjjel Dimsdale sétál a piactérre és áll a pillérnél. Hajnalban elhalad Esther Prien és Pearl mellett. A pap felhívja őket, felszállnak a peronra és mellette állnak. Pearl megkérdezi Dimsdale-től, hogy holnap délután velük együtt áll-e, de azt válaszolja, hogy az utolsó ítélet napján mindhárman a nagy bíró trónja elõtt állnak, de most nincs az idõ, és a napfénynek nem szabad látnia ketten. A sötét ég hirtelen felgyullad - valószínűleg ez egy meteor fénye. Nem messze állnak Chillingworth platformjától, aki elválaszthatatlanul ránézett rájuk. Dimsdale azt mondja Esthernek, hogy kifejezetten rettegést érez ennek az embernek az előtt, ám Esther, esküvel kötve, nem tárja fel neki Chillingworth titkait.

Évek telik el. Pearl hét éves. Esther tökéletes viselkedése és érdektelen segítése az érintettekhez vezet ahhoz, hogy a város lakói egyfajta tisztelettel kezdik el kezelni őt. Még a skarlát levél is úgy tűnik, hogy nem a bűn, hanem a belső erő szimbóluma. Egyszer, miközben Pearlrel sétál, Esther találkozik Chillingworth-lel és meghökkent az utóbbi években bekövetkezett változás miatt. A tudós nyugodt, bölcs arca ragadozó, kegyetlen arckifejezést kapott, mosolyogva mosollyal nézett rá. Esther beszél vele, ez az első beszélgetés azóta, amikor esküt tett tőlük, hogy nem ismeri fel a valódi nevét. Esther arra kéri őt, hogy ne kínozza Dimsdale-t: Chillingworth szenvedése súlyosabb, mint a halál. Ráadásul esküdt ellensége szemében is megkínozza, még csak nem is tudja, ki ő. Esther azt kérdezi, miért nem bosszút áll Chillingworth vele; azt válaszolja, hogy egy skarlát levél bosszút állt neki. Esther könyörög Chillingworthnek, hogy meggondolja magát. Még mindig megmenthető, mert ez a gyűlölet bölcs, igazságos személyből ördögbe fordította őt. Megbocsátására van hatalma, az ő megsértését megbocsátó emberek megbocsátása az ő megváltása lesz. De Chillingworth nem tud megbocsátani, sorsa gyűlölet és bosszú.

Esther úgy dönt, hogy felfedi Dimsdale-nek, hogy Chillingworth a férje. Találkozást keres a papmal. Végül találkozik vele az erdőben. Dimsdale elmondja neki, hogyan szenved attól, hogy mindenki tisztanak és szeplőtlennek tartja őt, miközben bűnnel festette magát. Hazugság, üresség, halál veszi körül. Esther feltárja neki, ki rejtőzik Chillingworth néven. Dimsdale dühös: Esther hibájából "elengedte gyenge bűnözői lelkét annak a tekintetének előtt, aki titokban csúfolta őt". De megbocsátja Esthernek. Mindketten úgy vélik, hogy Chillingworth bűne még rosszabb, mint a bűneik: behatolt az emberi szív szentélyébe. Megértik - Chillingworth, tudván, hogy Esther felfedi Dimsdale titkát, új érdekeket fedez fel. Esther felajánlja Dimsdale-nek, hogy futjon és új életet kezdjen. Egyetért a Bristolba közlekedő hajó kapitányával abban, hogy két felnőtt és egy gyermek lesz a fedélzeten.

A hajónak három nap alatt kell vitorláznia, Dimsdale előestéjén pedig a választási napon prédikációt készül olvasni. De úgy érzi, hogy elméje elhomályosul. Chillingworth felajánlja neki a segítséget, de Dimsdale megtagadja. Az emberek gyűlnek össze a piactéren, hogy hallják Dimsdale üzenetét. Esther a tömegben találkozik egy Bristol-hajó kapitányával, és értesíti, hogy Chillingworth velük is hajózni fog. A Chillingworth tér másik oldalán látja, aki baljósan mosolyog rá. Dimsdale ragyogó prédikációt tart. Megkezdődik az ünnepi felvonulás, Dimsdale úgy dönt, hogy megbánja az embereket. Chillingworth, amikor rájött, hogy ez megkönnyíti a szenvedő gyötrelmeit, és érezte, hogy az áldozat elcsúszik tőle, és hozzá rohan, könyörögve, könyörgve, hogy ne tegyen szégyenét szent méltóságáért. Dimsdale arra kéri Esther-t, hogy segítsen neki felmászni a peronra. A pillérnél áll és megbánja bűneit az emberek előtt. Összefoglalva: leszakítja a papi sálat, felfedve a mellét. Pillantása elhalványul, meghal, utolsó szavai - dicséret a Mindenhatónak. Különböző pletykák kúsznak a város körül: néhányan azt mondják, hogy a pap mellén vörös levél volt - pontosan hasonlít az Esther Prien viseltejéhez. Mások éppen ellenkezőleg azt állítják, hogy a pap mellkasi tiszta volt, ám a halál közeledését érzékeltetve fel akarta adni a leesett nő karjaiban levő szellemet, hogy megmutassa a világnak, mennyire kételkedő az emberek legszeméttelenebb igazsága.

Dimsdale halála után Chillingworth, aki elvesztette az élet értelmét, azonnal hanyatlattá vált, és szellemi és fizikai ereje azonnal elhagyta. Még egy év sem telt el a halála előtt. Az egész nagy vagyonát a Pearlnek hagyta. Az öreg orvos halála után Esther és lánya eltűntek, és Esther története legendává vált. Sok évvel később Esther visszatért, és ismét önként felvette a szégyen emblémáját. Egyedül él a régi házában, Boston szélén. Pearl, látszólag, boldogan házas, emlékezett anyjára, írt neki, ajándékokat küldött és örülne, ha Esther vele élne. De Eszter ott akarta élni, ahol a bűn történt - hitte, hogy engesztelést is ott kell végezni. Amikor meghalt, Dimsdale lelkész mellett temették el, de a két sír között hézag maradt, mintha haláluk után e kettõ hamuinak sem lenne joga összekeveredni.