De roman is opgedeeld in twee verhalen. Het eerste verhaal, Being a Reprint from the Reminiscences of John Watson, M.D., Late of the Army Medical Department, wordt verteld vanuit de eerste persoon door Holmes' vriend Dr. Watson. Het verhaal omschrijft zijn ontmoeting met Sherlock Holmes in 1881, en het eerste onderzoek van Holmes waar hij bij betrokken was. Het onderzoek draait om een lijk dat gevonden is in een huis in Brixton, met het woord "RACHE" geschreven in bloed op de muur achter het lijk. Holmes neemt de zaak aan, ondanks dat hij er geen erkenning voor zal krijgen. Hij vindt op de plaats van het misdrijf een trouwring en plaatst een advertentie in de krant waarin hij de eigenaar probeert de achterhalen. Hij krijgt bezoek van een oude dame die beweert de eigenaar van de ring te zijn. Holmes ontdekt al snel dat de vrouw een vermomde man is, maar deze slaagt erin te ontsnappen. De volgende dag krijgt Holmes bezoek van een van de politiedetectives aan wie de zaak is toegewezen. Hij beweert dat de zaak is opgelost en de dader gearresteerd. Nauwelijks is hij uitgesproken, of een tweede detective duikt op met het nieuws dat er weer een moord is gepleegd. De man die ze hebben gearresteerd is onschuldig. Beide detectives zitten duidelijk op een dood spoor wat hun onderzoek betreft. Het Mormoonse Nauvoo Legion. Het tweede verhaal, The Country of the Saints, speelt zich af in de Verenigde Staten, en wordt verteld vanuit de derde persoon door een alwetende verteller. Pas in de laatste twee hoofdstukken wordt alles weer vanuit Watsons perspectief vermeld. In deze laatste twee hoofdstukken wordt ook duidelijk wat het verband is tussen beide helften van de roman. In het tweede verhaal staan Mormonen centraal, maar de manier waarop ze worden neergezet komt niet overeen met hoe hun geloof in werkelijkheid is.

Het verhaal speelt zich af in 1887 of 1888, en draait deels om de Oost-Indische Compagnie en de Muiterij van Sepoy. Sherlock Holmes en Dr. Watson worden benaderd door Miss Mary Morstan, die hun vraagt mee te helpen met de zoektocht naar haar vader. Hij was officier in India, maar is 10 jaar geleden verdwenen toen hij terug zou komen naar Engeland. Een anonieme brief brengt de drie op het spoor van Thaddeus Sholto. Van hem vernemen ze dat zijn vader goed bevriend was met Morstans vader en met hem in dezelfde legereenheid diende in India. Hij vertelt echter ook dat beide mannen dood zijn en dat er een schat in het spel is die hij en zijn broer hebben meegenomen uit India.

Sherlock Holmes wordt benaderd door de koning van Bohemen. Hij wordt gechanteerd door Irene Adler, een operazangeres uit New Jersey met wie hij ooit in het geheim een relatie heeft gehad. Ze dreigt de relatie openbaar te maken, en zo een schandaal te ontketenen. Dit kan de koning zijn huwelijk met Clotilde Lothman von Saxe-Meningen, een Noorse prinses, kosten. Holmes gaat undercover om te proberen het bewijsmateriaal tegen de koning te bemachtigen.

Holmes krijgt bezoek van een pandjesbaas genaamd Jabez Wilson, een man die vooral bekend staat om zijn rode haren. Hij heeft een tijd gewerkt als kantoorklerk voor een zekere Duncan Ross, die om een of andere reden alleen mensen met rood haar in dienst wilde en hier zelfs een club voor had opgericht. De club bleek later opeens te zijn opgeheven, en niemand had ooit van Duncan Ross gehoord. Holmes ontdekt als snel dat Ross een alias is van John Clay, die Wilson de baan enkel had aangeboden om hem weg te lokken uit zijn winkel zodat hij en een helper daar een tunnel naar de bank konden graven.

Holmes wordt bezocht door Miss Mary Sutherland, een vrouw wier verloofde is verdwenen. Deze verloofde, Mr. Hosmer Angel, staat bekend als een stil en geheimzinnig man. Al zijn brieven aan Miss Sutherland zijn met een typemachine geschreven, en hij vraagt haar altijd te antwoorden via het postkantoor. Bovendien wil hij Sutherland alleen ontmoeten als haar jonge stiefvader, James Windibank, het land uit is. Holmes ontdekt al snel dat de twee heren een en dezelfde zijn.

Holmes en Watson gaan naar Boscombe Valley om de dood van Mr. Charles McCarthy te onderzoeken. Lestrade, een agent van Scotland Yard, is al met de conclusie gekomen dat er moord in het spel is en dat McCarthy’s zoon James de dader moet zijn. Holmes twijfelt hieraan en onderzoekt de zaak verder.

Een man genaamd John Openshaw vertelt Holmes een bizar verhaal over zijn oom, Elias Openshaw, die kolonel was in het leger van de geconfedereerden. De man blijkt banden te hebben met de Ku Klux Klan. Kort erop wordt Openshaw dood aangetroffen in de Theems.

Mr. Neville St. Clair, een gerespecteerde zakenman, wordt vermist. Zijn vrouw beweert hem laatst nog te hebben gezien in een gebouw in een achterstandswijk van Londen. Toen ze de politie erbij haalde, vond die enkel een zwerver genaamd Hugh Boone. Holmes ontdekt al snel dat deze Hugh Boone niemand minder is dan Neville St. Clair. Hij leidt al jaren in het geheim een dubbelleven. Dit verhaal is uniek in het opzicht dat de zaak die Holmes onderzoekt uiteindelijk toch geen misdaad blijkt te zijn.

Er wordt een zeldzame blauwe karbonkel (een soort granaat vermist, en loodgieter John Horner lijkt het ding te hebben gestolen. De steen duikt later op in de keel van een gans, die door een man is achtergelaten bij commissaris Peterson. Holmes ontdekt dat de echte dader James Ryder is, die de steen aan de gans had gevoerd om hem snel te verstoppen voor de politie.

Een jonge vrouw genaamd Helen Stoner zoekt hulp van Holmes voor het onderzoek naar de dood van haar zus, Julia. Holmes ontdekt dat beide vrouwen erfgenaam zijn van een groot fortuin van hun overleden moeder, en dat als ze allebei zouden trouwen hun stiefvader, Dr. Roylott, vrijwel niets zou krijgen van deze erfenis. Dr. Roylott staat tevens bekend als een zeer agressief man. Holmes ontdekt dat hij Julia heeft vermoord met behulp van een giftige slang.

Dit is een van twee zaken die Holmes op het spoor kwam dankzij Watson. De zaak draait om Mr. Victor Hatherley, een man die bijna slachtoffer is geworden van Colonel Lysander Stark nadat hij had ontdekt dat Stark een valsemunter was.

Miss Hatty Doran, de bruid van Lord St. Simon, verdwijnt op de dag van haar huwelijk. Die dag gedroeg ze zich volgens Simon al vreemd, vooral tijdens de ceremonie. Holmes ontdekt dat Doran reeds getrouwd was met een zekere Francis H. Moulton. Ze had gehoord dat hij om zou zijn gekomen, maar zag hem plotseling weer tijdens de ceremonie. Daarom trok ze zich terug.

Mr. Alexander Holder, een bankier, roept de hulp in van Holmes nadat een kostbare diadeem bijna is gestolen uit zijn huis en daarbij zwaar beschadigd is geraakt. Hij heeft deze in zijn bezit als onderpand voor een lening van 50.000 pond. Holders zoon Arthur lijkt de dader te zijn, maar volgens Holmes zijn er meer mensen bij betrokken.

Violet Hunter vraagt advies van Holmes nadat ze een aanbod heeft gekregen om als gouvernante te gaan werken voor Jephro Rucastle, maar onder vrij vreemde voorwaarden.

Dit is een van de populairdere korte verhalen. De plot draait om de verdwijning van een beroemd renpaard genaamd Silver Blaze. Bovendien lijkt Silver Blaze’s trainer, John Straker, te zijn vermoord. Inspector Gregory heeft reeds een man gearresteerd in verband met de moord op Straker wanneer Holmes de zaak aanneemt. Holmes vind het paard al snel terug door de sporen van het dier te volgen, en ontdekt ook dat Straker meegeholpen heeft het paard uit zijn stal te halen. Straker hield er een tweede vrouw op na, en wilde de uitslag van de paardenrace beïnvloeden om genoeg geld te verdienen om haar tevreden te houden. Hij is zelf niet vermoord: het paard heeft hem een fatale schop tegen het hoofd gegeven.

Holmes krijgt bezoek van Mr. Grant Munro, die hem een verhaal verteld over zijn vrouw, Effie. Ze was al eerder getrouwd, maar haar man en kind stierven beide aan gele koorts. Ze vluchtte zelf naar Engeland, en ontmoette daar Munro. Kort geleden vroege ze hem opeens om 100 pond, en wilde niet vertellen waarom. Bovendien betrapte Munro haar een keer toen ze naar een vakantiehuis ging en daar iemand met een vreemd geel gezicht zag. Holmes vermoed dat Effie’s eerste echtgenoot toch niet gestorven is, en nu terug is gekomen om haar te chanteren. Uiteindelijk blijkt de persoon met het gele gezicht niet Effie’s eerst echtgenoot te zijn, maar haar dochter uit haar vorige huwelijk (die de gele koorts blijkbaar toch had overleefd). Wanneer Holmes het gele masker afdoet, ziet hij dat het meisje zwart is. Effie verklaart dat ze bang was dat Munro niet meer van haar zou houden als hij wist dat ze moeder was van een negroïde kind. Haar vrees blijkt ongegrond wanneer Munro hen beide komt halen.

Holmes en Watson vertrekken naar Birmingham, samen met hun nieuwe klant: Hall Pycroft. Hij kreeg volgens eigen zeggen een baan aangeboden als kantoormedewerker bij de firma Mawson & Williams, zonder ooit contact met hen te hebben gehad. Hij kreeg echter vrijwel direct een beter aanbod van een man genaamd Arthur Pinner, die hem een baan in Birmingham aanbood. Hij accepteerde, maar kreeg al snel argwaan toen hij in Birmingham werd opgezocht door de broer van Pinner, Harry, die zeer sterk leek op Pinner. Holmes ontdekt dat Pinner en zijn broer in werkelijkheid een en dezelfde zijn. Pinner gaf Pycroft expres die blijkbaar beter baan om hem weg te lokken bij Mawson & Williams, zodat zijn handlanger zich daar voor kon doen als Pycroft en er zo ongezien binnen kon komen om obligaties te stelen. Holmes waarschuwt Mawson & Williams, maar daar blijkt de handlanger al toe te hebben geslagen. Hij kan echter nog worden onderschept.

Dit verhaal speelt zich af tijdens Holmes’ collegedagen. Hij wordt door zijn vriend, Victor Trevor, om hulp gevraagd nadat diens vader is omgekomen. Dit gebeurde nadat een man genaamd Hudson, die Victor’s vader kende van vroeger, bij hen was komen werken. Hij gedroeg zich altijd erg onbeschoft. Hudson vertrok uiteindelijk om Beddoes, een andere kennis van vroeger, te zien. Holmes ontdekt dat Hudson Mr. Trevor chanteerde met het feit dat hij er ooit een crimineel leven op na hield, waarvoor hij naar een strafkolonie in Australië werd gestuurd. Onderweg waren hij en Beddoes betrokken bij een gevangenenopstand. De twee konden in het tumult ontsnappen en werden later opgepikt door een ander schip. Slechts een crewlid van de boot waar de gevangenen mee werden vervoerd overleefde het geweld: Hudson. Hij blijkt nu uit te zijn op wraak.

Reginald Musgrave, een medewerker van een universiteit, bezoekt Holmes nadat twee andere personeelsleden, een werkster genaamd Rachel Howells en een butler genaamd Richard Brunton zijn verdwenen. Musgrave zag het voor het laatst toen hij hen betrapte op het lezen van een 17e eeuws document over het Musgrave Ritueel: een ritueel dat al eeuwen in de familie is maar wat door de meesten wordt afgedaan als iets onzinnigs. Holmes ontcijfert het ritueel, en ontdekt dat het in feite aanwijzingen zijn om iets te vinden. Hij vermoed dat Brunton dit ook wist, en daarom het document wilde. Holmes en Musgrave volgen de aanwijzingen, en vinden zo een verborgen kelder. Daar treffen het lijk van Brunton aan, naast een kist. Hij is gestikt toen de steen die de kelder afsloot achter hem dichtviel, mogelijk door toedoen van Rachel. In de kist vinden ze een aantal kostbare voorwerpen, waaronder de kroon van Karel I van Engeland.