'The Color Out of Space' wordt eerst verteld vanuit het perspectief van een naamloze landmeter die naar het kleine stadje Arkham, Massachusetts wordt gestuurd om het gebied te onderzoeken op zoek naar een mogelijk nieuw reservoir. Hij merkt op dat de bevolking van de stad langzaam afneemt. Hij begint ook vreemde dingen te horen over een mysterieuze 'opgeblazen heide', een deel van de stad waar het land bedekt is met as en niets groeit. Uiteindelijk vindt hij Ammi Pierce, een inwoner die vlakbij de heide woont en de enige persoon in de stad is die zich nog herinnert wat daar is gebeurd.