Pilgrimen byggdes av Per-Erik Wahlström från Hudiksvall på 1870-talet. Han började som bodbetjänt i byn men avancerade till en skicklig affärsman och uppförde bl a det herrgårdsliknande grosshandlarhuset som sedermera döptes till Pilgrimen. Längs landsvägen utanför huset byggde Per-Erik en trätrottoar och i vägskälet mot Los det åttkantiga stallet – ”Oktogonen”, som numera står vid gamla smedjan. Bakom huset anlades en välskött trädgård, en kägelbana och en stor jordkällare för is och vin. I bottenvåningen öppnade Wahlström affär medan övre våningen tjänstgjorde som familjens bostad. I huset fanns också ett paviljongliknande, åttkantigt dass med två trappor som ledde upp till andra våningen. Wahlström lät också bygga två stora magasin, en tvättstuga och ett badhus i Kårsjön med brygga från land. Då inlandsbanan togs i bruk på 1880-talet avvecklade Wahlström affärsverksamheten i Kårböle och flyttade till Sveg. Fastigheten har sedan dess haft många ägare tills Kårböle byalag tog över 1987 - hundra år efter Wahlström. Efter renovering till ”allaktivitetshus” invigdes Pilgrimen 1989 i närvaro av landshövding Lars-Ivar Hising och ett stort antal gäster. Inledande hyresgäster var posten, hemslöjden, kommunen, landstinget och på övre våningen värdshuset. Idag finns värdshuset kvar som ägs av krögaren Jim Barahimi. Pilgrimen är en rastplats för 1000-tals förbiresande fjällturister och andra transporter.