Waar nu de Kleine Spie is, lag in vroeger tijden een weg die deel uitmaakte van een groot heidegebied. Dit gebied hoorde bij de domeinen van Prins Frederik. De straatnamen Grote en Kleine Spie verwijzen naar spits toelopende stukken grond die vroeger deel uitmaakten van dit gebied.
Op 28 mei 1964 viel het besluit om deze straat in Rijen de naam Kleine Spie te geven.
