Pitstone liegt im Osten von Buckinghamshire, am Fuße der zentralen Hügelkette der Chiltern Hills. Südlich des Ortes verläuft der Grand Union Canal, und im Westen grenzt er an Ivinghoe, mit dem er sich einige Einrichtungen teilt. Nicht weit entfernt liegt auch die Marktstadt Tring in der Grafschaft Hertfordshire.
Der Name des Dorfes stammt aus dem Angelsächsischen und bedeutet „Picels Dornenbaum“. Erstmals erwähnt wurde es im Domesday Book als Pincelestorne. Im Mittelalter schenkte der Earl of Cornwall das Dorf der Abtei Ashridge, und König Edward I. verbrachte dort Weihnachten, was für die Bewohner mit großen Belastungen verbunden war.
Bekannt ist Pitstone vor allem für seine historische Windmühle, die heute dem National Trust gehört. Das Pitstone Green Museum gibt Einblicke in die Landwirtschaft und ihre Handwerkszweige. Oberhalb des Ortes erstreckt sich der als besonders schützenswert geltende Pitstone Hill, der vom Ridgeway National Trail durchquert wird. Ein ehemaliger Kreidebruch wurde zum College Lake Nature Reserve umgestaltet.
