Cardaillac liegt im Département Lot, am Rand des Zentralmassivs, wo fruchtbare Böden der Limargue auf die kargen Kalkböden der Ségala treffen. Der Ort befindet sich an einer Nebenstrecke des Jakobswegs, etwa auf halber Strecke zwischen Rocamadour und Figeac, und wird vom Fluss Drauzou im Westen begrenzt. Die Gemeinde ist als eines der schönsten Dörfer Frankreichs ausgezeichnet.
Seine Geschichte beginnt im 8. Jahrhundert, als Pippin der Kurze dem treuen Gefolgsmann Bertrand Land übergab, der daraufhin den Namen Cardaillac annahm. Im 11. Jahrhundert festigte sich die Bedeutung der Familie Cardaillac, die zu den einflussreichsten des Quercy zählte. Richard Löwenherz eroberte den Ort 1188, und im 16. Jahrhundert spaltete sich die Familie in Katholiken und Protestanten.
Der Ort besticht durch seine mittelalterlichen Türme, die einst Teil der Stadtbefestigung waren. Der quadratische Uhrenturm aus dem 13. Jahrhundert diente als Wehrbau mit defensiven Elementen wie einer hochgelegenen Tür und einer Warnglocke. Die Pfarrkirche aus dem 17. Jahrhundert mit ihrer neoromanischen Fassade und ein tiefer Brunnen auf dem Hauptplatz prägen das Bild. Ein Regionalmuseum zeigt Alltagsgegenstände des 18. und 19. Jahrhunderts. Heute lebt die Gemeinde vor allem vom Tourismus durch Ferienwohnungen.