Assier liegt im Norden der Landschaft Quercy, etwa 350 Meter über dem Meer. Der Ort gehört zum Regionalen Naturpark Causses du Quercy und wird von einem gemäßigten Klima mit ganzjährigem Regen geprägt. In der Umgebung finden sich bedeutende mittelalterliche Wallfahrtsorte wie Rocamadour, während Figeac nur etwa 20 Kilometer entfernt ist. Der Bahnhof von Assier liegt an der Eisenbahnstrecke zwischen Brive und Rodez.
Die Geschichte des Ortes reicht bis in die Jungsteinzeit zurück, wie Funde von Großsteingräbern und einem Menhir belegen. Im Mittelalter entstand eine befestigte Siedlung mit einer Burg, von der heute nur noch Reste der Tour du Sal erhalten sind. Später übernahm der Malteserorden die Herrschaft und errichtete eine Komturei mit Kirche und Hospital. Ein prägender Sohn der Gemeinde war Jacques Ricard de Genouillac, der als Diplomat unter mehreren französischen Königen diente und das heutige Schloss sowie die Kirche Saint-Pierre errichten ließ.
Besonders sehenswert sind das Renaissance-Schloss mit seinem erhaltenen Flügel und der dazugehörige Taubenturm. Die Kirche Saint-Pierre diente als Grabstätte des Schlossherrn. In der Umgebung verteilen sich mehrere prähistorische Dolmen und zwei Tropfsteinhöhlen. Die Landschaft der Causses du Quercy mit ihren karstigen Formationen und Schafweiden prägt bis heute das Bild der Region.
