Charolles liegt in der Region Bourgogne-Franche-Comté, wo der Fluss Arconce die Landschaft prägt und kurz vor der Stadt von seinem Nebenfluss Semence gespeist wird. Etwa zwölf Kilometer östlich befindet sich Paray-le-Monial, während Palinges im Süden und La Clayette im Norden liegen. Die nächste größere Stadt ist Lyon, rund hundert Kilometer entfernt.
Der Name Charolles geht auf eine keltische Bezeichnung zurück, die eine Wasserfestung bezeichnete. Als Hauptstadt der Grafschaft Charolais spielte die Stadt eine wichtige Rolle, nachdem das Gebiet von der Grafschaft Chalon-sur-Saône getrennt worden war.
Besonders sehenswert sind die Überreste der Burg Charolles, die einst den Grafen von Charolais gehörte, sowie das Herrenhaus La Magdeleine mit seiner Fassade aus dem 15. Jahrhundert. Die katholische Herz-Jesu-Kirche rundet das Bild ab. Berühmte Persönlichkeiten wie der Koch Michel Roux oder die Salonnière Marquise du Deffand stammen aus Charolles.
