De geschiedenis van het dorp Austerlitz begint in 1804. De Franse generaal Auguste de Marmont liet op het relatief vlakke heidegebied tussen Driebergen en Leusden soldaten samenkomen om er te oefenen in de krijgskunst. Hij voegde verschillende bataljons samen tot een leger van 18.000 manschappen. Het exercitieterrein werd het Camp d’Utrecht genoemd. In opdracht van de Marmont werd daar door zijn soldaten een bijzonder bouwwerk opgetrokken. In de herfst van 1804 liet hij zijn soldaten een aarden heuvel als een piramide bouwen. De soldaten waren op dat moment klaar met hun oefeningen en de generaal meende dat het bouwen van een piramide een nuttige en goede bezigheid was. De piramide was een eerbetoon aan Napoleon Bonaparte. De Egyptische piramides van Gizeh dienden als inspiratiebron. De generaal had de piramides namelijk met eigen ogen kunnen aanschouwen tijdens de Egyptische veldtocht van Napoleon in 1798. Aanvankelijk werd de aarden piramide door de omwonenden de Marmontberg genoemd. Maar al in 1806, bij een bezoek van koning Lodewijk Napoleon aan het kamp, werd de naam veranderd in “Pyramide van Austerlitz”. Die naam verwijst naar de door Napoleon gewonnen ‘Slag bij Austerlitz’ (nu Slavkov in Tsjechië) op 2 december 1805. Aan die slag hadden ook de troepen van generaal Marmont deelgenomen.
Koning Lodewijk Napoleon is de naamgever van het dorp Austerlitz. Handelaren waren inmiddels bij het legerkamp neergestreken om met de soldaten handel te drijven. In 1806 vaardigde de koning echter een decreet uit, waarbij het legerkamp werd opgeheven. De bij het kamp gelegen buurtschappen Petitville, Marmontville en Bois-en-ville werden door hem samengevoegd tot Austerlitz. De koning had grootse plannen met deze plaats die hij zelfs stadrechten had verleend. Zo dacht hij aan de aanleg van een kanaal. Er kwam al snel een eind aan de zelfstandigheid van Austerlitz als gemeente. In 1812 werd Austerlitz ingelijfd bij Zeist en verloor het zijn stadsrechten.
In 1894 werd de houten obelisk op de piramide in opdracht van de burgemeester van Woudenberg, de heer de Beaufort, vervangen door een obelisk van steen. Met een hoogte van 36 meter is het monument een van de hoogste punten van de Utrechtse Heuvelrug.
Niet ver van de Pyramide van Austerlitz staat de Koepel van Stoop. De koepel is gebouwd in opdracht van de Amsterdamse bankier, als theekoepel waar gefortuneerde Amsterdammers konden genieten van het uitzicht over de Gelderse vallei.
Langs de weg van Zeist naar Woudenberg staat een oud kerkje aan de rand van het bos waarin een opmerkelijk theater is gevestigd: het Beauforthuis. Oorspronkelijk is het gebouwd naast een boerderij, bedoeld om de Hervormde gelovige uit Austerlitz van dienst te zijn. Tegenwoordig worden in het Beauforthuis theatervoorstellingen, concerten en exposities gehouden.
