Statyn av stadens grundare invigdes på Residenstorget år 1926. Hertig Karl, som sedan blev kung Karl IX, var Gustav Vasas yngste son. År 1584 utfärdade han stadsprivilegier till Tingvalla som blev stad med namnet Karlstad. Uppdraget att leverera statyn gick till den kände skulptören Christian Eriksson från Arvika. På sockeln av granit finns kärven som är Vasaättens vapen och texten Urbem ondidit 1584 - "Han grundade staden 1584". På sockelns sidor finns två reliefer som avbildar en stångjärnssmedja och det skogsfinska svedjebruket.

Residenstorget hette tidigare Hamntorget. I älvkröken låg hamnen som skeppade varor in och ut. Här var stadens hjärta – kyrkan låg precis intill och strax uppströms fanns den viktiga järnvågen som vägde och kontrollerade det vinstgivande stångjärnet innan det skeppades mot Göteborg och vidare ut i världen.

Efter branden 1865 fick platsen ungefär det utseende den fortfarande har. Residenset, där landshövdingen har sin bostad, byggdes 1871. Från början hade byggnaden bara två våningar, den tredje kom till på 1920-talet. Västra bron, som förbinder Residenstorget med stadsdelen Klara, är stadens äldsta broläge. Den nuvarande bron är från 1938, men på samma plats låg de äldre broar som under flera hundra år var enda fasta förbindelsen mellan Tingvallaön och fastlandet.

Längs älven bakom statyn löper Älvgatan med kvarteret Almen. Här kan man se några av få byggnader i staden som visar hur bebyggelsen såg ut före branden år 1865. Förutom biskopsgården och några få stenbyggnader var det bara gårdarna längs Älvgatan som undkom lågorna.