Varberg hørte til Danmark fra [[vikingetid]]en og frem til omkring år [[1300]]. Den ældste registrerteregistrerede stavemåden er ''Wardbergh'' <ref>Svenskt ortnamnslexikon, 2003</ref> (1305). I en periode fra [[1305]] til [[1365]] var området svensk, indtil det blev erobret tilbage af den danske konge [[Valdemar Atterdag]]. Ved begyndelsen af [[1400-tallet]] blev navnet ''Varbjerg'' antaget efter den nærliggende fæstning, oprindeligt en borg anlagt i 1280-tallet på klipperne ud mod havet. Efter [[Torstensson-krigen]] (1643-1645) overgik Varberg og det øvrige Halland til Sverige som pant i 30 år ved [[Freden i Brømsebro]]. Ved [[Roskildefreden]] i [[1658]] blev afståelsen gjort permanent.
Den katolske [[teolog]] og [[historiker]] [[Poul Helgesen]] ([[1485]] - ca. [[1535]]) var født i Varberg.
