I [[Tour de France 2006]] sluttede han fornuftigt i det samlede klassement, men var ikke holdlederkaptajn, da den ære gik til [[Rusland|russiske]] [[Denis Mensjov]]. Rasmussen vandt dog alligevel den prikkede trøje for andet år i træk, og vandt 16. etape i processen.{{kilde mangler|dato=august 2016}} På den etape stak han af sted fra feltet efter kun 4 kilometer og tog "Souvenir [[Henri Desgrange]]", en pris, der gives til den første rytter over det højeste bjerg i hver Tour){{kilde mangler|dato=september 2016}} på [[Col du Galibier]] (2645 m).{{kilde mangler|dato=september 2016}} Prisen var 5000 euro.{{kilde mangler|dato=september 2016}} Han førte over alle bjergene og vandt 16. etape med over et minut ned til den nærmeste forfølger, [[Carlos Sastre]] fra [[Team CSC]].{{kilde mangler|dato=august 2016}} I [[Paris]] vandt han den sidste prikkede bjergtrøje i [[Tour de France 2006|dette års Tour]], mens han bar sin nyligt fødte søn,{{kilde mangler|dato=september 2016}} der var iklædt i en prikket trøje og kasket.{{kilde mangler|dato=september 2016}}
