Som amatør boksede Preben Rasmussen for bokseklubben [[ChristianshavnsCIK IdrætsklubBoksning|CIK]]. Han vandt københavnsmesterskabet i letvægt i [[1961]] og i letweltervægt [[1963]]-[[1965|65]]. Han vandt det danske mesterskab i letweltervægt i 1963 og fik samme år sølv ved de nordiske mesterskaber i samme vægtklasse. Han vandt atter DM i [[1964]] og blev samme år udtaget til at repræsentere Danmark under de [[Olympiske Lege]] i [[Tokyo]]. Ved [[Sommer-OL 1964|OL]] mødte Rasmussen i [[Boksning under Sommer-OL 1964|turneringens]] første runde den afrikanske mester, [[Ghana|ghaneseren]] Eddie Blay, der besejrede Rasmussen med dommerstemmerne 5-0. Blay vandt bronze ved turneringen og besejrede efterfølgende som professionel bl.a. danskerne [[Jørgen Hansen (bokser)|Jørgen Hansen]] og [[Christian Larsen (bokser)|Christian Larsen]]. Efter OL skiftede Preben Rasmussen i [[1965]] til [[IF Sparta Bokseklub|IF Sparta]], og vandt samme år DM og senere på året det nordiske mesterskab, inden han blev professionel.
