Rose nyerte az aranyérmet a 1904 Olympic Games in St. Louis , mint a legfiatalabb súlylökő a dátum , egy új világrekordot 14,81 m. Ezen felül diszkoszvetésben ezüstérmet és kalapácsvetésben bronzérmet nyert . Ugyanebben az évben elvesztette a lövöldözés világrekordját az ír Denis Horgan előtt , de 1907-ben visszakapta. Az olimpiai játékok a London az 1908 -ben megismételte olimpiai győzelem a súlylökő. A londoni játékok megnyitóján az amerikai zászlót viselte, és diplomáciai felhajtást váltott ki, mert ő volt az egyetlen olyan zászlóvivő az ünnepségen, aki nem volt hajlandó meghajlítani országa zászlóját a brit király előtt. Észrevette, hogy a stadion körül felhúzott zászlók hiányoznak az Egyesült Államokéból. 1909-ben ő volt az első sportoló, aki meghaladta az 50 méteres jelet 51 lábon (= 15,54 méter). Ez a világrekord 16 évig tartott. Megnyerte a másik két érmet a 1912 Olympic Games in Stockholm , arany a kétkezes súlylökő és ezüst a súlylökő.
1913-ban Rose tífuszba esett és 28 éves korában elhunyt. 1976-ban posztumusz bekerült az Amerikai Atlétikai Szövetség "Hírességek Csarnokába".