Han blev mest känd inom fotbollen och handbollen. I fotboll spelade han för Vittjärvs IK, Djurgårdens IF och Notvikens IK. Han var framför allt en duktig målskytt.
Han värvades till Djurgården 1966 och blev kvar i tre säsonger.
Efter åren i Djurgården lockades han till Notviken, som satsade stort och som upplevde en storhetstid under 70-talet. Då var Notas en av länets mest framgångsrika fotbollsklubbar. Olofsson värvades som skyttekung, och mål gjorde han. Det blev 15–30 mål per säsong. 1972 vann Notviken division 3, men missade kvalet att gå upp till tvåan.
I handboll representerade han Malmbergets AIF, Hellas, Bodens BK och Luleå SK. Han var med om att vinna SM-guld med Hellas.
Men själv ansåg Olofsson att det var inom ishockeyn som han hade de största förutsättningarna. Han spelade för Vittjärv och Malmberget.
Olofsson hade också styrelseuppdrag inom idrotten, först i Vittjärvs IK och på senare år var han ledamot i Boden Handbolls styrelse.
Trots att han drabbades av ohälsa på senare år behöll han sitt glada humör och positiva inställning.