Goudsmits vader was een Joodse diamantbewerker, zijn moeder was rooms-katholiek. In 1966 werd hij bij het grote publiek bekend door zijn rol van Tevje in de musical Anatevka (Fiddler on the Roof). Hij speelde Tevje zo'n 1100 keer in Nederland en in Londen. Behalve in bovengenoemde rol was hij regelmatig te zien in televisieprogramma's. Zo speelde hij Koning Sopromus in de jeugdserie Flip de tovenaarsleerling in 1961 en een rol in de jeugdserie Q & Q in 1974. In een andere jeugdserie, Thomas en Senior (1985-1988), speelde hij de rol van Senior. Van 1984 t/m 1999 speelde hij in Sesamstraat als Lex (de opafiguur), waardoor ook de jongere generatie hem leerde kennen. Goudsmit overleed op 86-jarige leeftijd in een ziekenhuis in Amsterdam aan de gevolgen van een hersenbloeding. Hij werd in stilte gecremeerd in crematorium Westerveld in Driehuis. Zijn as is begraven op het urnenveld onder een soort vitrinekastje waarin foto's, tekeningen en andere objecten te zien zijn.