Narodil se 3. února 1956 a s hokejem začal později než většina vrstevníků – až v devíti letech v žáčcích pražských Bohemians. Po třech sezónách se rozhodl pro přestup do Motorletu. Protože však mateřský oddíl s jeho uvolněním nesouhlasil a on za něj už hrát nechtěl, nakonec nehrál vůbec. Celý rok. „Chtěl jsem jít za lepším. Vždyť v Motorletu začínali i další hráči, kteří později spojili svou kariéru se Spartou, jako Kostka, Richter, Výborný nebo Vícha. Dodnes říkám, že ta ztracená sezóna mi později moc chyběla. Kvůli ní jsem byl stále o krok pozadu," řekl při vzpomínání na svou kariéru samotný Karel Holý.
V sedmnácti už důrazný mladíček nastupoval v první národní lize mezi dospělými. Během přátelského utkání se Spartou si ho osobně vyhlédl Luděk Bukač. „Byl jedním z prvních trenérů, možná vůbec první, kdo začal výrazně sázet na mladé hráče. Dával jim šanci, a těm, kteří se jí chopili, umožnil vyrůst. Projevil zájem, abych do Sparty přestoupil ihned, ale můj trenér František Tikal prohlásil, že mám ještě počkat, že je na to příliš brzy. A čím jsem zaujal? Povídali, že nasazením, agresivitou a tím, jak jsem beze strachu bojoval i s obávaným Šímou. Jenže já ho vlastně vůbec neznal a netušil, že z něj mám mít respekt,“ smál se Karel Holý při vzpomínkách na počátky své hokejové kariéry.
Když během léta 1974 konečně zamířil do Sparty, měl za sebou už velkou mezinárodní zkušenost i individuální ocenění. Na turnaji olympijských nadějí socialistických zemí, známém jako Družba, který naše družstvo o rok dříve vyhrálo, byl vyhlášen nejlepším útočníkem turnaje. Nechyběl ani na dalších evropských šampionátech či na neoficiálním mistrovství světa juniorů ve Winnipegu. Dokonce se dostal do širší nominace reprezentačního „áčka“ pro první ročník Kanadského poháru, odkud si přivezl nesmírně cennou památku – dres s číslem 32, který patřil Pierru Bouchardovi, třetímu brankáři javorových listů, s nímž směnil svou „čtyřiadvacítku“. Oba dresy zůstaly na ledě nepoužité.
„Vysedávání na střídačce nebo v civilu mi tehdy psychicky moc nepomohlo. Naopak, ocenil jsem pomoc starších spoluhráčů při zabydlování se ve sparťanské sestavě. Shodou okolností se mi dostalo podpory od Jardy Šímy a jeho parťáka z obrany, Vládi Kostky, který měl úžasnou střelu od modré čáry. Pro nás mladé, Pavla Richtera a mě, udělali hodně, stejně jako Vašek Honc, centr naší pětky. Když skončil, posunul jsem se na jeho místo já,“ vzpomínal Holý.
Pavel Richter se stal neodmyslitelným parťákem Karla Holého. Společně odehráli mnoho utkání, včetně závěrečného angažmá v Německu. Spojoval je podobný osud – oba začínali v ČLTK, bojovnými výkony si vysloužili juniorský reprezentační dres a ve Spartě se sešli v jedné formaci. Holý hrál na pravém křídle, Richter na levém. V mládežnických kategoriích však oba nastupovali ve středu útoku. „Lišili jsme se ve spoustě věcí, ale jako protiklady jsme si výborně rozuměli. Já byl na ledě výbušný, agresivní a zpočátku dost neukázněný, což mi trenér Bukač často vyčítal. V civilu jsem byl klidnější, ale na ledě jsem hrál se stoprocentním nasazením. Pavel sice bruslil hůř, ale u branky si vždy našel způsob, jak dát gól. Já sice projel až před brankáře, ale puk většinou skončil v jeho náručí nebo vedle branky,“ vtipkoval Holý, kterému mezi spoluhráči říkali „Fofo“.
Holý se ve Spartě stal oporou, ale během domácí kariéry na mistrovský titul nedosáhl, a to ani během vojny v Jihlavě. „Hráli jsme s Jirkou Holečkem v brance hodně vysoko, ale když skončil, ustoupili jsme do průměru. To se odráželo i na divácké kulise. Před poloprázdnou halou se hráč necítí nejlépe. Pokud je stadion vyprodaný, věřím, že to přidá na výkonu dvacet i třicet procent.“
Syn Karla Holého, obránce Martin, se na přelomu tisíciletí probojoval do „áčka“ Sparty. Sám Holý po krátké přestávce věnované obchodu vedl sparťanské juniory a žáky jako trenér a později působil jako šéf extraligové disciplinární komise.