翌シーズン、マラビッチはそれなりの成績を残しオールスターに選ばれたが、シーズンの半分近くをベンチで過ごす。その翌年、ジャズはフランチャイズをユタに移転。出場時間の激減に苛立つマラビッチと、動きの衰えた彼をあまり必要としなくなったチームの確執は深まった。そして1980年１月、フロントはマラビッチの解雇を断行する。

　その５日後、マラビッチはボストン・セルティックスに拾われたが、若きエース、ラリー・バードを中心にチームプレー重視のスタイルを信条としていたセルティックスに、マラビッチの居場所はなかった。バード、ケビン・マクヘイルら若手有望株に、ロバート・パリッシュ、ネイト・アーチボルトら中堅選手がうまく混ざり合った成長著しいセルティックスは、翌シーズンの優勝候補の一角と目されていた。

　もしマラビッチが控えの座に甘んじることができたなら、大学時代から圧倒的な個人成績を記録しながらも縁遠かった、夢にまで見たチャンピオンリングを手に入れることができたかもしれない。しかし、それまでスター街道を歩んできた彼のプライドが、それを許さなかった。翌シーズンのキャンプイン直前、マラビッチは現役引退を表明し、10年間のＮＢＡ生活に別れを告げる。皮肉にもそのシーズン、セルティックスは５年ぶりに優勝を遂げるのだった。
   “ピストル・ピート”は、カレッジ時代からあまりにも有名になりすぎていた。四六時中メディアやファンに追われ、過度の期待をかけられ、とてつもなく大きなプレッシャーと日々戦わなくてはならなかった。そしてそのプレッシャーはマラビッチを徹底的に苦しめた。彼はいつも何かに怯え、悩み続けていた。重圧から逃れるために、大学時代は酒と女に溺れる毎日だったという。カレッジ最後となる試合も、二日酔いのせいで満足なプレーができないほどだった。

　またマラビッチには、悩みを分かち合える親しい友人が、人生を通していなかった。その証拠に、引退後出版された彼の自伝に、友人やチームメイトの名前はほとんど出てこない。彼は常に孤独感に苛まれていた。そして、母親のアルコール中毒による自殺と、鬱やガンとの壮絶な戦いの末他界した父の死も、マラビッチの心を蝕む要因となった。

　夢にまで見たバスケットボールでの成功、だが幸せはそこになかった。いくら富や名声を手にしたところで、彼の人生は満たされることがなく、その結果アルコールに救いを求め、ベッドの中で震えながら「強くなるんだ」と呟く日もあったという。