A la claire fontaine より質問です

J'ai perdu mon amiSans l'avoir meritePour un bouquet de rosesQue je lui refusai(1)2行目の le の指す内容は｢彼｣なのか､｢彼を失ったこと｣なのかどちらなのでしょうか?(2)4行目は､何を拒否したのでしょ