Php mailer i reply-to, Nie chce odpowiadać na adres z reply-to Opcje

[szczemp]

Jest kłopot do rozwiązania.
Napisałem formularz na stronę, przez który każdy może napisać maila do administratora. Założyłem też specjalnie na tą okazję konto gmaila (powiedzmy adres@gmail). Wysyłam maila z tego konta adres@gmail maile na to samo konto (adres@gmail), od siebie do siebie. Chcę dodawać do maila drugi adres jako 'odpowiedz do'. tym adresem ma być adres podany w formularzu przez użytkownika (powiedzmy użytkownik@mail).
Niby mi to dodaje, ale coś jest nie tak.

[PHP] pobierz, plaintext 
$mail->SetFrom('adres@gmail', 'adres@gmail');
$mail->ClearReplyTos();
$mail->AddReplyTo('użytkownik@mail');
$mail->AddAddress('adres@gmail');
[PHP] pobierz, plaintext 

Mail przychodzi poprawnie i ma ten adres w odpowiedz do, ale nie mogę na niego odpowiedzieć. List adresowany jest do adres@gmail.
Czego mi tu brakuje?
PS. Jeśli wysyłam maila przez desktopowego klienta poczty, to nie ma tego problemu.