別に手をつけなくても失礼でなはい
俺は、ありがとうございますと言って飲まない。そうすれば相手が勝手に遠慮してると思ってくれる。