Слово кофе мужского рода. Однозначно. Можешь сказать тем, кто с тобой поспорил. Это тебе говорит человек, который изучает русский язык. А найти подтверждение можешь в "Словаре правильной русской речи", ну или в обыкновенном орфографическом словаре. Думаю, в словаре Ожегова тоже есть