MB3 82a Part 1 301:25

משנה ברורה ש״א:כ״ה

(כה) פטור שהם וכו' - ומ"מ אסור משום מראית העין שיחשדוהו הרואים שרוצה להלחם בהם בשבת וגם אפילו בחדרי חדרים אסור וכמ"ש בסמ"ה ע"ש: