MB3 6B 244:6

(ו) חצירו או כותלו - ואפילו אם הוא עומד במקום שאין ידוע שהוא שלו ג"כ אסור דיש לחוש לשכניו שיודעים שהוא שלו ויחשדוהו ששכירו הוא לימים [מ"א וש"א]: