תאוריית ה"הסכמה שבשתיקה" לוקה בכמה קשיים:
ראשית, היא לא מדוייקת. היו שביקרו ומבקרים את הגדר. ראה למשל כאן:
https://www.acri.org.il/he/1887לשם שלמות התמונה צריך להכיר בכך שהיו גם ארגוני זכויות אדם שדווקא בירכו על הקמת הגדר. הטיעון הוא שהבחירה של הפליטים להגיע לישראל היא בחירה רעה להם, לא רק בגלל מה שמצפה להם מממשלת ישראל שמתעלמת שיטתית מההתחייבויות הבינ"ל שלה, אלא בגלל מה שהמחכה להם בדרך מביתם לישראל, שזה רעב, אונס, כליאה ממושכת או גרוע מכך. לכן היו שטענו שאם הגדר תביא לכך שהפליטים יבחרו נתיב אחר, ייטב להם. לא בטוח שזה טיעון משכנע אבל הוא הושמע.
שנית, יש כאן כשל לוגי שהוא נפוץ וטיפשי. בהתחשב בעובדה שקיימת עוולה איומה X, למה בכלל להילחם נגד עוולות אחרות, בטח קטנות יותר? זה טיעון מירי רגבי טיפשי. זה הגיוני בערך כמו לטעון שכל עוד שאנשים מתים מסרטן אסור לחברות התרופות לפתח או לשווק תרופות לכאבים, או התקררות, או בחילות.
שלישית, וכמו שהסבירו כאן, לגדר יש היבטים שלא קשורים לפליטים, מה שהופך את הסוגיה למורכבת מאוד בכלל, ומהזווית של ארגוני זכויות הפליטים בפרט. בישראל (ולא רק בישראל), אין באמת נכונות, לא בציבור, לא בפוליטיקה, לא אצל שופטים ולא בכלל להילחם נגד משהו שמערכת הבטחון מסווגת בסוגיית "בטחון לאומי". כזאת היא הגדר. נושא אישורי העבודה, או מעמד המסתננים, או הריכוז שלהם באזור קטנטן בדרום ת"א אינה סוגיה של "בטחון לאומי" ולכן הרבה יותר הגיוני שארגוני זכויות הפליטים יפעלו שם.
רביעית, מבחינה חוקית, הסוגיה של זכויות הפליטים לפני שהם נכנסים לישראל וזכויותיהם אחרי שהם נכנסים לישראל זה הבדל של שמיים וארץ. עו"ד (וסטודנטים למשפטים) מובילים הרבה מהמאבקים של זכויות הפליטים ואין להם קייס משפטי רציני באשר לגדר. יש להם קייס מובהק יותר באשר למסתננים שנמצאים בישראל.