自分が座ることで相手に迷惑を掛けることを恐れて遠慮するのです。

パーソナルスペースが違うの一言で済むのでは。それをバックアップしたければ幾らでも適当な仮説つければいいだけでしょ。