実際そうしているんだけど、見る人がそれを「右」にカウントしている可能性

そりゃ答えは「右傾化してないから」でしょ。与党が万年自民党なんだから、日本ではそこがデフォなんだよ