自分が物やサービスを販売した時、取引先は自分へ消費税を支払う。
そして取引先も顧客へ物やサービスを販売した際に、顧客から消費税を受け取っている。
消費税を納税する際は「受け取った消費税 - 支払った消費税」を税務署に収めるが、適格請求書発行事業者(インボイス発行事業者)以外へ支払った消費税は支払った消費税としてノーカンとなる。
つまり、自分が免税事業者でインボイス対応してないと取引先が余計に消費税を納めることになる。
替えがきかないならともかく、余計に消費税を支払わなければいけない業者と普通は取引したくない。だからインボイス対応しないで免税事業者のままでいる=取引先が無くなる(もしくは減る)となる。