言論の自由と差別

なんか差別に対する言論の自由がどうとかここのところよく見るんだけど、元性犯罪者が隣に越してきたらヤダとか殺人犯と同じ部屋にいるのはヤダって感情とその素直な吐露は相手やだれかを不快にさせるから禁止ってことですか？それとももっとギリギリで何処までが差別okかって話なのかな？差別感情は当たり前けど表現しないで押し込めろってこと？そもそもそんな感情がわきでることが悪だから解脱しろってことかな？どこを議論してんのかわかんなくなってきた。