好きな人とかあこがれの人でしたら、その方々がいらだつものに、自分は関心が湧きます。

その気持を相手に伝えないと、単に嫌がられたと解釈しそうですね。