その気持を相手に伝えないと、単に嫌がられたと解釈しそうですね。

好きな人とかあこがれの人でしたら、その方々がいらだつものに、自分は関心が湧きます。