完全に今まで付き合った男の質が特別悪いだけだと思います。何人かわからんけど。
あなたの思い描いているハードルは決して高くありませんし、淡白な男はご想像通りオタクにはごろごろいます。
「定期的に会うことの出来る(頻度は高いわけではない)異性」
というももちろん、相手のオタク男にとっても理想だと思います(俺そうだし。彼女と会うのは月1ぐらいでいいです)。
諦めずに同じ方法論でもう少し探してみていいと思います。ただし、探す界隈をちょっとだけずらしてみては?(オタクグループのテリトリーにしも今までいた同じような空気を持ったところではなく、少しだけ異文化なところという意味)