たぶん、布の耳からの連想だろうけど 平べったいものの端にあって、他の部分より丈夫なところが「耳」

英語だとBread crustだから、パンの外皮なんで直訳すりゃあってる