英語だとBread crustだから、パンの外皮なんで直訳すりゃあってる

たぶん、布の耳からの連想だろうけど 平べったいものの端にあって、他の部分より丈夫なところが「耳」