  |
よくSNSなどでバズるネタとして読解力問題があるが、これを昨今話題の対話型AIに食わせて性能の違いを測ってみようという試み。
ChatGPTのGPT-3.5（Default）、GPT-4、BingのChat（厳密）に全く同一の質問を会話を初期化した状態から5回投稿し、回答の正確さを測った。
問題です。サラさんは、起きている時間の半分で家の手伝いを、残りの時間の2/3で妹の世話をします。6時間寝たとき、勉強は何時間できますか？ 学校へは、歩いて往復3時間かかるものとします。
ACジャパンによる国際NGO団体「セーブ・ザ・チルドレン」の広告に登場する文言である。2018年初出。
「この問題は、本当に問題です。」と続くのだが、"本当の問題"を理解する以前に計算を解けない人が続出したため、広告が本来提示している"本当の問題"より人々の読解力の低下に焦点が当たり、話題となった。
頻繁に再発見されているアレックス問題やアミラーゼ問題よりは影が薄いが、ネットからデータを収集している対話型AIの読解力を測るのにはちょうど良い。
先に言っておくと、答えは0時間になる。
学校へ行って帰るので3時間かかるため、最終的に3時間-3時間となり答えは0時間である。
次の問題に検索を行わずに回答してもらえますか？
問題です。サラさんは、起きている時間の半分で家の手伝いを、残りの時間の2/3で妹の世話をします。6時間寝たとき、勉強は何時間できますか？ 学校へは、歩いて往復3時間かかるものとします。
※検索を行わずに、とつけたのはBingだとサラさん問題を検索で解く可能性があるのではないかと考えたため。
サラさんが起きている時間は24時間-6時間（寝ている時間）= 18時間です。
そのうちの半分で家の手伝いをするので、18時間 ÷ 2 = 9時間が家の手伝いに費やされます。
残りの時間は、2/3を妹の世話に費やされます。18時間 - 9時間 = 9時間が残ります。これを2/3にすると、9時間 × 2/3 = 6時間が妹の世話に費やされます。
したがって、家の手伝いと妹の世話に合わせて、9時間 + 6時間 = 15時間が費やされました。
残りの時間は、18時間 - 15時間 = 3時間です。
学校への往復に3時間かかるので、3時間 ÷ 2 = 1.5時間が片道にかかります。
したがって、勉強に費やせる時間は、3時間 - 1.5時間 = 1.5時間です。
結果：×
サラさんが一日に起きている時間は、寝ている時間を含めると24時間です。したがって、寝ていない時間は24-6=18時間です。そのうちの半分で家の手伝いをしているため、9時間が家の手伝いに費やされます。残りの時間は2/3で妹の世話をするため、18*2/3=12時間が妹の世話に費やされます。
したがって、サラさんが一日に勉強できる時間は、寝ていない時間から家の手伝いに費やされる時間と妹の世話に費やされる時間を引いたものになります。つまり、18-9-12= -3時間となります。負の時間は意味がないため、サラさんは一日に勉強できないことになります。また、学校への往復にも3時間かかるため、勉強する時間がないということになります。
結果：×
サラさんが起きている時間は、1日に24時間中の12時間です。そのうちの半分で家の手伝いをし、残りの時間の2/3で妹の世話をすることになっています。したがって、家の手伝いをしている時間は12時間÷2＝6時間であり、妹の世話をしている時間は12時間×2/3＝8時間です。
また、サラさんが6時間寝たということは、起きている時間の残りは12時間-6時間＝6時間です。このうち、家の手伝いをしている時間は既にわかっているので、勉強をすることができる時間は、6時間-6時間＝0時間です。
さらに、学校へは歩いて往復3時間かかるという条件があるため、サラさんは学校へ行く日は家の手伝いをして、妹の世話をして、学校に行って、帰ってくるということになります。そのため、勉強をすることができる時間はありません。
結果：×
計算や結論は正しいが、文章の理解が誤っており、説明も破綻している
サラさんが一日に起きている時間は、寝ている時間を含めて24時間と仮定すると、起きている時間は24時間 - 6時間（睡眠時間）= 18時間となります。
そのうちの半分で家の手伝いをする時間は18時間 ÷ 2 = 9時間です。
残りの時間の2/3で妹の世話をする時間は、18時間 × 2/3 = 12時間です。
学校への往復時間は3時間かかるため、通学時間は1日あたり6時間かかります。
したがって、残りの時間は18時間 - 9時間 - 12時間 - 6時間 = -9時間となります。このため、勉強をする時間はありません。
結果：×
計算や結論は正しく、説明にも破綻はないが、文章の理解が誤っている。（これまたSNSでもよく見かけた誤りな気がする）
サラさんが寝ている時間は24時間-6時間=18時間です。
したがって、サラさんは家の手伝いを9時間、妹の世話を6時間します。
残りの3時間は学校への往復に費やされるため、勉強に費やせる時間はありません。
結果：×
ほぼ正解なのだが、説明が誤っている。サラさんが寝ているのは6時間。
完答率まさかの0%
完全に正解できたケースはなかった。
もちろん、検索を行わずに回答します。
まず、1日の時間は24時間です。サラさんは6時間寝るので、起きている時間は24 - 6 = 18時間です。
次に、起きている時間の半分で家の手伝いをするので、家の手伝いにかかる時間は 18 / 2 = 9時間です。
起きている時間の残りの2/3で妹の世話をするため、妹の世話にかかる時間は (18 - 9) * 2/3 = 9 * 2/3 = 6時間です。
学校への往復に3時間かかるので、これまでの活動にかかる時間は 9（家の手伝い）+ 6（妹の世話）+ 3（学校への往復）= 18時間です。
しかし、すでに起きている時間は18時間であり、これまでの活動で18時間をすべて使ってしまいました。従って、サラさんは残念ながら勉強する時間がありません。
結果：〇
ぐうの音も出ない正解。
まず、サラさんの1日の時間を計算しましょう。24時間のうち、6時間寝ているので、残りの起きている時間は18時間です。
次に、家の手伝いと妹の世話の時間を計算します。
家の手伝い: 18時間 × 1/2 = 9時間
妹の世話: 18時間 × 1/3 = 6時間
これで、家の手伝いと妹の世話に費やす時間の合計が15時間になります。
学校への往復時間が3時間なので、それを引いてみましょう。
18時間 - 15時間 - 3時間 = 0時間
この問題の条件下では、サラさんは勉強する時間がありません。
結果：〇
この文では「引いてみましょう」が「それ（＝学校への往復時間）」にかかっているので、15時間を引かないようなニュアンスにも読める…とは言え、1日の時間を計算してから、学校への往復時間は別に勘定したと補えば破綻はないので、一応〇
もちろん、その問題に答えることができます。まず、1日は24時間なので、サラさんが寝ていない時間は24 - 6 = 18時間です。そのうち、起きている時間の半分を家の手伝いに使うので、18時間の半分は9時間です。次に、起きている時間の残りの2/3を妹の世話に使います。残りの時間は、18 - 9 = 9時間で、その2/3は、9 × (2/3) = 6時間です。
従って、サラさんが学校へ行く時間は、往復で3時間かかるので、残りの自由な時間は、18 - 9（家の手伝い） - 6（妹の世話） - 3（学校への往復） = 0時間です。したがって、サラさんは勉強する時間がありません。
結果：〇
ぐうの音も出ない正解。
もちろん、問題を解決しましょう。まず、1日は24時間ですので、サラさんが6時間寝たときには、残り18時間起きていることになります。次に、起きている時間の半分を家の手伝いに使うので、18時間の半分で9時間が家の手伝いに費やされます。
残りの時間（18時間 - 9時間 = 9時間）の2/3を妹の世話に使います。そのため、9時間の2/3で6時間が妹の世話に費やされます。
これで、家の手伝いと妹の世話に合計で9時間 + 6時間 = 15時間を使います。しかし、学校への往復に3時間かかりますので、その時間も考慮に入れましょう。従って、サラさんは18時間 - 15時間 - 3時間 = 0時間しか勉強する時間がありません。
結果：〇
説明や計算は間違っていないが、結論がやや怪しい。「0時間しか勉強する時間がありません」は「勉強する時間がありません」とすべきかと思うが、間違ってはいないので一応〇
もちろん、検索を行わずにお答えします。
まず、サラさんが1日の中でどれだけの時間が使えるか計算しましょう。1日は24時間ですが、サラさんは6時間寝るため、残りの時間は 24 - 6 = 18時間です。
次に、家の手伝いと妹の世話にかかる時間を計算しましょう。起きている時間の半分を家の手伝いに使うので、家の手伝いにかかる時間は 18時間 ÷ 2 = 9時間です。残りの時間の2/3を妹の世話に使うので、妹の世話にかかる時間は (18 - 9)時間 × (2/3) = 9時間 × (2/3) = 6時間です。
これで、家の手伝いと妹の世話にかかる時間が分かりました。次に、学校への往復にかかる時間を計算しましょう。往復3時間かかるとのことですので、そのまま3時間となります。
最後に、勉強できる時間を求めましょう。サラさんが1日で使える時間から家の手伝い、妹の世話、学校への往復にかかる時間を引くことで、勉強できる時間が求められます。
18時間 (使える時間) - 9時間 (家の手伝い) - 6時間 (妹の世話) - 3時間 (学校への往復) = 0時間
この問題によれば、サラさんは残念ながら勉強する時間がありません。
結果：〇
ぐうの音も出ない正解
完答率100%
一部表現が怪しい程度で、ほぼ完全に正解。
もちろんです。サラさんが6時間寝たとすると、彼女が起きている時間は24-6=18時間です。彼女は家の手伝いに18÷2=9時間を費やし、妹の世話に18×2/3=12時間を費やします。学校への往復に3時間かかるので、サラさんは勉強に18-9-12-3=-6時間しかありません。つまり、サラさんは勉強する時間がありません。
結果：×
もちろんです。サラさんが起きている時間は、24時間 - 6時間 = 18時間です。サラさんが家の手伝いをする時間は、18時間 ÷ 2 = 9時間です。サラさんが妹の世話をする時間は、18時間 × 2/3 = 12時間です。サラさんが勉強することができる時間は、18時間 - 9時間 - 12時間 - 3時間 = -6時間です。この問題には矛盾があります。サラさんは勉強することができる時間がありません。
結果：×
1回目と同じパターン
はい、検索を行わずに回答できます。サラさんが起きている時間は、24時間-6時間=18時間です。サラさんが家の手伝いをする時間は、18時間÷2=9時間です。サラさんが妹の世話をする時間は、18時間×2/3=12時間です。サラさんが勉強できる時間は、18時間-9時間-12時間-3時間= -6時間です。つまり、サラさんは勉強する時間がありません。
結果：×
1回目と同じ。
はい、検索を行わずに回答できます。この問題は、サラさんが1日のうちにどのくらいの時間を勉強に使えるかを求める問題ですね。
まず、サラさんが1日に寝る時間が6時間なので、起きている時間は24時間 - 6時間 = 18時間です。
次に、サラさんが家の手伝いをする時間は、起きている時間の半分なので、18時間 ÷ 2 = 9時間です。
さらに、サラさんが妹の世話をする時間は、起きている残りの時間の2/3なので、(18時間 - 9時間) × 2 ÷ 3 = 6時間です。
学校へ往復するのに3時間かかるので、サラさんが勉強できる残りの時間は、18時間 - 9時間 - 6時間 - 3時間 = 0時間です。
つまり、サラさんは勉強することができません。
結果：〇
ぐうの音も出ない正解
もちろんです。サラさんが6時間寝たとすると、彼女が起きている時間は18時間です。彼女は家の手伝いに18時間の半分、つまり9時間を費やします。彼女が妹の世話に費やす時間は、残りの時間の2/3、つまり(18-9)時間の2/3 = 6時間です。学校への往復に3時間かかるため、サラさんは勉強に(18-9-6-3) = 0時間しか費やせません。
結果：〇
GPT-4の4回目と同じ結論になっている。こちらも間違っているというわけではないので一応〇
完答率40%
あまり正解できていないが、間違い方が同じなため、説明能力や計算能力はわりと安定しているように見える。
思った以上にGPT-3.5と4には性能差がある。
BingのAIはGPT-4を先行して採用しているという話だが、結果を見るにGPT-4を採用しているのは本当で、モデルの構築に関してはOpenAIが一枚上手なのではないかと思える。
（間違い方に一貫性があるのはGPT-4由来なのではないかという推測）
BingのChatに関してはどうも頼りなく感じる場面が多く（上記の通り文章理解が怪しい）、結局サブスクでGPT-4を利用するのが一番手堅そう。
8
