PISAのアホな出題 検討されない「語彙の意味」

PISAの「読解力」部門の出題はアホだった。特に「語彙の意味」という問題圏に関してアホだった。だからPISA型学力という少し前までの流行もアホだっただろう。という診断のもと、そういう過去を清算するためにこの文章を公表しています。

『PISAの問題できるかな? −OECD生徒の学習到達度調査』(明石書店,2010)(amazon)を参照します。また、ウェブで閲覧でき保存できるリソースにPISA調査(読解力)の公開問題例(文部科学省)(PDF)があります。

PISAの出題がアホなのは、もともとの原文での出題がアホである場合と、日本語訳がアホである場合とが、両方あると思います。ただ、はっきりとどちらなのかを決めにくいものが多いと言えます。いずれにせよ「PISA型学力」なる語の跋扈していた時代は結局「失われた教育の十年」を作ってしまった、というふうに筆者は診断しております(例:言語力検定)。とりわけ石原千秋『国語教科書の思想』(2005,筑摩書房)(amazon)が知識階層に予断をだいぶ与えてしまったはずなので、その修正をこの文章で図ります。また、小中学生相手の教育現場では、むしろ「反-石原」的な連中によってPISA型学力の推進がなされ、石原の著書の問題点を検討することなく、かえって傷口を広げてしまいました。

この元記事をはてなダイアリーに掲載していた際、紹介してくださった記事、【新共通テスト記述式】大学側が採点する方法に反対する-特に採点の観点から-,『rochejacmonmoの日記』に感謝いたします。

「水位」の意味が「正反対」

読解力問題例1:チャド湖

この問題が解けるためには、次の「語用規則」によって問題文が書かれていることに気づく必要があります。

“「水面」が「上昇」する”=“「水深」が「浅く」なる”=“「水位」が「低下」する”

つまり、出題中の「水位」という語が、日常的な使用法と正反対の仕方で定義されていることに気づく必要があります。というのも、日常的な日本語の用法では、「水面が上昇」したときに「水位が上がった」と表現するからです。そして、その日常的な語用規則を忠実に持ち込むとこの出題は解けません。

たとえば上記の規則を理解していないと、問3を解くときしっくりした感じをもてません。問3は「湖の出現」を問うています。さて、湖という語の使用規則のひとつは、「地面より水面が低い場合」にしかそれを湖と呼ばない、ということです。もし水面のほうが(顕著に)高いなら、それは湖ではなく洪水とか津波(とか特殊なプール・ダム・噴水等)と呼ばれます。また、もちろん、そもそも水自体が存在しなければ、「湖の出現」はありません。というわけで「湖の出現」→「地面より水面が低くなり始めた時点」ということになるはずです。もし逆ならそれは「湖の出現」ではなく「洪水の発生」か「渇水」ということになります。と、そういうことから、湖が存在するかしないかという関心に沿った形で「水面が地面よりどれだけ低いか」を「正(+)」方向にとった特殊なグラフができあがり(ここまではいいのです)、その値をこともあろうかこの出題文では「水位」と呼んでいるわけです。そして、問3を解くときは、グラフ上の「水位」の高低と実際の水面の高低とが真逆であることを理解しないと解けないのです。

問5の次の選択肢を検討するときにも、上記の語用規則を継続して理解している必要があります。

B チャド湖の水位が最高だった期間の中ごろ

C チャド湖の水位が1000年間に渡って低下し続けた後

なぜ上記の規則を理解していないといけないか、というと、用法が日常的なものと正反対だからです。つまり、この選択肢の文を読むときに、上記のことをすっかり忘れていると、選択肢の文意が「水位が最高だった期間」→「水面がもっとも低かった期間」、「水位が低下し続けた後」→「水面が上昇し続けた後」であることに気づかないからです。ただ、グラフとにらめっこしながら問3のことをすっかり忘れた頭で解くなら、この出題も案外間違えません。しかし、もし問3の記憶だけ引きずっていて語用規則のほうに意識的でないと、混乱すると思います。問3で「実際の水面の高さ」について想像する習癖がいったんついてしまっているからです。この習癖を振り払って、グラフ上の高低だけを考えるようにしないと正解しづらくなるわけです。

で、これだけでもわたしは嫌な感じを受けたのですが、もう少しまじめに検討してみると、これだけでは済まないことに遅まきながら気づいたのです。それは「水位」という語を日常的な使用規則に従って使われている設問が同時に出題されているという事実が存在することです。それが、8「贈り物」です。

読解力問題例8:贈り物

最初の一段落目に二箇所「水位」の語が使われています。

その後、川自体の水位は初めゆっくり上昇し、次に少し落ち着くと、引いていった。

今や水は土台のタール塗りの厚板にまで達し、水位はなおも上昇していた。

ここでの「水位」が日常的な用法であることを、受験者はどうやって確信すればいいのでしょうか。

「チャド湖」の記憶が新鮮なうちはたぶん確信は無理だと思います。ですが、チャド湖のことを都合よく忘れた頭で日常的な用法に何となく従えば、あまり迷わないと思います。だから、与えられた順番に従って解いていけば、あまり混乱は起こさないと思います。間に何問もありますから、その間にうまく忘れることができるでしょう。

もちろん第2段落には「洪水」という語も使われているので、「洪水の水位」なら「地面より高いほうが、より“水位が高い”と表現するはずだ」と考えることも可能です。第1段落の「水は道路を呑み込み」や、第2段落の「川は、土砂降りの雨に洗われて、その広がりのどこかに消えてしまった。」などの叙述と併せて考えて、「水は増え続けている」と信じることもできます。そしてそれに整合するようにして「水位が上昇する=水面が上がる」と捉えることも不可能ではありません。

さて、「チャド湖」→「贈り物」の順番で解けば、おそらくそれほど混乱することはないかも知れない、と言えます。特殊な用法なのは「チャド湖」のほうであり、それはグラフとにらめっこで解くことで、意識しないまま正解できる可能性があります。しかし、受験生のなかには「贈り物」→「チャド湖」の順番で解く者がいたかもしれません。しかも、直後にです。さて、その場合正解率はどうなったのでしょうか。というのも、「贈り物」は日常的な用法でありふつうなら混乱しませんが、その直後に「チャド湖」を解けばこちらで混乱する可能性は飛躍的に高まるはずの出題でもあります。なぜなら、当然のようにして「チャド湖」も「贈り物」と同じ用法で解こうとするはずだからです。

順序効果によって正解率が変動しうる出題

ここまでで、PISAの出題のなかに、「解く順番やインターバルによって正解率が変動しうる出題がある」ということを指摘してきました。出題された順番に素直にしたがっていけば、「チャド湖」→「他の問題」→「贈り物」となって、用法の違いの影響は小さくできます。その反対に「贈り物」→「チャド湖」→「他の問題」などという順番で解けば、正解率に著しい影響が出ることが当然予想できます。というのも、用法の違いがもっとも影響するだろう順番だからです。

「チャド湖」の「水位」と、「贈り物」の「水位」とで原語で同じ単語だったのか、それとも違う単語だったのか、などそういったことはわかりません。つまり日本語訳が問題アリなのか、出題のおおもとが問題アリなのかは、わかりません。ですが、ともあれ、「水位が上昇する」(「贈り物」)と「水位が低下する」(「チャド湖」)とがほぼイコールの文意であるような出題でありながら、そのことに気づかれておらず、出題側もおそらく関心を払っていない、というこの出題はかなりアホであります。意図的に「順序効果」を計測しているのなら別かもしれません。ですが、そういう話を聞いたことは特に無いです。たぶん出題を検討している人も、出題された順番で検討していて気づいていないのでしょう。ともあれ、以上の問題性を孕んでいながら、そのことに気づいていない多くのPISA信者はアホであります。

読解力問題例3:落書き 日本語訳が意味不明すぎる出題

おそらく原文そのもの以上に日本語訳がひどすぎます。「消費者」・「代金」・「コミュニケーション」の3つが特にひどく、また「よい」という訳語も日本の生徒ならミスリードされえます。

全部意味不明で劣悪な和訳:「消費者」・「代金」・「コミュニケーション」

まず「消費者」。「ソフィアの手紙」のなかの「消費者」という語がとにかくわかりにくいのですが、これは「落書きのための代金」という語句のわかりにくさと、ワンセットです。

落書きのための代金はだれが払うのでしょう。だれが最後に広告の代金を払うのでしょう。その通り、消費者です。

「消費者」というのが「何を消費したのか」がとにかくわかりにくいわけです。すさまじい説明不足なわけです。それと連動しているのが。「落書きのための代金」「広告の代金」という表現のわかりにくさです。私は「解答例」を見るまで、完全に違う意味で捉えていました。結論から言うと、「広告の代金」というのは、「広告の提供者が広告を出す場の権利者に払う」金銭のことです。つまり、「広告を見た人が広告の提供者に払う」金銭のことではありません。そうであれば、消費者というのは、広告の提供者のことなわけですから、「消費」するのは、「広告を出す場」です。いっけんすると、ここでの「消費者」というのは、「広告を見る人」のことのように思われますが、この場合は違うわけです。そして、これと並列的な形で考えろということなのです。ならば「落書きのための代金」というのは、「落書きの提供者が落書きをした場の権利者に払う」金銭、つまり端的に「罰金」のことを指しています。「落書きの消費者」というのは、だから、「落書きを見る」人ではなく、「落書きをした」人のことです。

以上の解釈が「当たり前じゃないか」と思った人は、出題文が以下のようであった場合と比較せよ、と私は言いたいです。

落書きのための代金はだれが払うのでしょう。だれが最後に映画の代金を払うのでしょう。その通り、消費者です。

このような場合「映画の消費者」というのは、通常だと「映画を観た人」だと思うでしょうが、そうではなく「映画を提供することによって映画館のスクリーンを“消費した”人、つまり映画の配給者」になる、わけです。なぜなら「落書きのための代金」というのが、落書きを見た人が払う代金ではなく、落書きをした人が払う代金のことだから、です。骨格を同じままにしておき変数だけ書き換えると、いかに出題文が「説明不足」なのかがよくわかります。映画だと観客が自分の意思で観に行くから完全に類比的にならないと思う人は、代わりに「大道芸の消費者」とか「街かど紙芝居の消費者」を想定していただきたいです。

このように意味を確定するためには、「解答例」を私は必要としました。次のような文が問3の「正答」の一例とされていたことでようやくわかったのです。

ソフィア。落書きアーティストに罰金を科しておきながら、その一方でかれらのデザインをコピーして金もうけするのは偽善だと思う。

この解答例が「正答」とされていたことによって、はじめて私は文中に「罰金」の話題があったことに気づき、そのことから遡及的に推測して、上のような見解を得たのです。

「落書きのための代金」とは、「落書きをしたことによって支払うことになった金銭」の省略表現であり、「落書き作業単体にかかった経費(ペンキ代など)」のことでもなければ、「落書きを消すための必要経費」のことでもありませんでした(私は解答例を見るまではこう解していました)。「消費者」というのは、「場を消費した」人のことであり、したがって「落書きの消費者」というのは、「落書きを見ることによって消費した人」のことではなく、「落書きをすることによって消費した人」のことでした。

「コミュニケーション」という語もすごくわかりにくいのです。「コミュニケーションの問題ではないでしょうか」という言い方をするならばその場合、たとえば「落書きをする人が、事前に権利者に許可をとるコミュニケーション」のことも含んでも良いはずですが、そういうことは、文中では考慮されていません。ここで言う「コミュニケーション」というのは、もっぱら「落書きをした人が、落書きのメッセージを通じてそれを見る人に対して働きかける」というあり方に特化して指しているのです。だいたい、それをそもそもコミュニケーションと呼ぶのかどうかからして議論の余地があります。おそらくここでの「コミュニケーション」というのは二次的評価語なのでしょう。

文章の「内容/スタイル」という、恣意的な二分法

きわめつけは問4です。

手紙に何が書かれているか、内容について考えてみましょう。

手紙がどのような書き方で書かれているか、スタイルについて考えてみましょう。

どちらの手紙に賛成するかは別として、あなたの意見では、どちらの手紙がよい手紙だと思いますか。片方あるいは両方の手紙の書き方にふれながら、あなたの答えを説明してください。

「よい」がポイントだと思います。解答例を見る前からこの「よい」は、「好い」「心地よい」の意味を含むのではないかと私はうすうす思っていましたが、やはりそうでした。「善い」「良い」もアリなら、「好い」「心地よい」もアリなのです。次の回答が「正答」の例に入っていました。

ヘルガの手紙の方が好きだ。ヘルガの方が意見をはっきり述べている。

あともう一つ、すごく採点側の態度がよく現れているなあ、と思ったのは次の「正答」です。

ソフィアは、強い議論を出しているが、ヘルガの手紙の方が構成がしっかりしている。

さて、確認しましょう。最初の正答例では「意見をはっきり述べている」というのは、「内容ではなく書き方」の範疇に入ると解するしかありません。なぜなら設問が「書き方」にふれ」ることを要求しているのだから、これが「正答例」である以上、「意見をはっきり述べる」というのは「内容ではなく書き方」だと扱っていることになります。

それに対して、二番目の正答例では「強い議論を出している」のは「内容」に該当し、「構成がしっかりしている」というのは、「書き方」に該当する、と解することができます。というか、そう解さないと「正答」にはなりません。両方とも「書き方」に該当するのであれば、「どちらの手紙がよい」かの回答にはなっていないからです。「書き方」に言及しているほうを「よい」と見なしていると判断するしかないからです。

「意見をはっきり述べている」というのは「書き方」であり、「強い議論を出している」というのは「内容」である、という「正答」の基準は、いったい誰を納得させることのできる基準なのかは、わかりません。言えることは、こんな出題に「無答」で報いた(そうせざるをえなかった)日本の受験生が「批評精神が無い」と言われる筋合いはない、ということです。「批評精神が無い」のはどっちなのだ、と言ってもいいほどです。

読解力問題例6:警察 問3 言語行為語の理解が解説には不足している

石原千秋が慨嘆していたのは、文章全体の目的をたずねる問3の誤答率が日本が顕著に高かった点についてでありました。なので、この問いのみ検討しておきます。ちなみに石原はこの文を「事件を解決した文」と紹介しています(石原本:p50)が、これは誤りで、実際には「こういうふうな解決策をとっている」という(それこそ)「情報を伝える」文です。もし「解決した文」なら過去形の動詞が頻発していないとおかしいですが、この出題文では動詞は現在形ばかりが目立ちます。

正答は「情報を伝えること」なのに対し、日本の受験生は「納得させること」の誤答が多かった、ということを石原は嘆いています。日本の教育事情を嘆くのはまあいいとして、この問いに対するコメントとしてはお粗末。

なぜお粗末なのかと言うと、ここでの「納得させる」というのはイコール「論証」「実証」である、ということが暗黙の前提になっていて、そのことが「試験問題に書かれていない」ことこそが問題だと思うからです。この試験問題を作成した人の文化圏では「納得させる→論証・実証する」ことにほかなりません。ということは、英単語なら「because」やその類語が文中にあるか無いかを調べれば正答は機械的に分かるのです。「because」が使われていれば文の目的は「納得させる」こと、「because」が無ければ「情報を伝える」こと、という、その程度の設問なのです。もし「because」が形式的に使われていても、理由と主張とが内容的につながらないとしたらどうなのだ、と思う人もいるかもしれませんが、この設問では「文章の作者の目的」を聞いているだけですから、その心配も無用です。作者の目的が実際に達成されているか、という設問なら、そういうことも考慮する必要がありますが、作者の目的を聞いているだけの設問なので、機械的・形式的に「because」相当の語句が使われているかだけのチェックで充分です。だからかどうか、この冊子においては正答の記号のみが記され、問題の「解説」は皆無です。

「命題Aを納得させる」ということは、つまり「命題Aが正しいという理由・証拠を伝える」ということでもあります。つまり、「納得させる」ならば「情報を伝える」の要素も含まれています。理由や証拠は情報だからです。他方、「命題Bという情報を伝える」ことなら「命題Bの詳しい説明をする」ことも含まれ得ますから、「納得させる」の要素を含まないとまでは言えません。詳しく描写すること、詳しく紹介すること、も、「納得させる」の一構成要素に入れても良さそうだからです。だから、本来ならば、「情報を伝える」と「納得させる」は、もっと迷って良いはずの二択です。でもそうではない。英語圏の教育事情、常識からして、「納得させる→論証・実証する」であり、それは「because」等の有無で機械的に判断できること、だからなのです。

石原は、虹を7色と見なす言語体系と3色と見なす言語体系があった場合、どちらかがより優れた言語体系である、とは見なさない立場だったはずです。ならば、「納得させる」とか「情報を伝える」についても同じことを想定してしかるべきでしょう。英語圏での「“納得”させる」に匹敵する語と、日本語の「納得させる」という語とで、異なっていた場合、どちらか一方がすぐれた概念であり、もう片方が劣った概念である、とは石原は見なさないはずなのです。つまり、英語圏なら「納得させる」に匹敵する英語語彙が誤答になる試験であるからといって、日本語訳された試験においてもこれが誤答である、と見なすことは、単純にはできないはずだ、ということなのです。念のため言っておくと、私は日本語での試験においても、「情報を伝える」が正答でいいと思います。そっちの方がまともだから。でも、「納得させる」が誤答である、というのならその判断こそが誤っています。「納得させる」は誤答ではありえません。「情報を伝える」のほうが、より無難であり、何にも抵触しないで済むから、こちらが「正答」というので良い、ということでしかないのです。「納得させる」を誤答にしたければ、目的語を明記すべきです。「何を」納得させたのか書いていない以上、これを「誤答」と見なすことは独断でしかありません。書いていないからです。納得の目的語が書いていない以上、誤答と断定することもできないし、正答であると自信をもって回答することもできない、だから「情報を伝える」が正答でいいじゃないか、というのが私の判断です。

「読解力」試験という種目名が誤誘導したPISA

私は、PISAの出題や結果の総合的な診断には関心がありません。ただ、この学力調査に「読解力」という名前(和訳?)が付けられました。そのためかどうかわかりませんが、国語科教員の有資格者が推進の一翼を担ってきたし、そのことの悪影響のようなもの生じていると思いました。だからそれだけは清算しておきたかったのです。その悪影響は「語彙の意味」という論点に集中的に表れていた、とわたしは考えます。だからここではそういう方面の検討だけ行ないました。国語科教員の有資格者であり、国語科教科書の編集にもかかわっている石原氏が、「語彙の意味」という分野に弱点を抱えていたことはいっけん不思議のようですが、わたしには何の不思議もありません。そのことはこの文章の姉妹編とも言える「ことばの意味」はどう教育されているかをお読みになると感得されると思います。国語科という教科の専門家が「語彙の意味」という分野をよく理解しないことは、実は構造的なものです。つまり、「ことばの意味」についての学術的な知見を学んだ人材が国語科教員になれないように設定されている、という構造的な問題が背景にあるのであり、それはこのサイトで何回でも述べている話です。