このコーナーでは「暮らし、仕事、社会」、私達の身近なところにあるデジタル化の動きをご紹介しています。

AIは今、様々な現場で活用が進んでいます。大学入試などテストの記述問題の採点の現場でも取り組みが進んでいて、AIの自動採点の精度はかなり向上しているんだそうです。

そういったなか、今注目されているのが東北大学の研究グループが開発した記述式の答案を採点するAIの品質を保証するシステムなんです。AIが採点への自信を数値で示し、基準値を下回れば人間が採点し直す。AIと人間が協調する採点システムを構築し、効率と精度の両立を目指すというものなんです。

そこで今回は、この研究をされている東北大学の乾健太郎教授にお話を伺いました。



まずは、AIによる採点は、どこまで進んでいるんでしょうか…

「比較的短い文章の採点については、現在かなりできるようになってきています。
実際に代ゼミさんと問題集を共同開発しまして、すでに販売できているような状況ですので、ある程度実用レベルに達しているのではないかと考えています。一方、大学の入試で出てくるような長い論術のようなものは、まだまだ今のAIの技術ではきちっとその中身を捉えて、そのロジックをきっちり追って評価するというようなことは、まだまだ実用レベルには遠いというような状況です」

AIによる採点の課題、AIはどうようにして採点をしているのか、さらに、乾教授に伺いました。

「実際にはその問題ごとに採点のAIを訓練します。基本的には機械学習の技術を使うわけですけれども、答案とその採点の結果ですね。ある答案があったら、これは10点満点ですとか、8点ですとかいうような、答案と採点のお手本を人間がまず示してあげる。それを例えば100答案とか200答案とか集めまして、人間が採点したものをお手本にして、機械がそれを真似るように機械が学習するという意味で、機械学習なんですけれども、そういうことをやらざるを得ないんですね。問題ごとに、どういうものが正しい、どういうものがよくできている、という風に判断されるかというのは問題ごとに違いますので、その問題ごとに違う部分を機械に教える必要があります。なので、問題ごとにお手本の採点の結果のようなものを集めないといけない。
例えば、今大体100〜200答案ぐらいのお手本があれば、ある程度安定して採点できるような感じだと分かっているんですけれども、問題ごとにその200答案のお手本を集めるというのは、結構大変でコストもかかりますので、そこが1つの課題です」

さらに、こんな課題もあるそうです。

「お手本を集めて、そのお手本を真似て採点するわけですが、そのお手本になかったような斬新な独創的な答案、それでも合っているというのはあり得るわけで、そういう答案を
見落としてしまう可能性というのは常にあります」

そういったなか開発されたのが、今回のAIによる採点の品質を保証する手法なんです。

「AIは、あなたの答案に対して今回、5点という採点をしました。これは、どうして5点なのかということをAIがある程度、学習者に説明をする。学習者に、採点基準はこうなっていて、これはできているけども、これはできてないですよねと。だから全体で5点なんですよ、というような説明の仕方をAIができるようにする。
そしてもう1つは、AIも自信を持って答えられる場合と、自信がない場合があるんですね。採点に対して、その採点結果に自信を持っている場合と、持っていない場合があります。
それを我々は確信度と呼んでいますけれども、採点の確信度を学習者に開示するということも重要なことだと思っていまして、つまり学習者から見ると、説明と確信度付きで採点結果が入ってくると。そうすると、説明とか確信度を見て、どうもAIが間違っているんじゃないかと思ったら、先生にこれおかしいんじゃないかって言って、先生に聞いて、これは確かにおかしいね、君の答えが合っているよ、というような確認をしてもらう。そういうようなセーフティネットというものをちゃんと提供することによって、それが1つの品質保証になっていると思っています」

最後に、こういったAIによる採点は、これからの教育や学習にどういった影響を与えるのか、乾教授に伺いました。

「今、AIと教育ということで言いますと、ラーニングアナリティクス（Learning Analytics）というキーワードで様々な研究がなされています。
これは特に学習者のこれまでの振る舞いとか、これまでどういう問題に対してどんな風に解いてきたかみたいなものをベースにして、その学習者に合った次の問題とか、次の学習するべき内容というのをカスタマイズして、うまく提供していこうというような、パーソナライゼーションということを、AIでーデータを使いながらやっていく。こういう研究が、今世界でなされていますし、日本でも盛んに始まっているところです。
そういう中に記述式の問題なり練習というのも入っていく。記述であっても、ちゃんとAIがある程度採点・評価して、フィードバックして返してあげる。ラーニングアナリティクスの中に記述式も入れていって、よりリッチな教育学習というのが実現していくそんなようなイメージを持って今研究しているところです」

テストの採点だけではなく、普段の学習にもこのAIの品質を保証するシステムがどんどん広がっていくといいですよね。

乾教授、貴重なお話、ありがとうございました。