パスワードを忘れた? アカウント作成
9671 story

小論文自動採点システムの開発 108

ストーリー by GetSet
「理想の論文作成システム」で対抗したり 部門より

sillywalk 曰く、 "asahi.comの記事によれば、独立行政法人大学入試センター研究開発部では現在、入試問題の小論文を自動採点するシステム「Jess」(Japanese essay scoring system)の開発に取り組んでいるそうです。米国ビジネススクールの小論文試験で利用されている「e-rater」を参考にしているといい、さらに日本語独特の言い回しを解釈したり要約するなどの研究が続いています。"(続く…)

"試作システムでは、予め全国紙2年分の社説やコラムなど約2,000本を学習させることで、かな漢字の比率、言葉の多様さ、受動態の割合、接続詞の使い方などの「理想の論文」とされる統計分布を算出し、それをもとに文章の形式(5点)、論理構成(2点)、問題文に則した内容か(3点)といった3つの観点(計10点)から採点します。
開発の中心となっている石岡恒憲助教授らによれば、実際の入社試験などで書かれた小論文や作文をJessならびに国語教師ら専門家が採点し、両者の結果を比較したところ、テーマが客観的でかつやや長めの文章ならば両者に大きな開きは見られなかったといいます。今後さらに開発を進め、最新の科学技術用語などにも対応できるよう学習範囲を広げるそうです。
従来、大学入試の小論文試験は採点に多くの時間と労力が必要とされ、また採点者によるバラつきも見られたことから、導入を見送る大学が多かったといいます。しかしJessの普及によって小論文試験を課す大学が今後増えることも予想され、さらに受験対策用として同システムが大学入試センターのサイトで利用できたり、あるいはソフトがダウンロードできるようになるのかも知れません。大学入試が今後どのように変わるのか興味深いところです。"

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • by ryokiwind (22763) on 2005年02月16日 12時18分 (#694493)
    人と違い機械の自動採点になると
    それに対策を講じた小論文パターンとか出来そうだな。
    で、学生はそれを「憶えて」試験に挑むと・・・
    記憶力重視の試験にさらに輪をかけるわけですな。
    こうなると考えるための小論文の意味をなしてない気がするんだが。

    #手で採点するのが面倒、というのなら小論文自体やめればいいと思う
    • by keita (844) on 2005年02月16日 12時57分 (#694533) 日記
      以前この採点システムの説明 [202.245.103.49]を聞いたことがあるんですけど、小論文の意味内容は見ないシステムなので、本当にパターンを覚えるだけで点数をとれます。極端な話、文法的におかしい文を書いても接続詞やキーワードさえちゃんと入っていれば大丈夫だったり。

      実際テストサイトのサンプル作文を文脈の考慮抜きにいい加減に書き直しても(例えばある語を関係ない別の語で置き換えるとか)点数は変わりません。これを実際に運用するのは相当問題があるように思いますが、e-rater はそれを補うのに結局は人手に頼っているとか聞いたのでなんだかなぁ、と思いました。
      親コメント
    • by Anonymous Coward on 2005年02月16日 12時35分 (#694512)
      >#手で採点するのが面倒、というのなら小論文自体やめればいいと思う
      これには全く同意なんだが、
      論文には明確な論旨が必要。しかも前提、考察、結論が「矛盾なく」語られている必要がある。
      そういう意味ではプログラミング言語にも似たところがあるので
      わりとよいものができるんじゃないかと。
      パースできないような文章なら当然「落第」としてもよいわけだし、
      入試問題としての小論文ならキーワードとかも出題側で指定できるわけだし。

      塾講師やってた経験から言わせてもらうと、
      論文を小中学校で言う「作文」といっしょくたにしてる人がいる。
      そういう子に限ってロクなもん書いてこない。
      論文は自然言語で書かれた式みたいなもんなんだ、とはやいとこ飲み込ますために
      この事例は効きそうだなあ。
      親コメント
    • 機械に対応するための勉強がメインになっちゃいそうですね。機械に人間があわせる、もっと言えば機械に人間が使われるようで、なんか本末転倒なことになりそう。やだなぁ。でも現場で採点している人にとってはそうも言ってられないのかな?
      --
      屍体メモ [windy.cx]
      親コメント
      • by kazami (16479) on 2005年02月16日 12時56分 (#694532)
        機械に人間があわせるってことは、
        たぶん意味の通る論理展開ができるということだと思うので、
        機械対策ができるなら、それもそれで価値があると思う。
        親コメント
      • 元が英語ベースのシステムを参考にしているだけに, 英文直訳体の方が良い点が取れちゃいそう. 例えば主語や代名詞を全て明示した文とか.

        下手すりゃ「てにをは」を省いて単語をスペース区切りで英語と同じ順番にならべた方が点が良かったりして. 「これはペンです.」がダメで「これ です ペン.」がOKだったりしたら笑えるんだけどな.

        # 「私はウナギ」なのでID

        親コメント
      • 読者を意識する訓練 (スコア:1, すばらしい洞察)

        by Anonymous Coward on 2005年02月16日 15時31分 (#694641)
        自己満足にしかならない、
        客観性皆無で主題と結論がリンクしない
        「自称小論文」を読まされる状況を考えると、
        機械も含めた「読み手」に配慮した文章の書き方をメインに学ぶ事は、
        大変有意義な事ではないかと思います。
        親コメント
    • なんかこの意味無しな感じを分かりやすく示すために,誰か,「自動採点にかけると高得点を叩き出すけど人が見ると全く意味を成さない論文」を自動生成するプログラムを作ってくれないかなぁ.
      親コメント
      • by blackdragon (20912) on 2005年02月16日 12時51分 (#694526)
        文章でっちあげソフトの老舗直子の代筆 [teglet.co.jp]で、
        「自動採点システムJess用の小論文を作成する」という機能を
        作ってもらうというのがいいかも。
        親コメント
      • by arkas (10211) on 2005年02月16日 13時30分 (#694563) 日記
        つーか、サンプルサイトの良さげなサンプルのうち、適当なparagraphを
        ひとつ選んでコピペで増植させただけでも、結構高得点出てしまうのですが。

        Fの問題文を選んで、


        自分がすべきこととしたいことのどちからを選ぶかは、
        いつもタフな決定である。大抵の場合、道徳的なのは、
        自分がすべきだと信じることを行なう場合である。
        しかし、自分がしたいことをおこなうことは、
        しばしば自分をより幸福にする。
        人生の決定において、それらは舞台の出演者のように次々に現われ、
        あなたは自分の衝動に従い行動し、自分が正しいことを選ぶことを
        信じなくてはならない。


        を5回ぐらいくりかえしても、8点ぐらい出ましたよ。
        親コメント
      • 問題: クラシック音楽の CD を一枚聞いて,それについての評論を書け.

        解答: 功芳くん [cside2.jp]
        親コメント
      • 石岡恒憲助教授の解説記事 [dnc.ac.jp]によると、コロンブスのアメリカ大陸到達に関する小論文として、次のようなものは高得点を取るかもしれない、とのことです。
        アメリカ女王は1492隻の船でサンタマリアへ航海した。彼女の夫、コロンブス王は、インディアンの探険家ニーナ・ピンタがイザベラ海岸に巨大な富を持っていることを知っていたが、フェルナンド大陸から香辛料を獲得することを我慢せざるを得なかった
        「防護策として人間と機械との併用を推奨」だそうです。
        親コメント
      • by Anonymous Coward on 2005年02月16日 15時12分 (#694622)
        英文で良ければ、人文系の論文を自動生成してくれる Postmodernism Generator [elsewhere.org] なんてどうでしょう。人間が書いた論文と区別がつかないレベルの論文を大量に生成してくれます。
        親コメント
    • やっぱり実働前には(逆)チューリングテストを行うんじゃないですか?

      つまり十分な数の小論文を人間の採点者とこのシステムに与えて、
      どちらで採点されたか見分けが付かないようになったら実働OKとか
      --
      あぁ、「ン」が消えてるんですよ。「ビーフン・カレー」ね。
      親コメント
    • Jessは足切りに使って、上30%を人が見て加点方式で採点、とかならまぁわからないでもない、かも‥‥‥。
      親コメント
  • あれでしょ? (スコア:2, おもしろおかしい)

    by Anonymous Coward on 2005年02月16日 12時26分 (#694504)
    腕とカメラのついたロボットが、小論文用紙で紙飛行機を折って
    飛ばして、二眼カメラが飛距離を測る。
    飛距離を点数に換算。
    • by minque (16136) on 2005年02月16日 12時39分 (#694518)
      文を書かずにアスキーアートで折り目を表現すれば満点みたいな。
      親コメント
    • 小論文用紙の重量を電子天秤で計測して換算.

      # 問題は「おいしいカレーの作り方」の評価方法だな

      親コメント
  • Jessのテストサイト [dnc.ac.jp]をタレコみで紹介するつもりだったのですが、リンクを間違っていました。
    訂正して頂ければ幸いです>編集者様
    --
    And now for something completely different...
  • by ncube2 (2864) on 2005年02月16日 12時35分 (#694511)
    某全国紙のコラムには論理不明と言うか、まともな日本語になってないと言うか、何でソコからソコへぶっ飛べるの?、みたいなトンデモがよく載っていたんだけど、そんなんが元ネタに使われた日にゃあ。
    • by Ryo.F (3896) on 2005年02月16日 12時41分 (#694519) 日記
      ためしに、質問文を「日本語小論文 評価採点システムJessについて述べよ。」として、朝日新聞の記事 [asahi.com]をJess [dnc.ac.jp]に突っ込んでみました。
      修辞 4.1 ( 5 )
      長すぎる文があります。
      漢字がやや必要以上に使われているように見受けられます。
      受動態の文が全体の分量に比べて多いように見受けられます。

      論理 1.0 ( 2 )
      議論の掘り下げがやや不十分であるように見受けられます。
      議論の接続がやや不十分であるように見受けられます。

      内容 2.2 ( 3 )
      分量過少による減点 0

      最終得点 7.3 ( 10 )
      なかなかの得点のようです。
      #目的外使用か?
      親コメント
      • 大変です。冒頭に「おっす。おら悟空。」と追加しただけで、修辞が0.5点もアップしてしまいました。
        --
          - Lupinoid -
        親コメント
      • by snd (14690) on 2005年02月16日 19時23分 (#694807)
        新聞記事をくわせるってのは面白いなーと思って、ついうっかり長時間遊んでしまいました(^^;
        朝日とか読売の色々な記事(なるべく同じ内容のもの)を採点させてくらべてみたりして...
        まぁ採点結果はどの新聞社も似たりよったり(だいたい5-7点くらい)だけど、総じて「漢字が多すぎ」コメントが出ることが多い気がします。
        しばらく暇つぶし(そんな暇がどこにある?)に使えそうですね。
        親コメント
    • by yh (6046) on 2005年02月16日 13時01分 (#694537) ホームページ 日記
      ためしに、質問文を「日本語小論文 評価採点システムJessについて述べよ。」として、朝日新聞の記事 [asahi.com]をYahoo! 翻訳 [yahoo.co.jp]にて英訳、さらにその出力結果を同じく和訳した、読むに耐えない日本語の文章をJess [dnc.ac.jp]に突っ込んでみました。
      修辞 3.5 ( 5 )
      文が総じて(平均的に)少し長いです。
      長すぎる文があります。
      句(読点と読点の間、あるいは読点と句点の間)の長すぎる文があります。
      句の中の文節の数が多すぎる文があります。
      埋め込み文が全体の分量に比べて多いように見受けられます。
      受動態の文が全体の分量に比べて多いように見受けられます。

      論理 2.0 ( 2 )
      内容 1.7 ( 3 )
      質問文との関係がやや希薄であるように見受けられます。
      分量過少による減点 0

      最終得点 7.2 ( 10 )
      イイ線、いけるかも(?)
      親コメント
    • by boo (899) on 2005年02月16日 12時44分 (#694524) 日記
      ずばり、朝日新聞の「天声人語」のことですね?
      私が小学生のときは、内容は難しいけれど、格調高い文体で論旨のはっきりしたことを書いてたように思ったけれど、
      最近のは、その辺の記事の要約や聞きかじりの話をポンポンと置いてまとめをチョロチョロって感じのばっかりですね。

      # それでも朝日を取り続けてるのは懸賞クイズが葉書じゃなくてメールで応募できるから
      # 精神のバランスは「新潮」と「文春」の立ち読みで
      --
      あぁ、「ン」が消えてるんですよ。「ビーフン・カレー」ね。
      親コメント
      • by ncube2 (2864) on 2005年02月16日 13時04分 (#694539)
        >ずばり、朝日新聞の「天声人語」のことですね?

        残念ながら別の新聞です。ここ最近は読んでないんだけど、3回に1回位はとんでもないぶっ飛びようなのでした。(天声人語の深代惇郎クラスは無理でも、せめてまともに読めるをって気になりますぜ)
        親コメント
      • by Elbereth (17793) on 2005年02月16日 17時23分 (#694732)
        > 私が小学生のときは、内容は難しいけれど、格調高い文体で論旨の
        > はっきりしたことを書いてたように思ったけれど、

        昔の天声人語と今のを比較したわけではないので何ともいえませんが、
        実際のところ、booさん自身が変わっただけで天声人語は何も変わって
        いないんじゃ?
        親コメント
        • by boo (899) on 2005年02月16日 17時50分 (#694753) 日記
          そおっかぁ、最近おでこが広くなったと思ったけど、それは僕が前頭葉が大きくなって賢くなったからなんだね。

          あれ、でもそれじゃぁ後頭部の変化が説明できないなぁ…
          --
          あぁ、「ン」が消えてるんですよ。「ビーフン・カレー」ね。
          親コメント
  • テーマが客観的なら有効と言う事は、要するに型破りでユニークな
    論文については判断不能という事ですね。

    そんな小論文試験は止めてしまえに一票。
    --
    --- de FTNS.
    • by Anonymous Coward on 2005年02月16日 13時22分 (#694555)
      論文がどういうものなのかすら知らない、あなたのような馬鹿は排除できるってことで、それだけでも価値はあるかと。
      親コメント
    • by Anonymous Coward on 2005年02月16日 13時25分 (#694557)
      >要するに型破りでユニークな論文について
      そういうのは作文と呼ぶ、に一票。

      論文は「読ませる」もんとちがうので。
      多くの人に一つの論を「伝える」ためのもんなので。
      こういうのは文章自体できるだけ定型なほうがええのよ。
      引用とかもしやすくなるし。
      大抵の受験者はこれができずに落ちる。
      凝った表現、比喩、言い回しなんてむしろ邪魔なことが分かってないんじゃ
      ユニーク以前に落第でしょ。

      さすがに着眼、論旨、結論くらいは読み取って、というのが前提になるけどね。
      親コメント
    •  論題が客観的でも、論旨が個性的というのはあり得ると思いますが。
      --
      ---- 6809
      親コメント
  • by Anonymous Coward on 2005年02月16日 13時00分 (#694535)
    2getよりも点数が低かったら悲しいかもしれない
  • by moonbear (4602) on 2005年02月16日 13時19分 (#694554)
    そもそもこのプログラムにかけるには文章をデータにしなければならない
    のですが、OCRは受験生の汗と涙にまみれた手書き答案を読み取れるほど
    発達したのでしょうか? 打ち込みを人手でやるとコスト削減にはあまり
    貢献しないような気もします。採点担当者の労力は減るからいいのかな。

    将来はOCRとJessのフィルタを通過した答案だけが採点対象になり、字
    が汚い人は門前払いになったりして。それよりは小論文試験でワープロを
    使うようになる方が現実的かな。
  • 川端康成『雪国』の感想文 [www.ne.jp]をかけてみました.

    質問文:川端康成の『雪国』を読んで感想を述べよ

    結果:質問文との関係が希薄であるように見受けられます。

    的確な指摘です.(^^;;


    修辞 3.1 ( 5 )
    長すぎる文があります。

    漢字の使用がやや少ないように見受けられます。

    連用形や接続助詞の句の並びの多い文が、幾つかあるように見受けられます。

    語彙の多様性がやや不足しています。

    長くて難しい語が少ないように見受けられます。

    論理 2.0 ( 2 )
    内容 0.0 ( 3 )
    質問文との関係が希薄であるように見受けられます。
    分量過少による減点 0

    最終得点 5.1 ( 10 )
    • by aql (23441) on 2005年02月16日 14時00分 (#694587)
      ・質問文からキーワードを取り出してウェブ検索
      ・得られたウェブページを適当に読み込む
      ・『長くて難し』く『漢字の使用』が適切な語を、『語彙の多様性』が不足しない程度に取り出す
      ・適切な文の長さで語意を接続する
      ・適切な文章量になるまで繰り返す

      『小論文採点システムで高得点が取れる小論文作成システムを作る(或いは探す)技術』をテストしているのか、なるほど。
      親コメント
  • 「漢字の使用がやや少ないように見受けられます。」
    「長くて難しい語が少ないように見受けられます。 」

    つまり、適度に感じを使え、と。そして適度に長くて難しい語も使え、と。そりゃそうかもしれんが「適度」ってのはそんなに簡単に決められるものかなぁ。むしろ論理展開の矛盾とか、表記の揺れとか、そっちのほうが気になる。
    --
    屍体メモ [windy.cx]
  •  ちょっと試してみましたが、やはり論旨を理解して採点というのはまだまだ技術的に難しそうですね。
     ただ、読むに耐えない論文を排除することはできるので、いわゆる「足きり」には使えるんじゃないでしょうか。
    --
    しもべは投稿を求める →スッポン放送局がくいつく →バンブラの新作が発売される
  • 我思うに… (スコア:1, 興味深い)

    by Anonymous Coward on 2005年02月16日 14時20分 (#694599)
    これは小論文の採点じゃなくて、
    小論文の文の採点ではないかと思うのだが…
    • Re:我思うに… (スコア:1, すばらしい洞察)

      by Anonymous Coward on 2005年02月16日 14時43分 (#694608)
      もちろんそうですよ。
      ていうか、勘違いしている人、大杉。

      これは「内容をつかむため」ではなく、
      まともな構成の文章になっているかを判別する際の
      機械化なんだから。

      きちんとした文章を書けないやつは、そこでフィルタされて
      人間が読んでくれる事もなくなるってだけ。
      (元来の、英語用のソフトはそういうものなんだけど、
      今回発表された日本語用のものが、その意図の通りに動くのかは不明)。
      親コメント
      • by bgvillea (22270) on 2005年02月16日 15時47分 (#694659)
        ふむふむ。確かに文法を正すだけでも結構使いみちがありそうだ。
        主語と述語の対応とか用法の誤りとか、誤字脱字なんかをチェックして、持ち点から減点のみを行うと言うのはどうでしょう。
        足切りラインを設定して「とりあえず正しい日本語で書かれた小論文」だけが次に通る。その先は人間が読んで選定。
        コンピュータの得意技のひとつであるバッチ処理を活かすなら、なるべく規則的な処理に終始させるほうが開発・保守コスト的にも良い気がするんだが……。
        親コメント
    • それにしても、これ [srad.jp]は無いと思う…
      --
      屍体メモ [windy.cx]
      親コメント
typodupeerror

日々是ハック也 -- あるハードコアバイナリアン

読み込み中...