ソフトで採点、小論文 16
ストーリー by wakatono
で、も、っ、やっぱり人間が最重要 部門より
で、も、っ、やっぱり人間が最重要 部門より
fukapon 曰く，
"
いつも変わった記事を読ませてくれるHOT WIREDですが、今日、小論文採点ソフトについての記事が載っているのを見つけました。現時点で、採点結果の98%が人間による採点結果と一致する上、独創的な論文でもズビシと採点してくれるとか。
日本語への対応はまだ先だと思われますが、対応した暁には、例えば大学入学試験の採点システムなんかに採用されるんでしょうねぇ。コンピュータ様の役割の重要性のが今より大きくなりますね。で、も、っ、プログラム/設定をできるのは人間。そ、し、て、っ、プログラム/設定ミスをするのもいつも人間。人間の役割の重要性が最も高いことには代わりがありません。そのことをわかって導入されることを祈ります。
"
でも、ヘルプデスクやサポートセンターの自動回答には使えないんだろうな…あれこそ人じゃないと出来ない…
独創性はそもそも評価基準外(らしい) (スコア:2)
>「『独創的』な小論文でさえも『人間と同じくらい正確に採点する』」といっても独創性を評価するわけじゃないんですね。そこにちょっとだけほっとしてみたり（笑）。
世に出回る小論文対策によると、そもそも「独創的かどうか」は評価基準外だそうです。小論文はあくまで正確な論理展開やトピックへの知識量、事実把握の確かさを計るものであり、いくら独創的だろうが正確さ・客観性に著しく欠けたり、論理がトンでるようなのは見るとこナシだそうで。
#とはいえ、明らかに何かの丸写しなのは駄目でしょうね…
それに、小論文も大体何らかの課題条件があるのが普通です(多分)。その「小論文」がどんな課題を指しているかは分かりづらいけど、日本の一般的な大学・高校の課題なら、少なくとも話題の指定や枚数・文字数の指定はありますね。多分、そういった条件を満たしていて、なおかつ激しく間違えていないかどうかを見るんでしょう。
#でも、自分の学位論文の採点にこういうのが使われていたらかなりイヤかも…でももし、「独創的」というのが、採点者が用意した既存の同トピックの文章や同時に提出された小論文と比較して…という程度だというのなら、比較的簡単にチェックできるかもしれません。場合によっては、そこら辺も採点の判断基準に入れているかもしれませんし。
#落ちたら訴える人がいそうだし、受かっても素直に喜べない…
#独創性なんぞ問わない小論文だから出来るんですな、コレ。
やがて受験生側にもこの採点システムが売られて (スコア:2, すばらしい洞察)
Re:論文と言えば独創チェック (スコア:2)
論理性の判断ならコンピューターのほうが・・・ (スコア:1)
文章の論理展開の適切さを評価するソフトウェアのようなので、そういう意味ではコンピューターのほうが人間よりも適切な評価ができるのかもしれません。人間と違って疲れたりしないし、小論文が評価される順番による主観誤差も少なくなるでしょう。まあ、サンプル入力の時点ですでにいくらかの偏りがあることはあるんでしょうが・・・。
「『独創的』な小論文でさえも『人間と同じくらい正確に採点する』」といっても独創性を評価するわけじゃないんですね。そこにちょっとだけほっとしてみたり（笑）。
# でもひょっとしたら全ての評論文を一定の基準に従って分類し、論理的なおかつ特徴的なものを拾い出すという形での「独創性」は判定させられるのかも。
# 本当の意味での「独創性」を判定させるには膨大なデータが必要になるだろうし・・・。
---------- ------ ISHII Nayuta
誰か書くだろうな (スコア:1)
「攻略法」とか「裏技」とか。
でも、人間の目も併用して採点するとなると・・・(鬱)
真面目に勉強したほうがいいかも。
余計なもの (Re:誰か書くだろうな) (スコア:1)
/.への適用(ちとOff Topic?)(Was Re:余計なもの) (スコア:1)
張ってあるリンクの数とか「…によると」とかいう文句を数えれば「参考になる」評価もできるかもしれません。
「すばらしい洞察」とかは難しいかな。あと活発な議論を作り出したコメントに「フレームのもと」とかつけるかもしれないですね。
「おもしろおかしい」はほとんど評価不能でしょう。あれはユーモア感覚がないと「オフトピック」と判別されてしまうことあるんじゃないかな…
/.configure;oddmake;oddmake install
アルゴリズム (スコア:1)
どうやってるんだろうね。 元記事に書いてあるだけが全てとはとても思えない。
たとえば、どこまでが伝聞や事実で、どこまでが自分の意見か、 ということをはっきりさせない論文は悪い論文だと言えると思うけど、 それなら判断させることができるかもしれない。
ぼくのプログラム使ってくれてるのかな :-)
論文と言えば独創チェック (スコア:1)
どこかにあるインターネット上のフレーズを組み合わせて、それなりに論文にしちゃうという。
審査する方が、オリジナルなのか、パクリなのかを判断するのがしんどいという事で、検索エンジンみたいな独創チェックエンジンがあるそうな話をきいたことがあります。
わりと効果を上げているとか。
ニュースソースどこだっけなぁ？
Re:アルゴリズム (スコア:1)
人手による採点の段階ですでに採点方法とか採点基準が
かなりの程度マニュアル化されてしまってるんでしょうかね。
でも．．． (スコア:1)
Kiyotan
Re:やがて受験生側にもこの採点システムが売られて (スコア:1)
さもないと今度こそ完璧に、受験産業によるボったくりの態勢が、固まってしまう。
Re:論文と言えば独創チェック (スコア:1)
このプログラムの作者が作ったWebがThe Plagiarism Resource Center として公開されています。
もう少し総括的な記事は期末レポートのデジタル・カンニング攻防戦(HotWired)にありますね。
Re:やがて受験生側にもこの採点システムが売られて (スコア:1)
そのシステムの急所をつくような方向で使わなければよいのですよね？
Re:やがて受験生側にもこの採点システムが売られて (スコア:1)
Re:独創性はそもそも評価基準外(らしい) (スコア:0)
＞#落ちたら訴える人がいそうだし、受かっても素直に喜べない…
＞#独創性なんぞ問わない小論文だから出来るんですな、コレ。
学位審査だって・・・独創性は問われていない・・・かも。