GPT 検出器が AI 不正行為問題の解決策にならない理由

2023 年 5 月 18 日

この記事は、Science X の編集プロセスとポリシーに従ってレビューされています。 編集者は、コンテンツの信頼性を確保しながら、次の属性を強調しました。

事実確認済み

プレプリント

信頼できる情報源

校正する

アンドリュー・マイヤーズ著、スタンフォード大学

ChatGPT の注目を集めた発表を受けて、少なくとも 7 社の開発者または企業が AI 検出器で対抗しました。 つまり、AIはコンテンツがいつ別のAIによって書かれたかを知ることができるということだ。 これらの新しいアルゴリズムは、不正行為、盗作、誤った情報や偽情報を警告するツールとして教育者やジャーナリストなどに売り込まれています。

それはすべて非常にメタ的なものですが、スタンフォード大学の学者による新しい論文によると、(非常に大きな) 問題が 1 つだけあります。それは、検出器が特に信頼できるわけではないということです。 さらに悪いことに、実際の作成者 (人間) が英語のネイティブスピーカーではない場合、特に信頼性が低くなります。

数字は厳しいです。 検出器は米国生まれの 8 年生が書いたエッセイの評価では「ほぼ完璧」でしたが、英語を母国語としない生徒が書いた TOEFL エッセイの半分以上 (61.22%) を AI が作成したものとして分類しました (TOEFL は外国語としての英語のテスト）。

ひどくなる。 この研究によると、7 つの AI 検出器すべてが満場一致で、91 件の TOEFL 学生エッセイのうち 18 件 (19%) を AI によって生成されたものと特定し、注目すべき 91 件の TOEFL エッセイのうち 89 件 (97%) が少なくとも 1 つの検出器によってフラグが付けられました。

「結局のところ、検出器が AI をどのように検出するかが重要です」と、スタンフォード大学の生物医学データサイエンスの教授であり、スタンフォード人間中心 AI 研究所の関連組織であり、この研究の主任著者でもあるジェームス ゾウ氏は述べています。 「彼らは通常、『当惑度』として知られる指標に基づいてスコアを付けます。これは文章の洗練さと相関関係があり、非母語話者は自然と米国生まれの相手の後塵を拝することになるのです。」

ゾウとその共著者らは、非母語話者は語彙の豊富さ、語彙の多様性、構文の複雑さ、文法の複雑さなどの一般的な複雑さの尺度で一般にスコアが低いことを指摘している。

「これらの数字はAI検出器の客観性について深刻な疑問を投げかけており、外国生まれの学生や労働者が不当に告発されたり、さらに悪いことに不正行為で罰せられる可能性を高めている」とゾウ氏は述べ、チームの倫理的懸念を強調した。

ゾウ氏はまた、このような検出器はいわゆる「即時工学」によって簡単に覆されてしまうとも指摘している。 AI 分野におけるこの芸術用語とは、単に生成 AI に、たとえばより洗練された言語を含めるようにエッセイを「書き直す」よう依頼することを意味するとゾウ氏は言います。 彼は、検出器を回避することがいかに簡単であるかを示す例を示しています。 ChatGPT を使用して不正行為をしたい学生は、「文語を使用して提供されたテキストを強化してください」というプロンプトとともに AI が生成したテキストを単純に挿入する可能性があります。

「現在の検出器は明らかに信頼性が低く、簡単に騙されます。つまり、AI 不正行為の問題の解決策としてそれらを使用することには非常に慎重になる必要があります」とゾウ氏は言います。

そこで問題は、それに対して何をすべきかということになります。 Zou はいくつかの提案をします。 同氏は、当面、特に英語を母国語としない人が多数いる教育現場では、検出器に頼ることを避ける必要があると述べている。 第 2 に、開発者は、困惑度を主な指標として使用することをやめて、より高度な手法を見つけるか、おそらく、生成 AI が自身のアイデンティティに関する微妙な手がかりを作成するコンテンツに埋め込む透かしを適用する必要があります。 最後に、モデルを回避されにくくする必要があります。

「現時点では検出器の信頼性があまりにも低く、厳密な評価と大幅な改良を行わずにこれらのテクノロジーを信頼するには、学生にとってリスクが高すぎます」とゾウ氏は言う。

調査結果は arXiv プレプリント サーバーで公開されます。

詳しくは： Weixin Liang et al、GPT 検出器は英語を母国語としない作家に対して偏っている、arXiv (2023)。 DOI: 10.48550/arxiv.2304.02819