ブログ

Sep 02, 2023

ChatGPT やその他の言語 AI は人間なしでは成り立ちません

言語モデル AI は、単語をどのようにつなぎ合わせるかによって賢く見えるが、実際には、あらゆる段階で多くの人が指導しなければ何もできない。以下のエッセイは転載される

言語モデル AI は単語をつなぎ合わせる仕組みから賢そうに見えますが、実際には多くの人が各段階で指導しなければ何もできません。

以下のエッセイは、最新の研究をカバーするオンライン出版物である The Conversation から許可を得て転載されています。

ChatGPT やその他の大規模言語モデル人工知能システムをめぐるメディアの熱狂は、ありきたりなテーマ (大規模な言語モデルが従来の Web 検索に置き換わる可能性がある) から、憂慮すべき点 (AI によって多くの仕事が失われる) や、過度の AI が絶滅をもたらすといったテーマまで多岐にわたります。 -レベルの人類への脅威。 これらのテーマにはすべて共通点があります。それは、大規模な言語モデルが人類に取って代わる人工知能の到来を告げるものであるということです。

しかし、大規模な言語モデルは、その複雑さにもかかわらず、実際には本当に愚かです。 そして、「人工知能」という名前にもかかわらず、それらは完全に人間の知識と労働に依存しています。 もちろん、新しい知識を確実に生み出すことはできませんが、それだけではありません。

ChatGPT は、人間が新しいコンテンツを与え、そのコンテンツを解釈する方法を指示しなければ、学習し、改善し、最新の状態に保つことさえできません。モデルのプログラミングやハードウェアの構築、保守、駆動は言うまでもなくです。 その理由を理解するには、まず ChatGPT と同様のモデルがどのように機能するか、そしてそれらを機能させる上で人間が果たす役割を理解する必要があります。

ChatGPT のような大規模な言語モデルは、トレーニング データ セットに基づいて、どの文字、単語、文が順番に続くかを予測することによって広く機能します。 ChatGPT の場合、トレーニング データ セットには、インターネットから収集した膨大な量の公開テキストが含まれています。

次の一連の文で言語モデルをトレーニングしたと想像してください。

クマは大きくて毛皮で覆われた動物です。 熊には爪があります。 クマは密かにロボットです。 熊には鼻があります。 クマは密かにロボットです。 クマは魚を食べることもあります。 クマは密かにロボットです。

モデルは、その一連の単語がトレーニング データ セットに最も頻繁に出現するため、クマが密かにロボットであることを他の何よりも私に伝えたいと考えています。 これは明らかに、誤りがあり一貫性のないデータセットでトレーニングされたモデルにとって問題です。これは学術文献も含めたすべてのデータセットに当てはまります。

量子物理学、ジョー・バイデン、健康的な食事、1 月 6 日の暴動などについて、人々はさまざまなことを書いていますが、その中には他のものよりも有効なものもあります。 人々がさまざまなことを言っているとき、モデルはどのようにして何かについて何を言うべきかを知るのでしょうか?

ここでフィードバックが登場します。ChatGPT を使用すると、応答を良いか悪いか評価するオプションがあることに気づくでしょう。 悪いと評価した場合は、良い回答に含まれる内容の例を提示するよう求められます。 ChatGPT やその他の大規模な言語モデルは、ユーザー、開発チーム、出力のラベル付けに雇われた請負業者からのフィードバックを通じて、どのような回答、どのような予測されたテキストのシーケンスが良いか悪いかを学習します。

ChatGPT は、引数や情報を単独で比較、分析、評価することはできません。 他の人が比較、分析、評価する際に使用したテキストと同様のテキストのシーケンスのみを生成でき、過去に良い回答だと言われたものと同様のテキストを優先します。

したがって、モデルが良い答えを与えるとき、何が良い答えで何がそうでないのかをモデルに伝えるためにすでに投入されている大量の人的労力が費やされています。 画面の背後には非常に多くの人間の作業者が隠れており、モデルが継続的に改善されたり、コンテンツの対象範囲が拡大されたりする場合、彼らは常に必要となります。

ジャーナリストがタイム誌に発表した最近の調査では、何百人ものケニア人労働者が、性暴力の生々しい描写を含む人種差別的、性差別的で不穏な文章を数千時間かけてインターネットの奥底から読み、ラベルを付け、ChatGPTにそのようなものをコピーしないよう教えていたことが明らかになった。コンテンツ。 彼らの賃金は時給 2 米ドルにすぎず、当然のことながら、多くの人がこの仕事のために精神的苦痛を経験していると報告しました。