ニュース

Aug 14, 2023

AIはギャグを書けるが、ジョークには乗らない

以下のフォームに記入してください。「AIs Can Write Gags, But Aren't in on the Joke」の PDF 版を電子メールでお送りします。すべての音声記事へのアクセスを解除するには、以下のフォームに記入してください。 大規模なニューラル ネットワーク、

以下のフォームに記入していただければ、「AI はギャグを書くことができますが、ジョークには参加していません」の PDF 版を電子メールでお送りします。

すべての音声記事へのアクセスのロックを解除するには、以下のフォームに記入してください。

人工知能の一形態である大規模なニューラル ネットワークは、「なぜ鶏は道路を横切ったのか?」というようなジョークを何千も生成できます。 しかし、彼らはなぜ面白いのか理解しているでしょうか？

ニューヨーカー誌の漫画キャプション コンテストの数百の応募作品をテストベッドとして使用し、研究者は AI モデルと人間に次の 3 つのタスクを課しました。 優勝したキャプションを特定する。 そして優勝したキャプションがなぜ面白いのかを説明します。

ChatGPT などの AI の進歩によってパフォーマンスの差が縮まったにもかかわらず、すべてのタスクにおいて人間のパフォーマンスが明らかに機械よりも優れていました。 それでは、機械はユーモアを「理解」し始めているのでしょうか？ つまり、ある程度の進歩はしているものの、まだそこまでは至っていないのです。

Technology Networks の日刊ニュースレターを購読して、最新の科学ニュースを毎日受信箱に直接お届けします。

「人々が AI モデルの理解に挑戦する方法は、AI モデル用のテストを構築することです。つまり、多肢選択テストや精度スコアを伴うその他の評価です」と、ジャック ヘッセル博士は述べています。 '20年、アレンAI研究所（AI2）の研究員。 「そして、最終的にモデルがこのテストで人間が得たものを超えた場合、『OK、これは本当に理解していることを意味するのだろうか』と考えるでしょう。」 理解するのは人間の仕事であるため、いかなる機械も真に「理解」することはできない、というのは擁護可能な立場です。 しかし、機械が理解するかどうかに関係なく、これらのタスクをいかにうまく実行するかには依然として感銘を受けます。」

ヘッセルは『Do Androids Laugh at Electric Sheep?』の筆頭著者です。 ニューヨーカーキャプションコンテストのユーモア「理解」ベンチマーク」は、7月9日から14日までトロントで開催された計算言語学協会の第61回年次総会で最優秀論文賞を受賞しました。

コーネル・アン・S・バウワーズ・カレッジ・オブ・コンピューティングおよび情報科学のチャールズ・ロイ・デイビス教授であるリリアン・リー'93と、チェ・イェジン博士。 '10、ワシントン大学ポール G. アレン コンピュータ サイエンスおよびエンジニアリング スクールの教授、および AI2 の常識知能研究のシニア ディレクターも、この論文の共著者です。

研究者らは研究のために、ニューヨーカーのキャプション コンテストの 14 年分、合計 700 件以上を編集しました。 各コンテストには次のものが含まれていました。キャプションのない漫画。 その週のエントリー。 ニューヨーカー編集者が選んだファイナリスト3名。 また、一部のコンテストでは、各提出物に対する群衆の品質の推定を行います。

研究者らはコンテストごとに、「ピクセルから」（コンピュータービジョン）と「説明から」（人間による漫画の概要の分析）という2種類のAIを3つのタスクに対してテストした。

「Flickrには、『これは私の犬です』といったキャプションが付いた写真のデータセットがある」とヘッセル氏は語った。 「ニューヨーカー事件の興味深い点は、画像とキャプションの関係が間接的で遊び心があり、多くの現実世界の実体や規範を参照していることです。 したがって、これらのもの間の関係を「理解する」という作業には、もう少し洗練された技術が必要です。」

実験では、他のコンテストではファイナリストだった「ディストラクター」の中から、指定された漫画のファイナリストのキャプションを選択するために、AI モデルのマッチングが必要でした。 品質ランキングでは、ファイナリストのキャプションとファイナリスト以外のキャプションを区別するためにモデルが必要でした。 そして説明には、高品質のキャプションが漫画にどのように関連しているかを示すフリーテキストを生成するモデルが必要でした。

ヘッセル氏は、クラウドソーシングによる作業が不十分であることが判明した後、人間が作成した説明の大部分を自分で書きました。 彼は 650 を超える漫画について 60 語の説明を作成しました。

「機械学習のコンテキストでは、650 という数字はそれほど大きなものではないようです。機械学習では、多くの場合、数千、数百万のデータ ポイントが存在します。データを書き出し始めるまでは」とヘッセル氏は言います。

この研究では、漫画が面白い理由についての AI レベルと人間レベルの「理解」の間に大きなギャップがあることが明らかになりました。 漫画とキャプションを一致させる多肢選択テストにおける最高の AI パフォーマンスはわずか 62% の精度であり、同じ設定での人間の 94% には遠く及ばなかった。 そして、人間が生成した説明と AI が生成した説明を比較すると、およそ 2 対 1 で人間の説明が好まれました。