重磅!ウォール街のトップ法律事務所でAI「幻覚」大失敗!Sullivan & Cromwellが法廷文書の誤りを公開謝罪

ウォール街の著名法律事務所Sullivan & Cromwellが、AIの「幻覚」により法廷文書で重大な誤りを犯し、公開謝罪する事態となりました。AIの誤用が法律業界に与える影響が注目されています。

人工知能技術が急速に発展している今日、AIの「幻覚」(hallucinations)—すなわちAIモデルが虚偽情報を作成したり誤った引用を行うこと—は法律界でますます顕著な危険性となっています。4月22日、『ガーディアン』は注目のケースを報じました。ウォール街のエリート法律事務所Sullivan & Cromwell(以下S&C)が、英領ヴァージン諸島の清算人を代表してPrince Groupに関連する破産訴訟を処理する際に、AI支援で生成された法廷文書に多くの重大な誤りが含まれていたことが明らかになり、世論を騒がせました。

事件の発端は4月9日、S&Cがニューヨーク連邦破産裁判所に提出した重要な文書でした。この文書はPrince Groupの一連の法的紛争に関するもので、Prince Groupは中国系の実業家Chen Zhiが掌握していました。以前、アメリカの検察官はChen Zhiを電信詐欺とマネーロンダリングの疑いで起訴し、彼がカンボジアで「強制労働詐欺園区」を主導していたと指摘、アメリカおよび世界中の被害者から数十億ドルを盗んだとされています。Prince Groupはこれらの全ての訴えを否認し、関連する告発は根拠がないと主張しています。また、アメリカ当局は約90億ドルのビットコインを没収しようと試みており、これをPrince Groupの犯罪所得と見なしています。Chen Zhiは今年の初めにカンボジアで逮捕され、その後中国側の要求に応じて本国へ送還されました。この背景により、Prince Groupの案件は国際的な注目を集め、S&Cのこの文書が特に重要視されていました。

しかし、この文書は「失敗」しました。対抗する法律事務所Boies Schiller Flexner(BSF)は審査過程で、S&Cの文書にAI生成の「幻覚」誤りが多く含まれていることを発見しました:具体的なアメリカ破産法典の条項の誤った引用、他の判例結論の誤った援用、過去の案件の要約の著しい歪曲などです。S&Cは900名以上の弁護士を擁し、企業再編および破産分野でトップの名声を持つ法律事務所であり、今回の失敗は業界に衝撃を与えました。
4月18日(土曜日)、S&Cのグローバル再編業務共同責任者Andrew Dietderichはニューヨーク連邦裁判官Martin Glennに直接手紙を書き、チーム全体を代表して公に謝罪しました。手紙には「この件について深く遺憾に思います。チーム全体を代表してお詫び申し上げます。金曜日にBSF法律事務所に電話をかけ、問題を指摘してくれたことに感謝し、直接彼らに謝罪しました」と書かれていました。Dietderichは、S&C社内で「包括的なAIツール使用ポリシーとトレーニング要件」を制定しており、このような誤りを防ぐことを目的としていると強調しましたが、今回は「AIポリシーが遵守されず」、二次審査プロセスでもAI生成の誤った引用を見逃してしまったと述べました。

S&Cはその後、迅速に修正された文書を裁判所に提出しました。法律事務所は、弁護士がAIを使用して業務を支援することは禁止されていないが、職業倫理規範に基づき、裁判所に提出するすべての資料が正確で誤りがないことを保証する義務があると述べました。今回の事件では、S&Cは具体的にどのAIツール(ChatGPT、Claude、または他の法律専用AI)が使用されたかを明らかにしておらず、関係する弁護士の身元や内部処分が行われたかどうかも公開していません。

この事件は一例に過ぎませんが、ウォール街のトップ法律事務所で起きたため、特に注目を集めています。近年、AIの法律分野での応用は非常に活発で、契約審査、ケースリサーチ、法律意見書の作成まで、AIツールは効率を大幅に向上させる「神器」として見られています。しかし、「幻覚」問題は常に影のように付きまといます:AIは存在しない判例を無から作り出したり、法規を誤解したり、事実を不適切にまとめたりする可能性があります。2023年以降、AI生成の虚偽引用に依存したために弁護士が裁判所から罰金または公の訓戒を受けた事例はすでにいくつかありますが、今回のS&Cのような業界のベンチマークによる失敗は、多くの人々を驚かせています。

法律の専門家は、この事件が現在のAI技術の高リスク分野での応用の限界を浮き彫りにしていると指摘しています。S&Cは完備されたAIガバナンスフレームワークを持っていると主張していますが、ポリシーの実行と人間による再審査の段階での不備が直接的に誤りを正式な文書に流入させたとしています。ニューヨーク連邦裁判官Martin Glennはまだ謝罪の手紙に対して正式な回答をしていませんが、業界では一般的に、この事件がより多くの裁判所と法律事務所がAI使用の規範を再検討するきっかけになる可能性があると考えられています。

より広い観点から見ると、AIの「幻覚」事件は法律業界の規則の更新を加速させています。アメリカ弁護士協会(ABA)などの組織はすでに、弁護士がAIを使用する際には最終責任を負わなければならず、AIの出力を「権威」と見なしてはならないと呼びかけています。一部の法律事務所はすでに「AI+人間による二重審査」メカニズムを導入したり、独自の法律検証AIを開発して、出力の正確さを交差検証しています。しかし、S&Cの今回の経験が示すように、トップ機関でも高圧的な締め切りの下で警戒を緩める可能性があります。

Prince Groupの案件自体は、国境を越えた犯罪、巨額資産の追跡、国際的な引渡しなどの複数の複雑な要因が絡んでおり、S&Cが清算人の代表として、その文書の質が案件の方向性に直接影響を与えます。今回のAIの誤りはタイムリーに修正され、実質的な司法的結果をもたらさなかったものの、もしBSFによって発見されなかった場合、その結果は想像を絶するものになる可能性がありました。裁判官はこれに基づいて誤った判決を下し、当事者の権利が損なわれ、さらには控訴の嵐を引き起こすことになりかねません。

S&Cの謝罪の手紙は、法律事務所が問題にオープンな姿勢で向き合いたいというメッセージを間接的に伝えており、一定程度、外界の「トップ法律事務所もAIを使って手を抜いている」との疑念を和らげました。しかし同時に、それは業界全体に対しても警鐘を鳴らしています。技術の進歩が専門的な判断を代替することはできません。将来的には、より強力な法律AIモデルが登場するにつれて、効率と正確性のバランスをどのように取るかが、弁護士、裁判官、そして規制機関が直面する共通の課題となるでしょう。

興味深いことに、この事件が発覚した後、ソーシャルメディア上で法律関係者の間で熱い議論が巻き起こりました。ある人は「AIがついにウォール街の法律事務所を『神壇から引きずり下ろした』」と感慨を述べる一方で、全国的なAI法律使用ガイドラインの早急な制定を呼びかける声もあります。いずれにせよ、この事件は2026年の法律テクノロジー分野における象徴的なケースとなり、業界人に対して:AIの効率を追求する一方で、真実の追求を永遠に忘れてはならないことを思い起こさせます。

S&Cの事件はより多くの法律事務所がAIガバナンスの経験を公開するきっかけとなるかもしれません。Boies Schiller Flexnerの「救援」行動も、対抗制訴訟において、対抗者が最も厳格な監査者であることを示しています。

Winzheng Labは、生成型AIが法律分野に浸透していくにつれ、類似の「幻覚」事件は個別のケースから業界の通常の課題へと進化する可能性があると考えています。規制機関は、弁護士が文書を提出する際に「AI支援部分」を明記し、人間によるレビューの声明を添付することを要求するなど、より詳細なAI開示要件を導入する必要があるかもしれません。こうすることで、AIは法律の専門家にとって本当に頼りになる助手となり、潜在的なリスクの源泉になることはありません。