AI規制を踏まえた説明可能AI（XAI）の重要性について

近年、金融業界においても人工知能（AI）の活用が急速に進展しています。AIは巨大なデータセットを高速に処理し、複雑な意思決定を効率的に行うことができるため、金融機関は業務の効率化やリスク管理の向上にAIを積極的に取り入れています。

しかし、AIの決定プロセスのブラックボックス化という特徴とEUのAI規制法案を鑑みると、その透明性や説明可能性に関する課題がいっそう顕在化すると想定されます。

この記事では、金融業界におけるオーソドックスなAI活用事例、EUと日本におけるAI規制動向を踏まえて、説明可能AI(eXplainable AI : XAI)の重要性に焦点を当てながら、NTTデータでの取り組みの事例をご紹介します。

AI導入は世界中の多くの産業で進められています。日本の金融機関においても同様で、具体的な活用事例が増えています。
以下は、金融業界でのオーソドックスなAI活用事例です。

◆融資審査の自動化:
AIは、個々の顧客の属性、入出金・残高情報、財務状況を分析し、融資の可否や融資額を自動的に判断します。これにより、審査プロセスの迅速化と貸し倒れリスクの低減の両立を目指すことが可能です。

◆不正取引の検出:
AIは取引データの異常を検知し、不正取引の兆候を早期に発見します。これにより、金融機関は不正行為による損失を最小限に抑えることが可能となります。

◆資産運用の自動化:
AIは市場データをリアルタイムで分析し、最適な投資戦略を提供します。顧客のリスク許容度に合わせてポートフォリオをカスタマイズすることも可能となります。

上記のような事例において、AIは大量のデータから洞察を得て判断を下します。しかし、その判断プロセスは複雑であり、人が理解することが難しい（ブラックボックス化）という課題があります。

近年のAIは、判断プロセスが複雑でブラックボックス化してしまうという課題があります。こうした状況でAIの普及に伴うリスクの増大に対処するため、EUはAI規制の検討を進めています。
2023年6月、EU欧州議会本会議で「AI規則案」が採択されました。早ければ2024年後半にも施行される可能性が出てきています。

【規制の概要】
この規制は、リスクベースアプローチが採用されておりAIシステムを以下、4つのリスクカテゴリーに分類し、カテゴリーに応じた規制要件を設けています。規制に違反した場合には、制裁金が課されることになります。

◆（ⅰ）「許容できないリスク」のあるAI
活用が禁止されるAIシステムとして分類されるもので、下記のようなものがあります。
・潜在意識への操作：サブリミナル効果を最大化させるような画像、音源の検出や制御するAIなど
・子どもや精神障害者を相手とする搾取行為：年齢や身体的・精神的障害による特定グループの個人の脆弱性を悪用するAIシステムの市場投入
・社会的スコアの一般的な利用：AIシステムが、取るに足らない、あるいは無関係な、親の社会的「不正行為」（医者予約の無断キャンセル、離婚など）に基づいて、社会的ケアを必要としている子どもを特定する。 ・公的にアクセス可能な空間における法執行目的でのリモート生体識別システム：駅、空港などで不特定多数の顔認識データベースを作成、さらには容疑者を識別・検知するようなAIシステム
・個人の犯罪・再犯リスクを評価するAIシステム：個人のプロファイリングや個人の位置情報・過去の犯罪行動などの人格特性の評価に基づき犯罪の発生・再発を予測するAIなど

◆（ⅱ）ハイリスクAI
一定要件と事前適合性評価の遵守の下で許可されるAIシステムで、下記のようなものがあります。
・自然人の生体識別およびカテゴライゼーション：顔、指紋といった生体認証、表情、声から感情を推定、民族、年齢、性別といった特定カテゴリーへの分類など
・重要なインフラの管理と運用：水・ガス・暖房・電気の供給の管理など
・教育と職業訓練：学生の属性、行動情報などを用いて評価することなど
・雇用、従業員管理、自営業者へのアクセス：従業員の評価・査定や業務割り当てなど
・重要な民間サービス、公共サービス、公的給付へのアクセスおよび受給：消防の出動要請の優先順位付けなど
・法執行：刑事犯罪における証拠の信頼性の評価など
・移住、亡命、国境管理：亡命、ビザ、居住許可の申請に対する認可など

◆（ⅲ）限定リスク
透明性義務の下で許可されるAIシステムです。例えば、チャットボットやディープフェイクによるコンテンツに関しては、告知、開示義務への対応が必要となります。
この透明性義務については、ハイリスクAIでも対象となります。

◆（ⅳ）最小リスク
上記以外のAIシステムです。

【日本への影響と国内のAI規制】
日本のプロバイダーも、EU圏内でサービスを提供する際にはEUにおけるAI規制法案の適用対象になります。現時点での国内の動向としては、法的拘束力のあるAI規制制定の動きはなく、任意のガイドラインの発表にとどまります。しかし、AI規制がグローバルスタンダードになりつつある現状を鑑みると今後は国内でも追従する動きになることが想定されます。そのため、国内企業でもAIガバナンス部門の設置と規制への対応が必須となると考えられます。

EUのAI規制において要求事項は多岐にわたりますが、ここで着目したいのは、AIに対する透明性や説明可能性の担保が求められている点です。今回は、AIの説明可能性について考えてみたいと思います。

冒頭でAIの出力根拠はブラックボックス化しやすいという問題があると述べました。分かりやすいトラブルの事例としては下記のようなものがあります。
・某IT企業が、人事評価や賃金査定にAIサポートツールを用いたことで労使紛争になったケース
このトラブルでは、従業員側に対して評価、査定で収集されている項目の全容が開示されていない、査定根拠が説明されていない（根拠説明を前提にAIを導入していない）という問題点が存在しました。そのため、従業員の視点に立てば不信感を持つのは当然と言えるでしょう。

こういったことは金融分野でも同様と言えます。例えば融資審査をAIが担っており、融資を申し込んだエンドユーザーに対して、融資不可となった場合、または融資可能額が少なく判定された場合、エンドユーザーからしてみれば、当然その理由を知りたいでしょうし、説明がなければ不信感を持つのではないでしょうか。

法規制の有無によらず、企業が提供するAIサービスに対する説明責任を果たすべきだという観点は、エンドユーザーの視点に立てばごく自然なことと言えるでしょう。

AIを解釈するためには大きく2つの視点があります。

・①大局的説明
AIモデル全体に注目し、個々の予測結果を総合した全体の傾向を説明するものです。

・②局所的説明
個々の予測対象の入力データとそれに対する予測結果に着目して、予測結果に至るまでの過程を説明します。
全体の傾向を総合的に判断するのではなく、個々の予測に着目するため「局所的説明」と呼ばれます。
あるエンドユーザー（下図②の顧客A）の融資可否について予測するAIでは、エンドユーザー（顧客A）はなぜ融資が否決されたかなど局所的な説明観点を重要視することになります。

上図のようにAIにインプットされる特徴量（項目数）が少なければ、人が視認しやすく、説明も容易と言えるでしょう。しかし、実際のAIモデルでは、数百～数千もの特徴量（項目数）となることから、出力結果は非常に複雑で人が端的に説明できる状態ではないと言えます。

NTTデータでは、数百～数千もの特徴量をカテゴリー分けして影響度を集計しグラフ化することで説明可能性を高める取り組みを行っています。

下図では、融資審査AIにおいて、企業の入出金データを安全性、売上持続性、収益性といったカテゴリーに特徴量を分類して集約、集計することで視認性を高めています。また、出力されるグラフ結果をパターン分けして、その意味づけを行うことで誰でも一定の解釈が行えると考えています。

EUのAI規制のほか、米国でのAIの権利章典やG7の広島AI宣言など、AIの利用に関する各国政府の取り組みが活性化しています。AIに対する公的機関の規制が具体化するなか、今後、このようなAIの説明可能性を追求した取り組みの重要性がいっそう重要になってくると考えています。