自然言語処理を学ぶ - 最先端トレンドと金融領域での適用可能性

日本の労働生産性低下が取り沙汰されて久しいですが、本日紹介する自然言語処理に関するAI技術は、それを打開する1つのきっかけになるのではないかと思い、この記事を書いています。

エーアイスクエアは2015年12月に、自然言語処理関連のAIの技術開発と、それを用いたサービスによって多種多様な業務の高度化・効率化を実現するべく設立されました。応用領域は「要約」「自動分類」「キーワード抽出」「対話行為分類」「質問応答」「感情解析」など多岐に渡ります。

テキストデータに着目した背景としては、蓄積されるテキスト情報には、構造化された数値データとは違う形で、人の英知が内在していると考えたことです。
これまで、データ活用は、ERP（Enterprise Resources Planning）システムやCRM（Customer Relationship Management）システム、SCM（Supply Chain Management）システムやその他基幹システムなどで管理される、構造化された数値データが中心でした。しかし、数値化された定量データに加え、顧客接点部門における顧客の声、営業担当者の業務報告書、エンジニアの技術報告書、品質報告書、不具合報告書など、先人の英知の多くはテキスト情報にこそ含まれることが多いのではないでしょうか。

本稿では、自然言語処理がここまで取り上げられるようになった背景と、「Transfomer」や「GPT-3」など、ここ数年の技術進歩が著しい自然言語処理領域のAI技術に加え、適用領域、特に本メディアの読者である金融業界への適用可能性などを紹介し、業務高度化検討の一助としていただければと思います。

自然言語処理（Natural Language Processing, NLP）とは、人間の言語（自然言語）を統計的に解析できる形に変換し、機械で処理・分析できるようにする技術を指します。しかしながら、物理的な実測値に基づき容易にデータ化できる音声認識・画像認識とは異なり、自然言語については、ベクトルや行列で計算処理できるような数値変換に課題が多かったことが、活用を阻害していました。

そのような中、2000年に登場した「単語分散表現」とそれを効率よく実現する「Word2Vec（※1）」のアルゴリズムが上記課題の解決に大きなブレークスルーを生んだと言われています。単語分散表現とは、「文字・単語を多次元のベクトルとして数値化する」ことを指し、ほかの概念との共通点や類似性と紐づけながら、ベクトル空間上で表現できるようにするものです。

（※1）Word2Vec：2013年にGoogleが公開した、単語を数値の組で表す（ベクトル化する）ための自然言語処理技術の1つ。単語同士の意味の近さを計算したり、単語同士の意味を足したり引いたりすることができるようになる。

これについては、「Word2Vec」アルゴリズムの登場によってニューラルネットワークの構造の中で、より効率的に「単語分散表現」を獲得することができるようになったことが自然言語活用を多いに促進しました。

単語を多次元のベクトル表現として数値化できるということをわかりやすく例示したものの1つとして、単語のベクトルを用いて、「King – Man + Woman = Queen」 （王様から男性を引いて女性を足すと王女になる）という数式が成り立つことがよく挙げられます。あたかも人の頭の中で描かれているような言葉の構造を、機械が解析できるようになったというわけです。

「Word2Vec」登場の後も「fastText」「Transformer」「ELMO」など、多くの技術が立て続けに登場しています。特に、2019年に登場した「BERT（Bidirectional Encoder Representations from Transformers）」は、感情分析、質疑応答、文の類似性など複数の自然言語処理のタスクで優れた結果を示したことで大いに注目され、エーアイスクエアでもいくつかのプロジェクトにおけるタスクで採用しました。

最近では、2015年12月にイーロン・マスクなど有力な実業家・投資家が参加したことで注目を集めたOpenAIが開発している言語モデルの最新版である「GPT-3」が注目されています。約45TBの大規模なテキストデータのコーパスを約1750億個のパラメータを使用して学習し、高い精度である単語の次にくる単語の予測を可能にし、あたかも人間が書いたような文章を自動で生成できると言われています。

自然言語処理の用途として、古くは、かな漢字変換、音声認識、自動翻訳などに用いられてきましたが、前述の技術進化と並行して、特にコールセンター・コンタクトセンターを始めとした顧客接点領域とドキュメント検索などへの適用が先行しています。

顧客接点領域については、コールセンターにおける応対時のオペレーター支援（FAQのレコメンド）、外部向けのFAQ検索、最近では、チャットボットをユーザーインターフェースとしたAIチャットボットによる無人対応などが、比較的ポピュラーなサービスとして提供されています。

最近では、上記に加え、以下のようなユースケースに適用領域が拡大されています。

【ニュースのタイトル生成・コンテンツ要約】
特にニュースのテキストについては、内容が構造化されているため、自然言語処理に向いていると言われています。大量のデータを保持し、常に多くのニュース記事を作成・校閲・発信する必要のあるマスコミ業界（放送・新聞）での導入が進んだことに加え、最近は、業界・技術に関するトレンドを要約し共有することで、社内のナレッジ共有に活用したい、というような一般企業のニーズも増えてきています。後者については、RPAツール導入が進み、公開されている大量のニュースソースを容易にクローリングできるようになったことが1つの要因になっています。

【製造業でのクレーム・不具合分析】
製造業などの企業内で共有されるクレームや不具合については、多くの過去案件の中から類似案件を探し出すことが困難で、経験豊富なベテランの暗黙知に依存してきました。情報量の増加に加え、ベテランの退職によってそのノウハウそのものがなくなるケースも散見されます。これらを解消するものとして、AIによる自動要約・タグ付けや類似検索の仕組みを用いることで、ベテランと新人のナレッジ検索スキルの平準化や、テキスト解析による予兆解析などの取り組みも進んでいます。

【試験問題の採点支援】
多くの生徒を抱える学習塾を中心に、模擬試験の採点は、採点基準を正しく理解した有スキルの採点者により多くの工数をかけて行われています。特に、自由記述回答の設問については、採点にかける手間が課題となっていました。類似答案のクラスタリングや模範解答との類似度判定と採点基準との組み合わせで、一定範囲の自動採点を可能としています。

【SNSの投稿監視】
SNSの運営者はコミュニティーの適正な維持管理の観点から、利用者の投稿を常時監視しています。自然言語処理AIでは、投稿内容の特徴を判別してリスクの有無をスコアリングすることで、投稿監視を効率化します。投稿監視の重要性を鑑みると、明らかに関係のない投稿を除外することや、あるいはAIで判別したものを、人手で再度チェックする、というサポートツール的に用いられることが現状は一般的です。

【帳票の自動解析】
AI-OCRの技術の進展に伴い、紙帳票の電子化は進んでいますが、OCRの抽出情報のさらなる活用に自然言語処理AIが用いられています。具体的には、固有表現抽出と呼ばれる、テキストに出現する人名や地名などの固有名詞や、日付や時間などの数値表現を抽出する技術を用い、帳票から抽出した項目のタグ付けを行うことができます。自然言語処理技術に加え、座標情報を始めとした帳票フォーマットの情報を組み合わせることで、より高精度な情報抽出を可能とします。

上記の通り、金融領域についても、コールセンター・コンタクトセンターを始めとした顧客接点の領域で、自然言語処理のAI導入が進んできました。特に、AIチャットボットにおける顧客対応高度化については、単純な問い合わせの無人応答、有人のチャットオペレーターとのハイブリッド運用含め、一般的なものとなってきましたが、音声認識技術を用いた応対内容のテキスト化、AI要約・分類を用いたさらなるデータ活用も進んでいます。

【顧客接点領域における要約・分類】
要約・分類の活用用途としては、「応対履歴管理の効率化」「顧客接点における顧客の声の活用」「新人オペレーターの早期立ち上げ」に大別されます。
応対履歴管理の効率化については、「後処理」と呼ばれる、オペレーターが電話を終了した後に行うCRM履歴への登録をより確実・効率的に行うことを狙ったものです。音声認識でテキスト化された会話の全発話を要約することで、適切な履歴管理をサポートし、オペレーターに安心感を与えるという副次的効果をもたらします。

次に、顧客接点における顧客の声の活用としては、顧客接点部門に蓄積されるお客様の声を自動分類、要約、キーワード抽出することで、サービス改善や業務効率化を支援するというものです。
最後の「新人オペレーターの早期立ち上げ」の観点では、会話の内容からベテランならではの言い回しなどをピックアップし、教育資材として活用することで、より実態に即した素材を用いた新人教育を可能にしています。

エーアイスクエアでは「要約」をもう少し広く捉えて、会話の内容から重要な個所だけピックアップして、抽出箇所に適切なタグ付けを行う、という取り組みも行っています。

具体的には、損害保険会社様向けの取り組みとして、事故受付のセンターでの会話の中から「契約者のケガの有無・場所」「車が自走しているか」「過失割合に関する各者の見解」「保険等級の変化」「保険の使用意思」など、重要な個所をAIが抽出し、適切なラベル付けを行うというAIエンジンを開発しました。上記同様、AIによる予測によって、電話終了後の後処理時間を大幅に削減して、センターにおいてより多くの問い合わせに効率的に対応することをサポートすることに加え、ゆくゆくは案件の重要度付けに基づくリソースの適正配置にも繋げていくことを目論んでいます。

【金融商品取引法違反チェック】
もう1つのトレンドとしては、かんぽ生命の不正販売問題に代表される「金融商取引法違反」に関する営業活動のコンプライアンスチェックです。
金融商品の販売・営業活動には、投資家（顧客）の保護などを目的に、金融商品取引法をはじめとする様々な規制が適用され、金融機関では、社員の営業活動が適切に行われているか、コンプライアンスの観点から日々モニタリングしています。自然言語処理AIの活用によって営業日報などの文書の特徴を学習させ、不適切な応対がないかを自動でチェックします。

その他には「営業の商談議事録の書き起こし」「企業内の文書検索の高度化」「顧客企業ニュースの要約」「マーケティング用途での顧客の声分析」「支店・本店間のやり取りを可視化しナレッジ整備」などがあります。金融領域においては、エーアイスクエアでも比較的ご相談頻度の高いテーマです。

一方で、このような取り組みが順調に進んでいる企業は一握りであるような印象も受けます。「AIを用いたDX的な取り組みをとにかくやらないといけない」というAIありきの案件も少なくありません。エーアイスクエアが手掛ける案件でも、AIを始めとした先進技術への理解に基づき、技術と業務課題を適切にリンクできる専門チームが業務部門と密に連携を取りながら進めるケースにおいては、非常にスムーズなPJ推進が実現できています。しかしながら、人材育成・体制構築を含めた整備は、特に規模の大きくない金融機関については大きな課題となっているようです。

関連して「教師あり」学習に必要な教師データの量や質（データが正規化されていない、入力ルールが定まっておらず不統一、名寄せされていない、時系列管理されていないなど）が問題になることもあります。教師データの新規作成・修正工数が確保できないケースでは、エーアイスクエアが支援させていただくこともありますが、「Few Shot Learning」（少ない教師データで精度を確保する手法）や「Active Learning」（モデルの学習に効果的なデータを優先して作業することで、工数を少なく抑えて教師データを作成する手法）が解決するケースもあります。

エーアイスクエアも自社の事業概要を説明させていただく際に「自然言語処理」という用語を使うことが多いのですが、すんなりご理解いただけるケースはあまり多くなく、数あるAIの中ではまだまだ馴染みのないテーマかもしれません。

ただ、日本語言語処理領域については、ここ数年の技術進歩と相まって、適用範囲を少しずつ広げており、多くの可能性を感じる技術領域であることを実感しています。本稿が金融業界の業務高度化の一助となれば幸いですし、エーアイスクエアも多くの貢献ができるよう、実績を積み重ねていければと考えております。