生成AIは、AIの試験的導入への関心を広く呼び起こしましたが、組織がAIのリスクについて考慮するのは、AIモデル／アプリケーションの本番稼働や使用が開始された後になることが少なくありません。包括的なAIの信頼性／リスク／セキュリティ・マネジメント (TRiSM) プログラムを利用することで、強く必要とされるガバナンスを事前に組み込み、能動的にAIシステムのコンプライアンス、公正性、確実性、データ・プライバシーを確保できます。
- Gartner client? Log in for personalized search results.
AI TRiSM (AIの信頼性／リスク／セキュリティ・マネジメント) をAIモデルに適用すべき6つのリスク要因とは？
AIモデル／アプリケーションでは、当初から確実性、信頼性、公正性、セキュリティが確保されているわけではない
AI TRiSM (AIの信頼性／リスク／セキュリティ・マネジメント) は、能動的にリスクを特定して軽減するためのソリューション・セットである
AIモデル／アプリケーションでは、当初から確実性、信頼性、公正性、セキュリティが確保されているわけではない
AI TRiSM (AIの信頼性／リスク／セキュリティ・マネジメント) は、能動的にリスクを特定して軽減するためのソリューション・セットである
2024年2月22日更新
要旨
AIモデルにAI TRiSMを適用すべき理由となる6つのリスク要因
「AI TRiSM」は、2024年の戦略的テクノロジのトップ・トレンドのひとつに取り上げられています。
eBookをダウンロード: 2024年の戦略的テクノロジのトップ・トレンド
関連資料： 生成AI導入プラン策定のためのワークブック
 の4つの柱 | ガートナー&url=https://emt.gartnerweb.com/ngw/globalassets/ja/smarter-with-gartner/images/infographic-4-pillars-ai-trust-risk-security-management-manage-risk-jp-600x566.jpg&via=Gartner_Inc){kind=icon}
AI TRiSMの必要性について確信が持てない場合は、以下に挙げた6つのリスク要因をご確認ください。これらの多くは単に、AIモデルの内側で実際に起こっていることをユーザーが理解していないために生じています。
リサーチサービスに関するお問い合わせ
ガートナーはお客様にマネジメントやテクノロジに関する実績のあるリサーチへのアクセスをご提供します。
ガートナーのプロダクトおよびサービスにご興味ありましたら、下記よりお問い合わせください。
リスク要因 のその 1：ほとんどの人は、AIモデルのマネージャー／ユーザー／消費者に対して、AIとは何か、AIが何をするのかを説明できない
- AI用語を説明するだけでなく、以下を明確に説明できなければならない
- モデルが機能する仕組みを明らかにする詳細情報や根拠 (特定の対象者向け)
- モデルの長所と短所
- 想定される振る舞い
- 生じ得るあらゆるバイアス
- モデルが機能する仕組みを明らかにする詳細情報や根拠 (特定の対象者向け)
- トレーニングに使用されるデータセットと、データの選択に使用される手法を可視化する (こうした情報を入手可能な場合)。これは、生じ得るバイアスの原因を表面化させるのに役立つ可能性がある
リスク要因 のその2：ChatGPTといった生成AIツールに誰でもアクセスできる
生成AIは企業の競争環境や働き方を変革する可能性を秘めているが、従来のコントロールでは対処できない新たなリスクももたらす
- 特に、ホスティングされているクラウド・ベースの生成AIアプリケーションに関連するリスクは影響が大きく、急速に発展している
詳細を見る： 生成AI (ジェネレ―ティブAI) とは？
リスク要因 のその3：サードパーティのAIツールがデータの機密性に関するリスクをもたらす
- サードパーティのプロバイダーから提供されたAIモデルとツールを統合する組織は、AIモデルのトレーニングに使用された大規模なデータセットも取り込むことになる
自社のユーザーが他社のAIモデル内にある機密データにアクセスできるようになり、場合によっては規制／商業／評判面で組織に影響が生じる可能性がある
2026年までに、AIの透明性／信頼性／セキュリティを運用化する組織のAIモデルは、導入／ビジネス目標／ユーザー受け入れの成果が50%向上する
出典：ガートナー
リスク要因その4：AIモデル／アプリケーションを常にモニタリングする必要がある
AIのコンプライアンス、公正性、倫理性を維持するために、専用のリスク・マネジメント・プロセスをAIモデルの運用 (ModelOps) に統合させる必要がある
既製ツールはあまり多くないため、AIパイプラインに適したカスタム・ソリューションの開発が必要になる可能性が高い
常にコントロールが適用される必要がある (モデル／アプリケーションの開発、テストとデプロイ、継続中のオペレーションなど)
リスク要因その5：AIへの敵対的な攻撃を検知して阻止するには、新たな手法が必要である
AI (自社開発とサードパーティ・モデルへの組み込み型の両方) に対する悪意ある攻撃は、財務的にも、風評的にも、あるいは知的財産／個人情報／独自データなどとの関連においても、さまざまな種類の組織的損害や損失につながる
AIワークフローの堅牢性のテスト／検証／改善のために専用のコントロールとプラクティスを追加し、別のタイプのアプリに使用されるものとは区別する
リスク要因その6： コンプライアンスの統制について、間もなく規則で定義されるようになる
- EU AI Act (EUのAI規制法案) のほか、北米／中国／インドにおける規制の枠組みでは、既にAIアプリケーションのリスク・マネジメントのための規則が確立されつつある
プライバシー保護に関する規則などへの対応で以前から必要とされているもの以外についても、コンプライアンス対策をする
アナリストによる本リサーチについてのコメント
Avivah Litan,
Gartner Distinguished VP Analyst
「首尾一貫したAIリスク・マネジメントを行っていない組織は、プロジェクトの失敗や侵害といった弊害を被る傾向が格段に高まります。AIの結果が不正確／非倫理的または意図しない場合や、プロセス・エラー、攻撃者からの妨害が生じる場合は、セキュリティ障害、財務的／風評的な損失や法的責任のほか、社会的損害を招く恐れがあります。また、AIの誤作動は、ビジネス上の意思決定が最適にならない事態を招く可能性もあります」
重要な3つのポイント
1
AI TRiSMは、AIモデルの確実性、信頼性、セキュリティ、プライバシーを確保するために必要である
2
AI TRiSMは、AIの導入、ビジネス目標の達成、ユーザー受け入れに関連する成果を向上させる
3
より効果的にAIデリバリの保護を構築し、AIガバナンスを確立するためのソリューション・セットとして、AI TRiSMを検討する
記事をシェアする
Avivah Litan
ディスティングイッシュト バイス プレジデント アナリスト
現在はITL AIチームのメンバーとしてAIとブロックチェーンを担当しています。ガートナーのリード・アナリストとして、AIの信頼性／リスク／セキュリティ分野の取り組みを開始し、現在も継続中です。この分野は、ChatGPTが公開されて以来、堅調な需要が続いています。
また、サイバーセキュリティ分野においては、生成AIを含むAI利用への対応も支援しています。パブリック・ブロックチェーンからプライベート・ブロックチェーン、ユースケース、セキュリティ、先進テクノロジに至るまで、ブロックチェーン・イノベーションのあらゆる側面を専門としています。サイバーセキュリティ／不正行為の分野に関して、AIの統合を含む広範な経験を有していることが、ブロックチェーン・アプリケーションに加え、AIモデル／アプリケーション／データの安全性を確保するという現在の担当業務で役立っています。
こうした経歴は、偽のコンテンツや商品を検知するといった特定のユースケースに対処するためのブロックチェーン、IoT、AIなど、高度なテクノロジの統合を取り上げている自身のリサーチも支えています。
ガートナー入社前は、世界銀行で財務システム担当ディレクターを務めていました。The Washington Timesでジャーナリスト／コラムニストとして勤務した経験もあります。M.I.T.で理学修士号を取得し、Harvard Business Schoolのゼネラル・マネージャー・コースを卒業しています。
ガートナーのリサーチサービスに関するお問い合わせについては、下記のフォームにご記入ください。
Gartner Articles
