ウィリアムのいたずらの、まちあるき、たべあるきーPART2

gooブログ「ウィリアムのいたずらの、まちあるき、たべあるき」がお引越ししてきました

生成AIを使ったサイバー攻撃、「プロンプトインジェクション」は、確かにヤバいかも!

↓の動画、
【慶應大の授業】学生「騙されたと」見えない文字をファイルに仕込みAI誘導?悪用で情報流出の懸念も…対策は?|アベヒル
はじめの話は、学生に対して、
見えない文字で、おかしな回答をするように指示を出した問題文を
学生に宿題に出したら、
その宿題を生成AIでやった学生がいて、
見事にその学生はおかしな回答を提出してしまい、成績無効になった
というお話。これはまあ、教育上の話だから、問題はないんだけど
問題は、後半の、これがビジネスに使われた場合



↑の動画でははっきり言ってないけど、
こんな例が考えられる。

1.生成AIを使って、効果的なLPを作成するテンプレート、
  無料でダウンロードできます。と宣伝してて

2.そこからダウンロードすると、PDFでサンプルが載っていて
  このページを丸ごとコピーして、プロンプトとして生成AIに
  いれてね!と書いてあるんだけど、実は見えない文字で、
  どっかにデータを送るようなJavascriptも生成するように
  書かれていて

3.それを(見えない文字で書かれているので)知らずに全文を
  コピー、生成AIにプロンプトとして入れると

4.どっかにデータを送るJavascriptが入ったLPが作成される
  でも、そんなJavascript,普通の人は読まないので、そのまま
  LPとして、アップロードして公開すると・・・

5.どっかにデータを送るJavascriptが起動してしまう

という攻撃。

動画で、こういう攻撃を「プロンプトインジェクション」と
言っているけど、これは確かにヤバい。



これで甚大な被害を受けるくらいなら、
単位落とすくらい、どってことないよね、
え、そんなことない(^^;)