COLUMN

AIの誤操作を防ぐには|触らせない情報をルールと設定で守る

INSIGHTS & TIPS

結論から言うと、AIに「ここは触らないで」と伝えるだけでは、誤操作は防ぎきれません。守りたいものを決め、ルールに書き、送信・公開・削除のように取り返しのつかない操作は、設定で機械的に止める。この二段構えにしておくと、AIに任せられる範囲はむしろ広がります。

AIに入力してよい情報の判断はAIに売上や顧客情報を入れていい?情報の種類別の判断表でまとめました。この記事はその逆向きで、AIが「書き換える・送る・消す」操作をどう止めるかの話です。当社がClaude Codeを業務で使う中で実際に足した仕組みも紹介します。

なぜ「AIに言っておく」だけでは足りないのか

最近のAIは、文章を返すだけでなく、ファイルを書き換えたり、メールを送ったり、ホームページを更新したりと、操作まで行います。こうしたAIを「AIエージェント」と呼びます。便利な反面、指示の読み違いがそのまま操作になるのが怖いところです。

Claude Codeの公式ドキュメントは、この点をはっきり書いています。権限のルールはAI(モデル)ではなくClaude Code側が強制するもので、指示文やCLAUDE.mdは「AIが何をしようとするか」に影響するだけで、「何が許されるか」は変えない、という説明です。つまり、ルール文書は守ろうとする目標で、確実に止めるのは設定の役目です。

当社でも同じことに気づかされました。当社は取引先のWeb運用や社内の事務を、Claude Codeを入口にした業務フォルダで回しています。変えさせたくないページはルール文書に書いていましたが、あるとき点検すると、守りは「AIがルールを読むこと」頼みで、送信そのものを止める仕組みはありませんでした。

手順1:触らせないものを決める

最初にやるのは、守る対象の洗い出しです。製造業の事務所なら、たとえば次のようなものが当てはまります。

守る対象の例触られると困る理由止め方の目安
客先の承認前の図面・仕様書承認前の版が外に出ると、取引先との信頼に関わる読むのは可、送信は禁止
取引先ごとの単価表旧単価で上書きされると、見積を誤る書き換えは毎回確認
担当者が自分の言葉で書いた文章(あいさつ文・ブログなど)本人の言葉が勝手に直されると、書いた人の信頼を損なう変更も提案もしない
ホームページの公開・削除公開した瞬間に、お客様の目に触れる人が確認してから実行
パスワード・鍵のファイル読まれるだけで漏えいの入口になる読み取りも禁止

ポイントは「ファイル単位」ではなく「操作単位」で考えることです。同じ図面でも、読んで要約するのは問題なく、外に送るのが困る、ということがよくあります。

手順2:ルール文書に書く

次に、決めた対象をAIが毎回読むルール文書に書きます。Claude Codeなら、作業フォルダの入口に置くCLAUDE.mdです。書き方の基本は製造業の社内ルールをAIに覚えさせる|CLAUDE.mdの書き方で解説しているので、ここでは守りのルールに絞ってコツを3つ挙げます。

  1. 対象を具体的に書く:「大事なファイル」ではなく、フォルダ名・ファイル名・ページのURLで書く
  2. 解除の条件を書く:「全体を改善して」のような大まかな指示では解除されず、対象を名指しした指示があるときだけ解除する、と明記する
  3. 危ない案は出させない:当社の共通ルールには「自分でリスクがあると判断した案は、選択肢として並べない」と書いています。AIは頼まれると選択肢を並べがちで、危ない案が混ざったことがあったためです

3つ目は見落とされがちです。人は「A案・B案・C案」と並ぶと、どれも同じくらい安全に見えてしまいます。リスクがあること自体は報告させ、実施を勧める案には入れない、と分けておくと安心です。

手順3:取り返しのつかない操作は、機械で止める

ルール文書だけでは確実ではないので、ここからが本題です。Claude Codeには、操作を機械的に止める仕組みが公式に用意されています。

仕組み何ができるか向いている場面
権限のルール(許可・確認・禁止)操作の種類ごとに「確認なしで許可」「毎回確認」「禁止」を設定する。禁止→確認→許可の順に判定され、禁止に当たれば、より細かい許可があっても止まるコマンドや読み取りの禁止など、決まった操作の制限
フック(PreToolUse)AIが操作を実行する直前に、自社で用意した確認の処理を必ず動かす。確認の処理が「止める」と返せば、その操作は実行されない「このファイルだけは編集させない」など、条件つきの制限
送信する道具の側での確認メール送信やホームページ更新の処理そのものに、送る前の照合を組み込むAI以外の経路からも同じ道具を使う場合

当社では、3つすべてを使っています。たとえば権限のルールでは、フォルダの一括削除、変更履歴を強制的に上書きする送信、作業の取り消し、パスワードや鍵のファイルの読み取りを「禁止」にしています。ホームページへの反映は人の指示があるときだけ、外へのメールは送る前に人が確認する決まりです。

先ほどの「送信を止める仕組みが無かった」件には、3つ目の方法で対応しました。ホームページを更新する処理の中に、送信の直前に「触らせないページの登録簿」と照合する確認を入れ、登録されたページなら送らずに止めます。運用を始める前に、止まるべき6つのパターンがすべて止まり、通るべき7つ以上のパターンが通ることを確かめました。

作るときに決めたことは2つあります。1つは、判定に必要な情報が取れないときは「止める」側に倒すこと。もう1つは、限界を正直に書いておくことです。この仕組みは管理画面やファイル転送(FTP)から直接操作した場合には働きません。だからルール文書が正本で、機械は補助、という位置づけにしています。

「毎回の許可が面倒」への答え:線引きを3段階にする

Claude Codeを使い込んでいる方からは、確認の画面で毎回許可を押すのは手間だが、すべて許可すると止めどころがなくなって不安だ、という相談をよく受けます。当社の答えは、操作を3段階に分けることです。

段階操作の例考え方
任せる(確認なし)ファイルを読む、手元で下書きを作る、手元のファイルを編集するあとから取り消せる操作
毎回確認するメールの送信、ホームページの公開・更新、取引先への連絡外に出たら取り消せない操作
禁止する一括削除、履歴の強制上書き、鍵やパスワードのファイルの読み取り人が確認しても誤りやすい・被害が大きい操作

「全部許可」にあたるモード(bypassPermissions)は、公式ドキュメントで「コンテナや仮想マシンのように、Claude Codeが被害を出せない隔離された環境でだけ使う」よう警告されています。普段の仕事のパソコンで使うものではありません。取り消せる操作をまとめて許可し、取り消せない操作だけ確認を残すほうが、手間と安全のバランスが取れます。

手順4:例外の出し方を決めておく

守りを固めると、「今回だけはこのページを直したい」という場面が必ず出てきます。そのときの解除の手順を先に決めておかないと、急ぎの日に仕組みごと外してしまいがちです。当社は次の3点にしています。

  • 解除は1件ずつ指定する。「このフォルダ全部」のような範囲指定は使わない
  • 人が「どれを・どう変えるか」をはっきり指示したときだけ解除する
  • 守る対象を増やしたり減らしたりするときは、ルール文書と登録簿を同時に直す

よくある質問

Q. ChatGPTのように画面で会話するだけなら、この対策は要りませんか?

会話だけで、AIがファイルの操作や送信をしない使い方なら、手順3の設定はほぼ不要です。気をつけるのは入力する情報の側で、図面をAIに入れたら学習される?製造業の情報漏洩対策が参考になります。AIにメールやファイルの操作をつなぎ始めたら、この記事の手順を思い出してください。

Q. 設定は社内の誰が担当すればよいですか?

手順1の「何を守るか」は、業務を知っている社長や事務・営業の責任者が決めます。手順3の設定は、決まった内容をもとにAI自身に設定ファイルを書かせることもできますが、最後に人が中身を確認してください。禁止の設定を緩める変更だけは、必ず人が判断します。

Q. 機械で止めれば、ルール文書は要らなくなりますか?

要ります。機械で止められるのは、決まった経路の決まった操作だけです。「なぜ止めているのか」「どう解除するのか」はルール文書にしか書けません。AIが止まった理由を理解して別の進め方を選べるのも、ルール文書があるからです。

まとめ:決める・書く・止める・解除の手順を決める

AIの誤操作を防ぐには、守る対象を操作単位で決め、ルール文書に書き、取り返しのつかない送信・公開・削除は設定で機械的に止めます。取り消せる操作は任せ、取り消せない操作だけ確認を残せば、毎回の許可の手間も減らせます。最後に、例外の出し方を1件ずつと決めておくと、急ぎの日にも仕組みを外さずに済みます。

当社では、製造業のお客様向けに、AI利用ルールの作成から、権限の設定、業務への組み込み、社内への定着までをAI活用支援として行っています。「どこまでAIに任せてよいか分からない」という段階のご相談も歓迎です。お問い合わせはこちらから。

部署・取引先・記録のルールまで含めた業務フォルダのテンプレ一式は、noteで公開しています(有料)。Claude Codeの記事はClaude Code 活用ガイドにまとめています。

参考文献

関連コラム

FAQ

よくある質問

A

はい、ご安心ください。基礎から丁寧にご説明し、実際にAIツールを触りながら学べるハンズオン形式で進めます。ITリテラシーに関わらず、どなたでもご参加いただけます。

A

ChatGPT、Claude、Geminiなどの主要な生成AIツールに加え、画像生成AI(nanobanana等)や動画生成AI(veo3等)も扱います。御社の業務に最適なツールをご提案します。

A

はい。製造業AI定着プログラムには、終了後6ヶ月間のチャットフォローが付いています。また、AIアドオン・伴走支援では、実務での活用に課題が出た際のご相談や、新しいAIツールの情報提供も継続的に行います。

A

研修ではビジネス向けプラン(データが学習に使用されない設定)のツールを使用します。また、機密情報の取り扱いルール策定もセミナー内でお伝えしますので、安心してご利用いただけます。

A

Webセミナー(オンライン開催)の場合、交通費はかかりません。会場開催・訪問実施の場合は、交通費を実費で別途申し受けます。遠方の企業さまもまずはご相談ください。