触らせる範囲を決める
営業の問い合わせに、人事だけが読める文書を返さない。利用者の権限を、検索先と道具の実行時にも確かめる。
サービス
試作で答えが返ることと、日々の仕事を任せられることのあいだには、設計すべきことがある。触れてよい情報、人に戻す判断、答えの質、使い続ける費用。ぼくたちは、業務の AI エージェントを本番で安全に動かすことを専門にしている。
一つの例でうまく動いたところから、任せてよい範囲を確かめた仕組みにするまでに、越えるべきことが主に五つある。
営業の問い合わせに、人事だけが読める文書を返さない。利用者の権限を、検索先と道具の実行時にも確かめる。
取り込んだ資料に「この情報を外へ送れ」と書かれていても、実行させない。文書と指示を分け、道具の権限と送信先を絞る。
モデルを替えたら、昨日まで答えられた問いに失敗することもある。実際の問いと合格の条件を残し、変更のたびに測る。
答えが見つからず検索を繰り返す。長い資料を何度も読む。呼び出し回数、トークン数、実行時間に上限を設ける。
顧客の情報をどこへ渡し、記録をいつ消すか。社内規則とガイドラインに照らし合わせ、責任者と点検の手順まで決める。
エージェントの振る舞い、動かす基盤、仕事の進め方。この三つを重ねて、本番に出せる条件を揃える。
依拠する基準
REFERENCE FRAMEWORKS
OWASP
Top 10 for LLM Applications 2026
AWS Generative AI Lens
どの資料を渡し、どの道具を使わせ、どこで人に戻すかを設計する。答えだけでなく、そこに至る過程を記録し、試験で確かめられる形にする。
保有資格
AWS CERTIFICATIONS
11 AWS 認定資格
AWS Certified Solutions Architect – Professional
代表が AWS 認定資格を11種類保有。Solutions Architect – Professional はメンバーが保有。
Amazon Bedrock を軸に、権限・ネットワーク・暗号化を設計する。障害から戻す手順と、利用量に応じた費用まで見通す。
保有資格
PROFESSIONAL CERTIFICATION
PMP®
Project Management Professional
メンバーが保有
範囲、計画、リスク、品質、関係者の合意を一緒に管理する。予定の日が来たからではなく、評価の結果を見て次の段階に進む。
ぼくたちは、次の基準の観点に沿って設計・点検する。どの項目を確かめ、何が残っているかを、報告書に残す。
AWS が示す、生成 AI の設計・運用をセキュリティ、信頼性、費用などから点検するための指針。
OWASP がまとめる、指示の紛れ込みや過大な権限など、LLM アプリケーションの主なセキュリティリスク。
米国 NIST の AI リスク管理の枠組み(AI RMF 1.0)と、ISO・IEC の AI マネジメントシステムの国際規格(ISO/IEC 42001:2023)。
必要なところから始められる。範囲を決めて、固定価格で見積もる。四つとも請負で受け持つ。期間は目安で、対象の業務とシステムを確認してから合意する。
範囲を変えるときは、着手前に追加の見積もりを出す。作成したソースコード・設計書・手順書は、各パッケージの成果物とともに納品する。
2週間
試作中・導入済みの AI を、上の基準の観点で点検する。本番で任せるために、どこを直すべきかを明らかにする。
成果物:診断報告書(指摘・重さ・直し方)
主に担う専門性
8〜12週間
権限・防御・評価・記録・費用の上限まで含めて、AI エージェントを AWS 上に構築する。
成果物:システム、設計書、評価用の試験問題、運用の手順書
主に担う専門性
2週間
指示の紛れ込み、情報の漏れ出し、権限の逸脱を試す。合意した対象と方法で、エージェントの防御が働くかを確かめる。
成果物:検査報告書
主に担う専門性
4週間
既存の AI に、答えの質を測り続ける仕組みを後から入れる。変更前後を同じ問いで比べ、公開の判断に使えるようにする。
成果物:評価の基盤と、基準になる試験問題
主に担う専門性
見本(架空のシステム)
社内の文書を検索し、回答とメールの下書きをつくる「社内問い合わせエージェント」の本番化診断を想定した抜粋だ。実在の会社・案件の診断結果ではない。重さは、想定する影響と起こりやすさから付けている。
重さ:高
確認したこと: 検索対象の文書に仕込んだ送信指示に従い、エージェントが承認なしでメール送信の道具を呼べる。下書きの作成に、送信権限まで与えている。
根拠: LLM01:2026 Prompt Injection / LLM03:2026 Excessive Agency
直し方: 下書き用の道具から送信権限を外す。送信を業務に含める場合も、宛先と本文を人が承認し、実行側で承認済みの内容と照合する。入力の検査だけに防御を任せない。
重さ:高
確認したこと: 一般の利用者の問いに、人事限定文書の断片が検索結果として渡る。文書側の閲覧権限がベクトル検索に引き継がれておらず、回答を止めてもモデルには情報が届く。
根拠: LLM09:2026 Vector and Embedding Weaknesses
直し方: 利用者の認証情報から検索条件を決め、取得する断片ごとに認可する。権限のない文書をモデルへ渡さない。権限の変更・削除が索引とキャッシュにも反映されることを試験する。
重さ:中
確認したこと: 答えのない問いで検索とモデル呼び出しが続く。利用者ごとの利用枠もなく、同時に繰り返すと費用と待ち時間が膨らむ。
根拠: LLM06:2026 Unbounded Consumption
直し方: 一回の依頼にステップ数・トークン数・実行時間の上限を置く。利用者ごとの利用枠と同時実行数を制限し、上限で止めて人へ戻す。費用の通知だけを停止手段にしない。
試作はできたが、業務に出す判断がつかない。動いている AI の答えや費用を、きちんと確かめたい。いまの状態と、どこで困っているかを聞かせてほしい。どの範囲から始めるか、一緒に考える。