CaliperでエージェントスキルとMCP変更をA/Bテスト

このSkillでできること

✓スキルの有無でエージェントタスクを比較する
✓MCPサーバーの有無による結果を比較する
✓ルール変更の影響を評価する
✓信頼性とトークンコストを測定する

使い方

STEP 1

Python 3.10以降、Caliper CLI、対象エージェントランタイムを用意する

STEP 2

評価対象のスキルまたはMCPサーバーを準備する

STEP 3

評価設定ファイルを作成してタスクを実行する

STEP 4

通常条件と除外条件の結果を比較する

Skillのインストール

AIにこのSkillを追加してもらう

GitHub URLごとCodexやClaude Codeへ渡し、現在の環境に合う方法を判断してもらいます。

このGitHubリポジトリにあるSkillを確認し、現在の環境に適した方法でインストールしてください。
インストール後、正常に利用できることを確認し、基本的な使い方も簡潔に説明してください。

Repository:
https://github.com/agentskillexchange/skills

手動でインストールする

README / SKILL.mdから機械抽出できたコマンドのみ表示しています。推測したコマンドではありません。

clawhub install <slug>
git clone https://github.com/agentskillexchange/skills.git
cp -R skills/skills/<slug> ~/.agent-skills/<slug>

このSkillを使うプロンプト例

Skill名を明示すると、意図したSkillを使わせやすくなります。自動発動型では必須とは限りません。

Caliperを使って、このエージェントタスクをスキル有り・無しで実行し、信頼性とトークンコストを比較してください。

出力例を見る

条件別の実行結果を比較し、信頼性とトークンコストの差を整理します。

安全性チェック

自動解析による参考情報です。Skillの安全性を保証するものではありません。

外部API通信検出あり

Shellコマンド実行明確な記述なし

ファイル読み取り明確な記述なし

ファイル書き込み明確な記述なし

ネットワークアクセス検出あり

認証情報明確な記述なし

検出根拠を見る

network: _stars: 175 verification: "security_reviewed" source: "https://github.com/edonadei/caliper" author: "edonadei" publisher_type: "individual" category: "Se
network: and compare results with `caliper compare`. - Source: https://github.com/edonadei/caliper ## Documentation - https://github.com/edonadei/caliper ## S

A/B test agent skills and MCP changes with Caliper

このSkillでできること

使い方

Skillのインストール

AIにこのSkillを追加してもらう

このSkillを使うプロンプト例

安全性チェック

関連Skill

asd-ste100

mintlify

human-ai