agentic-eval（Agentic Eval）｜AIスキル大辞典

このSkillでできること

✓タスクに合わせたLLM構成の評価計画を作成する
✓一時的な設定ファイルのバリエーションを生成する
✓各構成を実行して処理時間を測定する
✓出力を採点し、コスト・品質・レイテンシを比較する

使い方

STEP 1

対象タスク、エージェントまたはモデル、テストデータを確認する

STEP 2

評価基準を定義し、モデルなどを変えた設定ファイルを用意する

STEP 3

各設定をagenticの-runフラグで実行し、実行時間を測定する

STEP 4

出力を1〜10点で評価し、比較表としてトレードオフを報告する

Skillのインストール

AIにこのSkillを追加してもらう

GitHub URLごとCodexやClaude Codeへ渡し、現在の環境に合う方法を判断してもらいます。

このGitHubリポジトリにあるSkillを確認し、現在の環境に適した方法でインストールしてください。
インストール後、正常に利用できることを確認し、基本的な使い方も簡潔に説明してください。

Repository:
https://github.com/innomon/agentic

手動でインストールする

README / SKILL.mdから機械抽出できたコマンドのみ表示しています。推測したコマンドではありません。

SESSION=$(curl -s -X POST "http://localhost:8080/api/apps/Agentic/users/user/sessions" \
-H "Content-Type: application/json" -d '{}' | grep -o '"id":"[^"]*"' | cut -d'"' -f4)
curl -N -X POST "http://localhost:8080/api/run_sse" \
-H "Content-Type: application/json" \
-d '{
"appName": "Agentic",
"userId": "user",
"sessionId": "'"$SESSION"'",
"streaming": true,
"newMessage": {
"role": "user",
"parts": [
{"text": "Analyze this document"},
{"inlineData": {"mimeType": "application/pdf", "data": "'"$(base64 -w0 file.pdf)"'"}}
]
}
}'

このSkillを使うプロンプト例

Skill名を明示すると、意図したSkillを使わせやすくなります。自動発動型では必須とは限りません。

/eval:agentic Compare Flash and Pro for code review.

出力例を見る

| 構成 | レイテンシ | 品質 | コスト |
|---|---:|---:|---:|
| Flash | 実測値 | 判定値 | 推定値 |
| Pro | 実測値 | 判定値 | 推定値 |

安全性チェック

自動解析による参考情報です。Skillの安全性を保証するものではありません。

外部API通信検出あり

Shellコマンド実行明確な記述なし

ファイル読み取り明確な記述なし

ファイル書き込み明確な記述なし

ネットワークアクセス検出あり

認証情報検出あり

検出根拠を見る

network: provider: ollama model_id: llama3.2 base_url: http://localhost:11434/v1 vertex-model: provider: gemini model_id: gemini-2.0-flash
network: mcp_toolsets: - endpoint: "${MCP_SERVER_URL:-http://localhost:8082}/mcp" instruction: | You are an assistant with access to external
credential: flag. [large code block omitted]bash export GOOGLE_API_KEY="your-api-key" [large code block omitted] The gateway listens on `/ws` by default. Us
credential: code block omitted]bash export GOOGLE_API_KEY="your-api-key" [large code block omitted] The gateway listens on `/ws` by default. Use `-ws-path` t

agentic-eval

このSkillでできること

使い方

Skillのインストール

AIにこのSkillを追加してもらう

このSkillを使うプロンプト例

安全性チェック

関連Skill

loom-architect

dsh-web-agent-coding

agent-architecture