安装
安装软件包后,CLI 可作为forge-sim (或 agentforge)使用:
命令
forge-sim init [path]
搭建一个包含示例场景和配置的模拟文件夹。
forge-sim run <scenario>
执行场景文件并生成工件。
模式指导:
deterministic— 没有现场 LLM 电话;最适合基线和 CIexploration— 支持 LLM 的红队发现;生产replay_bundle.jsonreplay— 先前探索轨迹的确定性重新运行
forge-sim studio
启动 Studio 仪表板进行多次运行分析。
forge-sim report <runDir>
从运行工件生成 Markdown 报告。
forge-sim dashboard <runDir>
从运行工件构建静态 HTML 仪表板。
forge-sim serve <runDir>
通过 HTTP 提供运行仪表板。
forge-sim compare <runA> <runB>
比较两次运行 - 比较指标、操作和工件哈希。
forge-sim sweep <scenario>
多种子统计分析。在一系列种子中运行相同的场景并聚合结果。
forge-sim matrix <scenario>
多变量矩阵比较。运行多个参数组合并生成比较矩阵。
forge-sim extract-agent <bundle>
从重播包生成确定性代理。对于将 LLM 探索痕迹转换为可重现的测试代理很有用。
forge-sim doctor
检查所有依赖项(Node.js、Foundry、Anvil)是否可用且配置正确。
forge-sim types
从 Foundry 工件生成 TypeScript 类型。
持续集成集成
AgentForge 专为 CI 管道而设计。退出代码:
GitHub Actions 工作流程示例: