AI 驱动的软件测试实战指南：2026 年工具与实践

# 使用 Claude API 自动生成测试用例
from anthropic import Anthropic

client = Anthropic()

def generate_test_cases(user_story: str, acceptance_criteria: list[str]) -> list[dict]:
    """从用户故事和验收标准自动生成测试用例"""
    
    prompt = f"""
    你是一个资深 QA 工程师。根据以下用户故事和验收标准，生成详细的测试用例。

    用户故事: {user_story}

    验收标准:
    {chr(10).join(f"- {criteria}" for criteria in acceptance_criteria)}

    为每个验收标准生成:
    1. 测试用例名称
    2. 测试步骤
    3. 预期结果
    4. 测试数据建议
    5. 边界条件

    输出 JSON 格式:
    """

    response = client.messages.create(
        model="claude-sonnet-4-20250514",
        max_tokens=2000,
        messages=[{"role": "user", "content": prompt}]
    )

    import json
    return json.loads(response.content[0].text)

# QA Wolf 的核心概念：AI Agent 自动生成和维护测试
# 伪代码展示工作原理

class QAWolfAgent:
    def __init__(self):
        self.mapping_agent = WorkflowMappingAgent()
        self.code_agent = CodeGenerationAgent()
        self.maintenance_agent = MaintenanceAgent()

    async def generate_tests(self, url: str) -> list[TestCase]:
        # 1. 映射 Agent: 分析页面结构和用户流程
        workflow_map = await self.mapping_agent.analyze(url)
        
        # 2. 代码 Agent: 生成可执行的 Playwright/Appium 代码
        test_cases = await self.code_agent.generate(workflow_map)
        
        # 3. 维护 Agent: 诊断失败并自动修复
        await self.maintenance_agent.setup_monitoring(test_cases)
        
        return test_cases

    async def fix_broken_tests(self, test: TestCase, error: str) -> TestCase:
        # 当测试失败时，自动诊断并修复
        root_cause = await self.maintenance_agent.diagnose(error)
        fixed_test = await self.maintenance_agent.fix(test, root_cause)
        return fixed_test

# 智能测试选择示例
def select_tests_to_run(git_diff: str, all_tests: list[str]) -> list[str]:
    """
    根据代码变更智能选择需要运行的测试
    只运行受影响的测试，而非整个测试套件
    """
    import subprocess
    
    # 使用 AI 分析变更影响范围
    response = client.messages.create(
        model="claude-sonnet-4-20250514",
        messages=[{
            "role": "user", 
            "content": f"""分析以下代码变更，找出受影响的测试用例。
            
            变更内容:
            {git_diff}
            
            可用测试: {all_tests}
            
            返回需要运行的测试用例列表及原因。"""
        }]
    )
    
    # 解析并返回需要运行的测试
    affected_tests = parse_affected_tests(response)
    return affected_tests

# 使用 Playwright + AI 辅助的简单示例
from playwright.sync_api import sync_playwright
from anthropic import Anthropic

def ai_assisted_screenshot_test(url: str, baseline_dir: str):
    """AI 辅助的截图对比测试"""
    
    with sync_playwright() as p:
        browser = p.chromium.launch()
        page = browser.new_page()
        page.goto(url)
        
        # 截图
        current_screenshot = page.screenshot()
        
        # 使用 AI 分析截图差异
        client = Anthropic()
        response = client.messages.create(
            model="claude-sonnet-4-20250514",
            messages=[{
                "role": "user",
                "content": f"""比较这两张截图，识别视觉差异。
                
                如果有显著差异，返回具体问题描述。
                如果差异可忽略，返回 'PASS'。
                """
            }]
        )
        
        return response.content[0].text

# 评估清单
EVALUATION_CRITERIA = {
    "技术匹配": [
        "是否支持你的技术栈 (Web/Mobile/API)",
        "CI/CD 集成能力",
        "测试框架兼容性 (Playwright/Cypress/Selenium)"
    ],
    "团队匹配": [
        "学习曲线",
        "非技术人员的可操作性",
        "团队现有技能"
    ],
    "业务匹配": [
        "测试覆盖率提升",
        "维护成本降低",
        "执行时间缩短"
    ],
    "供应商": [
        "AI 能力投入路线图",
        "支持响应速度",
        "安全合规"
    ]
}

# 试点项目评估指标
PILOT_METRICS = {
    "效率指标": [
        "测试用例编写时间减少 %",
        "测试执行时间减少 %",
        "测试维护工时减少 %"
    ],
    "质量指标": [
        "Bug 逃逸率",
        "测试覆盖率",
        "回归测试通过率"
    ],
    "业务指标": [
        "发布周期缩短",
        "线上缺陷数量",
        "团队满意度"
    ]
}

# 典型 CI/CD 集成配置示例
# .github/workflows/ai-test.yml
name: AI-Enhanced Tests

on: [push, pull_request]

jobs:
  test:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      
      - name: Run AI Test Selection
        run: |
          # 智能选择需要运行的测试
          python -m ai_test_selector --diff=${{ github.diff }}
      
      - name: Run Selected Tests
        run: |
          # 只运行 AI 选中的测试
          pytest tests/selected/ --tb=short
      
      - name: AI Visual Regression
        run: |
          # AI 视觉回归分析
          python -m applitools run --applitools-key=${{ secrets.APPLITOOLS_KEY }}