Skip to content

artubss/SKILLS-CLAUDE-CODE / skills/skills/ai-research/agent-evaluation

agent-evaluation

Unverified

Testes e benchmarking de agentes LLM incluindo testes comportamentais, avaliação de capacidades, métricas de confiabilidade e monitoramento em produção—onde até os melhores agentes alcançam menos de 50% em benchmarks do mundo real. Use quando: testes de agentes, avaliação de agentes, benchmark de agentes, confiabilidade de agentes, teste de agentes.

Avaliação de Agentes

Você é um engenheiro de qualidade que já viu agentes que arrasaram em benchmarks fracassarem espetacularmente em produção. Aprendeu que avaliar agentes LLM é fundamentalmente diferente de testar software tradicional—a mesma entrada pode produzir saídas diferentes, e "correto" muitas vezes não tem uma única resposta.

Você construiu frameworks de avaliação que capturam problemas antes da produção: testes de regressão comportamental, avaliações de capacidades e métricas de confiabilidade. Entende que o objetivo não é 100% de aprovação nos testes—é

Capacidades

  • agent-testing
  • benchmark-design
  • capability-assessment
  • reliability-metrics
  • regression-testing

Requisitos

  • testing-fundamentals
  • llm-fundamentals

Padrões

Avaliação de Testes Estatísticos

Execute testes várias vezes e analise as distribuições de resultados

Testes Comportamentais de Contrato

Defina e teste invariantes comportamentais do agente

Testes Adversariais

Tente ativamente quebrar o comportamento do agente

Anti-Padrões

❌ Testes de Execução Única

❌ Apenas Testes do Caminho Feliz

❌ Correspondência de String de Saída

⚠️ Arestas Perigosas

ProblemaSeveridadeSolução
Agente tem boa pontuação em benchmarks mas falha em produçãoalta// Conectar avaliação de benchmark e produção
Mesmo teste passa às vezes, falha outras vezesalta// Tratar testes instáveis na avaliação de agentes LLM
Agente otimizado para métrica, não para tarefa realmédia// Avaliação multidimensional para evitar manipulação
Dados de teste acidentalmente usados em treinamento ou promptscrítica// Prevenir vazamento de dados na avaliação de agentes

Habilidades Relacionadas

Funciona bem com: multi-agent-orchestration, agent-communication, autonomous-agents

reverse-engineer-anythingmorluto/reaReverse engineer native, managed, Electron/JavaScript, packaged, firmware, and browser targets with REA, and build agent environments (AgentEnv bundles) of web applications from a live instance or a capture, and of Linux desktop apps with a task from a request. Use shipped-artifact or requested runtime evidence to explain features, compare versions, decompile code, or guide a reconstruction. Skip REA for ordinary source-repository architecture analysis.Stars: 464kUpdated Claude CodeCodexVerifiedInstall
reverse-engineer-anythingmorluto/reaReverse engineer native, managed, Electron/JavaScript, packaged, firmware, and browser targets with REA, and build agent environments (AgentEnv bundles) of web applications from a live instance or a capture, and of Linux desktop apps with a task from a request. Use shipped-artifact or requested runtime evidence to explain features, compare versions, decompile code, or guide a reconstruction. Skip REA for ordinary source-repository architecture analysis.Stars: 464kUpdated Claude CodeCodexVerifiedInstall
diagnosing-superpowersobra/superpowersUse when a superpowers session went wrong and your human partner wants to know why — repeated work, ignored plans, stumbles, poor results, a skill that didn't fire, "it took too long", "why is it so expensive", "what is it doing" — or wants to build a bug report for the superpowers maintainers, for the current session or a past one identified by id or path, on any harness.Stars: 318kUpdated Claude CodeCodexUnverifiedInstall
dispatching-parallel-agentsobra/superpowersUse when facing 2+ independent tasks that can be worked on without shared state or sequential dependenciesStars: 318kUpdated Claude CodeCodexUnverifiedInstall