Cómo evaluar un agente de IA antes de ponerlo a trabajar
Una prueba piloto útil comprueba resultados, errores, permisos y tiempo de revisión. Así puedes decidir qué tareas delegar y cuáles mantener supervisadas.
CADT · Publicado
Escribe qué significa terminar bien
Una demostración fluida no basta para aceptar un agente. Antes del piloto, describe la tarea, la información disponible y el resultado que debe quedar en el sistema. Para clasificar una consulta comercial, por ejemplo, el criterio podría ser crear una propuesta con empresa, motivo y responsable, dejando sin completar lo que no se sabe. Añade las acciones que requieren aprobación y las situaciones que deben pasar a una persona.
Prepara casos normales y excepciones
Empieza con una muestra pequeña y representativa, revisada por alguien que conozca el proceso. Incluye consultas completas, datos ausentes, referencias contradictorias y registros ya existentes. Cada caso necesita un resultado esperado y una explicación. Reserva ejemplos que no hayas utilizado para ajustar las instrucciones: si solo repites los casos de entrenamiento, puedes estar midiendo memoria del ensayo y no capacidad para trabajar con entradas nuevas.
Comprueba el sistema, además de la respuesta
La guía de evaluación de Anthropic distingue la conversación registrada del estado final del entorno. Es una diferencia práctica: que el agente diga que creó una tarea no demuestra que exista. En el piloto, consulta el registro creado y verifica campos, responsable y relación con la solicitud. Si no debía actuar sin permiso, confirma también que no hubo ninguna escritura. Conserva evidencias suficientes para reproducir el fallo.
Mide el trabajo completo
Registra aciertos, correcciones, derivaciones, duración y tiempo humano de revisión. Como ejemplo ficticio, de 40 consultas, 28 quedan bien preparadas, ocho necesitan corrección y cuatro se derivan según la regla acordada. Eso no equivale automáticamente a un 70 % de éxito: las derivaciones pueden ser correctas. Define antes cómo se puntúan y separa siempre los fallos críticos, como modificar el cliente equivocado, de las mejoras de redacción.
Repite las pruebas cuando cambie algo
Ejecuta varias veces los casos sensibles y compara resultados. Guarda la versión de instrucciones, modelo, herramientas y datos de prueba para entender las diferencias. Después de un cambio, repite tanto los casos nuevos como los que ya funcionaban. Un resultado medio mejor no compensa una nueva acción no autorizada. El umbral de aceptación debe reflejar el impacto de los errores y el control humano previsto para esa tarea.
Empieza con un alcance que puedas supervisar
Acuerda quién revisa excepciones, cómo se pausa el proceso y qué registro permite retomar una operación sin duplicarla. Durante el arranque, compara la carga de revisión con la forma anterior de trabajar. Amplía el alcance cuando tengas evidencia suficiente y responsables disponibles. CADT puede ayudarte a convertir un proceso concreto en un piloto con casos, criterios de aceptación e integración, antes de comprometer una automatización más amplia.
Fuentes y lecturas
Continúa explorando
Estudiar un agente para mi empresaCADT · Publicat
Escriu què significa acabar bé
Una demostració fluida no basta per acceptar un agent. Abans del pilot, descriu la tasca, la informació disponible i el resultat que ha de quedar al sistema. Per classificar una consulta comercial, per exemple, el criteri podria ser crear una proposta amb empresa, motiu i responsable, deixant sense completar allò que no se sap. Afegeix les accions que requereixen aprovació i les situacions que han de passar a una persona.
Prepara casos normals i excepcions
Comença amb una mostra petita i representativa, revisada per algú que conegui el procés. Inclou consultes completes, dades absents, referències contradictòries i registres ja existents. Cada cas necessita un resultat esperat i una explicació. Reserva exemples que no hagis utilitzat per ajustar les instruccions: si només repeteixes els casos d’entrenament, pots estar mesurant memòria de l’assaig i no capacitat de treballar amb entrades noves.
Comprova el sistema, a més de la resposta
La guia d’avaluació d’Anthropic distingeix la conversa registrada de l’estat final de l’entorn. És una diferència pràctica: que l’agent digui que ha creat una tasca no demostra que existeixi. Al pilot, consulta el registre creat i verifica camps, responsable i relació amb la sol·licitud. Si no havia d’actuar sense permís, confirma també que no hi va haver cap escriptura. Conserva evidències suficients per reproduir l’error.
Mesura la feina completa
Registra encerts, correccions, derivacions, durada i temps humà de revisió. Com a exemple fictici, de 40 consultes, 28 queden ben preparades, vuit necessiten correcció i quatre es deriven segons la regla acordada. Això no equival automàticament a un 70 % d’èxit: les derivacions poden ser correctes. Defineix abans com es puntuen i separa sempre els errors crítics, com modificar el client equivocat, de les millores de redacció.
Repeteix les proves quan canviï alguna cosa
Executa diverses vegades els casos sensibles i compara resultats. Desa la versió d’instruccions, model, eines i dades de prova per entendre les diferències. Després d’un canvi, repeteix tant els casos nous com els que ja funcionaven. Un resultat mitjà millor no compensa una nova acció no autoritzada. El llindar d’acceptació ha de reflectir l’impacte dels errors i el control humà previst per a aquella tasca.
Comença amb un abast que puguis supervisar
Acorda qui revisa excepcions, com s’atura el procés i quin registre permet reprendre una operació sense duplicar-la. Durant l’arrencada, compara la càrrega de revisió amb la manera anterior de treballar. Amplia l’abast quan tinguis prou evidències i responsables disponibles. CADT et pot ajudar a convertir un procés concret en un pilot amb casos, criteris d’acceptació i integració, abans de comprometre una automatització més àmplia.
Fonts i lectures
Continua explorant
Estudiar un agent per a la meva empresaCADT · Published
Define what a completed task looks like
A smooth demonstration is not enough to accept an agent. Before the pilot, describe the task, available information and result that must exist in the system. For a sales enquiry, this might mean preparing a proposed record with company, reason and owner, leaving unknown fields blank. Specify which actions need approval and which situations must go to a person. This gives the team a shared basis for judging the result.
Include routine cases and exceptions
Start with a small representative sample reviewed by someone who understands the process. Include complete enquiries, missing information, contradictory references and records that already exist. Give each case an expected outcome and an explanation. Keep some examples separate from those used to refine instructions: repeatedly testing only the development cases may measure familiarity with the rehearsal rather than the ability to handle fresh inputs.
Check the system as well as the answer
Anthropic’s evaluation guide distinguishes the recorded conversation from the final state of the environment. The practical difference matters: an agent saying it created a task does not prove that the task exists. During the pilot, inspect the record and check fields, owner and link to the request. Where approval was required, also confirm that no unauthorised write occurred. Retain enough evidence to reproduce failures.
Measure the complete workload
Record correct results, corrections, referrals, elapsed time and human review time. In a fictional example of 40 enquiries, 28 are prepared correctly, eight need corrections and four are referred according to the agreed rule. That does not automatically mean a 70% success rate: referrals can be correct outcomes. Decide how to score them beforehand, and always separate critical failures, such as changing the wrong customer, from wording improvements.
Repeat checks after changes
Run sensitive cases several times and compare outcomes. Record the instructions, model, tools and test-data versions so differences can be explained. After a change, rerun both new cases and those that previously worked. A better average score does not compensate for a newly unauthorised action. Acceptance thresholds should reflect the impact of errors and the human control planned for the particular task.
Start with a scope you can supervise
Agree who handles exceptions, how to pause the process and which record allows an operation to resume without duplication. During rollout, compare the review workload with the previous workflow. Expand only when evidence and available staff support the decision. CADT can help turn a specific business process into a pilot with test cases, acceptance criteria and integration before committing to broader automation.