태그

LLM evaluation

‘LLM evaluation’ 태그가 달린 글 4건

마테크

데이터 신뢰성Datadog

AI 에이전트가 이상해졌을 때 감으로 고치지 말고 trace 데이터로 가설을 세우고 평가와 실험으로 검증하는 5단계 루프를 Datadog이 제안해요

2026년 9월 2일

연구소/벤더

AI 에이전트가 오류 없이 실행을 끝내도 데이터베이스의 최종 상태는 틀릴 수 있다는 결과예요. 실패한 시도의 67.24%는 상태 변경 도구를 호출하고도 최종 도구 오류 없이 종료됐습니다

HuggingFace2026년 10월 4일

데이터

Datadog가 사내 개발자 50개 팀이 AI 코딩 에이전트를 쓸 때 지켜야 할 표준 워크플로우를 만들고, 실제로 효과가 있는지 데이터로 검증한 방법을 공유했어요

Datadog(데이터 신뢰성)2026년 9월 10일

연구소/벤더

AI 튜터가 학생 문제를 바로 풀어주는 대신 스스로 생각하도록 밀어붙일 줄 아는지를 측정하는 평가 프레임워크예요

HuggingFace2026년 8월 8일