공공 가치를 벤치마크로 옮기다
‘Grip on LLMs’ 연구는 네덜란드 지방정부 전문가, 자문위원회, 공무원용 챗봇 사용자 조사를 바탕으로 공공부문 LLM 평가 체계를 만들었습니다. 기준은 정확성, 모르는 것을 인정하는 정직성, 사회적 편향, 에너지 소비, 비용, 학습 데이터 투명성의 6가지입니다. 30개 이상의 다국어·네덜란드어 모델을 비교했습니다.
저자들은 모든 기준에서 앞서는 단일 모델이 없었다고 보고합니다. 품질이 높은 모델은 대체로 환경 영향과 비용이 커졌고, 편향은 두 요소와 독립적으로 움직였습니다. 특히 정답을 맞히는 정확성과 모를 때 인정하는 정직성은 다른 특성이어서 정확한 모델이 자동으로 더 정직하지 않았습니다.
조달과 정책에 주는 의미
정부는 공개 순위 1위보다 민원 답변, 내부 문서 검색, 번역 등 업무별 실패 비용을 먼저 정해야 합니다. 중요한 답변은 근거 제시와 보류 행동을 평가하고, 에너지·가격은 같은 처리량과 서비스 수준에서 비교해야 합니다. 언어·문화권별 편향 검사와 이의 제기 절차도 필요합니다.
연구의 경계
네덜란드어와 한 지방정부 협업을 중심으로 한 동료평가 전 프리프린트입니다. 모델 버전, 가격, 전력원과 호스팅에 따라 결과가 바뀌며 다른 국가의 법·언어에 바로 적용할 수 없습니다. 그래도 기술 점수와 공공 가치를 하나의 조달표에서 보게 했다는 점이 중요합니다.