公共価値を評価項目へ
「Grip on LLMs」は自治体専門家、諮問委員会、公務員チャット利用者の調査から、正確性、不確実性を認める正直性、社会的偏り、エネルギー、費用、学習データ透明性の6基準を作り、30超の多言語・オランダ語モデルを比較しました。
著者は全基準で首位のモデルはなく、高品質ほど環境影響と費用が大きい一方、偏りは両者と独立したと報告します。正確性が高くても、知らない時に認めるとは限りません。
調達への意味
政府は順位より、住民回答、内部検索、翻訳ごとの失敗費用を定義すべきです。重要回答では根拠と回答保留を評価し、言語別偏りと異議申立て経路も必要です。
限界
オランダ語と一自治体協力を中心にした査読前研究です。モデル版、料金、電源、法制度で結果は変わりますが、技術点と公共価値を同じ選定表で扱う意義があります。