検証報告「コンサルティング業務におけるローカルLLMの長文読解性能」を公開しました
株式会社Klammer（代表取締役 檜垣寿宏）は、検証報告「コンサルティング業務におけるローカルLLMの長文読解性能」を公開しました。機密資料をクラウドに出さずに AI で分析したいという需要を踏まえ、手元の機械（Mac Studio・メモリ 96GB）で動く AI（ローカルLLM）が、官公庁の長い調査報告書（約100ページ）をどこまで読めるかを、実機で測ったものです。
主な結果は次のとおりです。
- 速度は実用的。10万トークン（約15万字）の読み込みが約3〜4分、生成は毎秒 約19〜25トークン
- 論点の整理などは、手直しすれば使える水準
- ただし「資料の弱点を見抜く力」は大きく劣る。あらかじめ用意した弱点リストへの到達数は、96GB で動く最良の設定で 9。256GB 級の機械で動くモデル（クラウドで代わりに測定）は 36
- 劣る主な原因は、メモリに載せるための圧縮（量子化）
報告書では、検証の設計と採点の方法、原因の切り分け、同じ問いへの2つの回答の実例をまとめたほか、生成した全回答（119本）も公開しています。256GB の機械（Mac Studio M5 Ultra）での検証は、2027年1月に実施する予定です。
