自律型AIエージェントの実地検証
AIモデルの実力は、統一されたテストで測ったスコアによって比較するのが定説だった。数字が高いほど優れたモデルとされ、実際の商売や人との関わりの中でどう振る舞うかは、整えられたテスト環境の外側にあり、見えにくいままだった。
Andon Labsは逆に、AIエージェントに自動販売機や実店舗、カフェの経営そのものを丸ごと任せてしまう。在庫管理や価格設定、取引先や本物の客との駆け引きという生々しい現実の中に置くことで、点数化されたテストだけでは見えなかったAIの振る舞いを浮かび上がらせている。
Andon Labsは、AIモデルが実際の社会でどのように振る舞うかを検証するアメリカのスタートアップである。企業や研究者に向けて、AIモデルの実力を測るための評価手法（ベンチマーク）を開発・公開するとともに、大手AI開発企業と協力しながら、次世代モデルの安全性評価を請け負っている。 同社が特に力を入れているのが、AIエージェントに実在する事業を運営させるという評価方法である。自動販売機の運営を長期間にわたってAIモデルに任せるベンチマークをはじめ、実際にサンフランシスコの店舗やスウェーデンのカフェの経営をAIエージェントに委ねる取り組みを行っている。値段の決め方や仕入れ先とのやり取り、実在する客からの無理な要求への対応など、事前に用意されたシナリオだけでは見えてこない場面に置かれたとき、AIモデルが何をするのかを詳しく記録し、公開している。 同社はこれまでに、大手AI開発企業と共同で、社内に設置した自動販売機の運営をAIモデルに任せる実験を行ったほか、独自に長期の賃貸契約を結んだ実店舗や、スウェーデンで開いたカフェの経営を、それぞれ別のAIエージェントに任せている。こうした取り組みを通じて、AIが実社会の中でどこまで信頼できるのか、逆にどのような場面で危うい判断をしてしまうのかを、具体的な記録として蓄積し続けている。
StarTextで全文を読む →