みんなLLMを取得しました。
請求書が上がった。
生産性はそうではありませんでした。
企業はすべてのチームにAIを展開しましたが、重複した作業や車輪の再発明、共有学習がなく、支出は増加しながらも結果は横ばいでした。
私たちはその中間にインテリジェントレイヤーを構築しています。モデルをルーティングし、ゲートし、組み合わせ、企業自身の利用状況から学習し、信頼すべきでない回答をフラグ付けします。
コストとスケール
コスト問題
二つの構造的な力が同時に重なり合っています。
どちらも計算量を増やすことで固定されません。
みんなLLMを取得しました。
より大きなモデルは解決策ではなくなりました。
複数のモデルを組み合わせることが、単一のフロンティアモデルよりもはるかに効果的です。
ゲインは上層に移りました。
建物
ルーター以上のものを。
ユーザーとあなたが支払っているすべてのモデルの間にある層です。
門
クエリは送信前にフィルタリングされ、再構成されます。小さく安価なモデルは思っている以上の処理が可能です。
ルーター
私たちは、各クエリを正しくかつ安価に答えやすいモデルまたは複数のモデルに送信するルーターを構築しています。
コンバイン
一つのモデルで十分でない場合、複数のモデルを統合してより良い答えを作ります。
学びましょう
ルーターは、チームの問い合わせや対応のやり方から自動的に自社の利用状況を学習し、使用するたびに改善していきます。
自分のモデルが間違っているときには気づきましょう。
それをトレーニングデータに変換します。
問題点
信頼性は欠けている層。
今日の言語モデルは、間違っていても説得力のあるように聞こえることがあります。本番環境のAIには、良い答え以上のものが必要です。信頼できるタイミングを知る必要があります。
ハイリスク
流暢な答えでも自信を持って間違っていることがあります。
自動再質問
信頼度の低い回答は自動的に異議を唱えられ、より良い答えを求めて再度質問されます。
クローズドループ
修正が加わるたびに次の答えが改善されます。
ワークフロー
信頼性ループ
すべてのやり取りが学びの機会となります。失敗の可能性を検出し、難しいケースを検証し、すべての修正をデータに変換して将来の対応を継続的に改善しましょう。
01
ゲートとルート02
回答確認03
専門家が検証します04
学びましょうコストはゲートで下がります。
信頼性はループ内で上がります。
エンジン1台
エンジンは一つ、二つの用途。
同じエンジンで、2方向に向いています。
展開しろ
LLMレイヤーとして運用すれば、コストが低く、信頼性が高く、チームの実際の働き方に合わせたパーソナライズができます。
モデルに向けて
同じエンジンは、クエリごとにどのモデルが苦戦するかを実行前に予測します。
自分のモデルに向けたものは、弱点を正確に狙ったベンチマーキングと評価、それを修正するためのトレーニングデータに変換されます。
企業向けにはルーターが使われます。モデルビルダーには評価エンジンが使われます。
信頼性
なぜ Thoth が違うのか
またAIゲートウェイではありません。本番AIのための信頼性エンジンです。
ほとんどのプラットフォームはルーティングや評価で終わります。 Thoth 検出、インテリジェントルーティング、専門家による検証、継続的な学習を一つのクローズドループにまとめ、すべての修正がモデルの信頼性を高めます。
- 故障検出
- インテリジェントルーティング
- 専門家による検証
故障検出
私たちは、ユーザーに届く前に誤りの可能性が高い回答を検出する検出機能を構築しています。
インテリジェントルーティング
各クエリを最適なモデルに送信し、プロンプトを洗練して回答の質を向上させるルーティングを構築しています。
専門家による検証
高リスク対応はリアルタイムでドメイン専門家、すなわち信頼性ループ内の人間の専門知識にエスカレーションされます。
最終目標
最終目標
“修正が次の対応を強化します。本番環境の失敗がトレーニングデータとなり、あらゆる相互作用でモデルが継続的に改善される信頼性レイヤーを構築しています。”
ペドロ・アルヴェス
(CTO、 Thoth AI)
Get started
モデルがどこで壊れるのか教えてください。
それを直すループを作る。
私たちのチームに相談してください
LLM信頼性エンジニアリングを担当するチームとの30分間の電話。営業デッキなし。
Thoth AI — LLMの信頼性
Continue exploring