急速に進化する人工知能の世界では、LLM（大規模言語モデル）の比較はしばしば誇大広告や根拠のない主張の迷路を進むように感じられます。そこで登場するのが、元YC出身でありEthereum Dev ScholarでもあるQendresa Hotiです。彼女が提案する革新的なオープンセットアップは、その雑音を切り分けるために設計されています。

Hotiは最近のXスレッドで、自身のドラマのないLLM比較を求める道のりを説明しました。その探求は興味深いラビットホールへと向かい、結果として生まれたのが、主要な性能指標を測定しつつ真正性の確固たる証明を提供するモデル非依存のテストリグです。

このセットアップの何が特徴なのか？

このツールの核となる評価項目は以下の通りです：

• Time to First Token (TTFT)：モデルが最初の応答トークンを生成するまでの速さを測ります。AIクエリの「起動時間」のようなイメージです。
• Tokens Per Second (TPS)：継続的な処理速度の指標で、モデルがどれだけ効率的に情報を処理・出力するかを示します。
• Pass@1/k：コード生成タスクにおける正確性を評価する指標で、最初のトライで成功するか、複数回の試行が必要かをチェックします。
• Verifiable Receipts：hash-chained receipts を用いて、評価プロセスの改ざん不可能な記録を作成します。AIベンチマークのためのブロックチェーン台帳のように機能し、事後に結果が操作されないことを確保します。

このアプローチの美点は柔軟性にあります。OpenAI-style APIsでもローカルモデルでもシームレスに動作し、どこにいる開発者にも利用可能です。Hotiは、このセットアップがストリームロガー、mini code eval、verifierを利用して、推測なしに16タスクのコードチェックを実行すると強調しています。

AIとブロックチェーンの橋渡し

Ethereum Dev Scholarとしての経験を持つHotiは、AIツールにユニークな視点をもたらしています。hash chainsというブロックチェーン技術の基本概念を取り入れることで、特に暗号空間で価値ある信頼の層が加わります。これをdAppsのAIモデル評価や、コンテンツ自動生成やコミュニティ主導コインのセンチメント分析などAI機能を取り入れるmeme tokenプロジェクトの評価に応用することを想像してみてください。

この検証可能な側面は、過剰な主張に踊らされることなくAIを統合したいブロックチェーン実務者にとってゲームチェンジャーになり得ます。しかもオープンソースであるため、コミュニティからの貢献やさらなる改良も促進されます。

さらに詳しく

技術的な詳細を深掘りしたい方のために、Hotiは自身の研究に関する詳細な記事を公開しています。こちらからご覧ください：https://www.albiona.dev/ — 彼女のSubstack「small brain crypto」は、AIとブロックチェーンの交差点にいる人にとっての宝庫です。

もしあなたがmeme token分野やより広い暗号エコシステムで開発しているなら、このようなツールはAI導入に関する判断を下す際に有用です。検証可能なLLMベンチマークが暗号プロジェクトの標準になり得ると思いますか？コメントで意見を聞かせてください！