빠르게 진화하는 인공지능 분야에서 대형 언어 모델(LLMs)을 비교하는 일은 종종 과장된 주장과 근거 없는 마케팅 사이를 헤매는 경험이 되곤 합니다. 그런 상황에서 전 YC 출신이자 Ethereum Dev Scholar인 Qendresa Hoti는 소음을 걷어내기 위한 혁신적인 오픈 설정을 제시합니다.

Hoti는 최근의 X thread에서 드라마 없는 LLM 비교를 향한 여정과 그 과정에서 빠져든 흥미로운 고찰을 공유했습니다. 그 결과물은 모델에 종속되지 않는 테스트 장비로, 핵심 성능 지표를 측정하는 동시에 진위 여부를 철저히 증명해 줍니다.

What Makes This Setup Stand Out?

이 툴의 핵심은 LLM을 여러 중요한 측면에서 평가한다는 점입니다:

• Time to First Token (TTFT): 모델이 초기 응답을 생성하는 데 걸리는 속도를 측정합니다. AI 질의의 "시작 시간"이라고 생각하면 됩니다.
• Tokens Per Second (TPS): 모델의 지속적인 처리 속도를 나타내며, 정보를 얼마나 효율적으로 처리·출력하는지 보여줍니다.
• Pass@1/k: 코드 생성 과제에서 모델의 정확도를 평가하는 지표로, 첫 시도에 성공하는지 또는 여러 번의 시도가 필요한지 확인합니다.
• Verifiable Receipts: hash-chained receipts를 사용해 평가 과정의 변조 불가능한 기록을 생성합니다. AI 벤치마크용 블록체인 원장과 같아서, 결과가 나중에 조작될 수 없게 합니다.

이 접근법의 장점은 유연성에 있습니다. OpenAI-style APIs나 로컬 모델과도 원활하게 작동해 전 세계 개발자들이 접근하기 쉽습니다. Hoti는 이 설정이 stream logger, mini code eval, 그리고 verifier를 활용해 추측 없이 16개 과제의 코드 체크를 실행한다고 강조합니다.

Bridging AI and Blockchain

Ethereum Dev Scholar로서 Hoti는 AI 도구에 독특한 관점을 제공합니다. 블록체인 기술의 기본 개념인 hash chains의 도입은 특히 암호화폐 영역에서 신뢰층을 더해 줍니다. 이를 통해 dApps에서 AI 모델을 평가하거나 자동화된 콘텐츠 생성이나 커뮤니티 기반 코인에 대한 감정 분석 같은 AI 기능을 포함한 meme token 프로젝트에 적용해 볼 수 있습니다.

이 검증 가능한 측면은 과대 광고에 속지 않고 AI를 통합하려는 블록체인 실무자들에게 게임 체인저가 될 수 있습니다. 해당 도구는 오픈소스여서 커뮤니티 기여와 추가 개선을 장려합니다.

Dive Deeper

기술적 세부사항을 더 깊이 탐구하고 싶다면 Hoti가 자신의 연구를 자세히 정리한 글을 공개했습니다. 여기에서 확인해 보세요: https://www.albiona.dev/ — 그녀의 Substack "small brain crypto"는 AI와 블록체인의 교차점에 있는 누구에게나 유용한 자료가 풍부합니다.

만약 여러분이 meme token 분야나 더 넓은 암호화폐 생태계에서 개발 중이라면, 이런 도구는 AI 통합에 관한 정보에 근거한 결정을 내리는 데 도움이 될 수 있습니다. 여러분 생각은 어떠신가요 — 검증 가능한 LLM 벤치마크가 암호화폐 프로젝트의 표준이 될 수 있을까요? 댓글로 의견을 나눠 주세요!