インパクト評価の現在地

すべてのレビューアーに感謝：Jonas（Optimism）、Carl（Open Source Observer）、Holke（Hypercerts Foundation）、LauNaMu（Impact Garden）、Mahesh（Karma）

以前のレポートで述べたように、公共財への資金提供は、公共財を持続的に提供し維持するために重要です。現在、公共財分野では、公平かつ効果的に公共財に資金を提供する方法への関心が高まっています。しかし、 「どのプロジェクト（公共財）がより多くの資金を受けるべきか？」 や 「これらのプロジェクト（公共財）は特定のエコシステムにとって本当に効果的だったのか？」 といった質問を検証するべきですが、ほとんど扱われていません。

効果的な資金配分のために、Optimismなどのプロジェクトが主導する形で、将来の期待に基づく資金調達よりも過去の成果に基づくレトロスペクティブな資金調達の方が信頼できると考えられているため、そうした方向への傾向があります。しかし、先ほどの質問は依然として答えられていません。これらの質問に対処するために、効果検証とインパクト評価への注目が高まっており、多くのプロジェクトがこの分野で活動を始めています。

我々も、グラントプログラムのデータを分析し、どのグラントプログラムがどのプロジェクトにどのような資金額を提供しているかをレビューして、現状を理解し分析しています。以前のレポートで、我々はインパクト評価の手順を整理し、よく誤解される点を明確にして、将来のインパクト評価（より正確には、プログラム評価）を行うための用意を進めています。また、インパクト評価者に継続的なインセンティブを提供するプロトコルであるIES（Impact Evaluation Service）を開発し、Funding the Commonsのハッカソンで受賞しました。また、我々の最新レポートでは、エビデンスベースのプロセスの重要性について言及しました。我々以外にも、インパクト評価に貢献している多くのプロジェクトがあり、このレポートではそれらを紹介し、クリプトにおけるインパクト評価の現状を探求します。

インパクト評価に取り組むプロジェクト

クリプトにおいて、「インパクト評価」 に注目が集まる理由の一つは、Optimismの 「Impact = Profit」 原則かもしれません。実際、インパクト評価の取り組みはOptimismエコシステムを中心としています。このレポートでは、Optimismのインパクト評価取り組みと、Optimism周辺でインパクト評価に取り組むプロジェクトに焦点を当てます：Open Source Observer、Hypercerts、Impact Garden、Karma GAP。

Optimism

「Impact = Profit」 の原則に従って、OptimismはRetro Funding（旧RetroPGF）¹を通じて、EthereumとSuperchainエコシステムに貢献するプロジェクトに資金を提供しています。このレポートが書かれている2025年1月時点で、6回の過去のラウンドが完了し、デジタル公共財やOSSを含むプロジェクトに総額6000万ドル以上のOPトークンが配布されています。

ラウンド4では、Open Source Observerを通じてオンチェーン情報とGithubアクティビティに基づく値がインパクトメトリクスとして収集されています。これらのメトリクスはRetroPGF Hubで見ることができます。

各バッジホルダーはメトリクスの重みを設定し、合計が100%になるようにします。このプロセスを通じて、各バッジホルダーは各メトリクスがインパクト評価にどの程度重要かを定量化します。

その後、各バッジホルダーは、対象プロジェクトがOSSの場合、乗数（Open Source Multiplierと呼ばれる）を設定します。このプロセスを通じて、各バッジホルダーがOSSの資金調達にどの程度の重みを置いているかを定量化します。

これらの定量化されたデータは、各プロジェクトをスコア化し、各プロジェクトの最終配分額を決定するために使用されます。

このデータはGithubで入手可能で、ここで紹介したラウンド4だけでなく、最新のラウンド6まで利用できます。各計算方法と投票結果の詳細については、彼らのGithubを参照してください。

Open Source Observer

Open Source Observer（OSO）は、オープンソースプロジェクトの活動を測定するためのオープンソースツールです。すべてのOSOコードは公開されており、誰でもAPIを通じて公開データにアクセスできます。

OSOは、Github、スマートコントラクト、プロジェクトEOAアドレスを追跡することで活動を可視化し、プロジェクトをレビューするグラントオペレーターにとって信頼できるソースとして機能します。OptimismのRPGFは、配分決定プロセスでOSOのデータソースを使用しています。

さらに、OSOとEval.Science（Counterfactually）は、介入の影響を評価するために使用される統計的手法である合成コントロール法を活用したインパクト測定に取り組んでいます。

この例では、彼らはOptimismを除くオンチェーンデータを合成し重み付けし、介入前後の月間アクティブ開発者の変化を比較して、介入としてのRetro Fundingのインパクトを測定しました²。

Karma GAP

Karma Grantee Accountability Protocol（GAP）は、グラントオペレーターがグラント受給者の進捗を追跡し、説明責任を持たせることを可能にします。グラント受給者も、受け取ったすべてのグラントと進捗更新を含むプロジェクトのオンチェーン履歴書を維持することで評判を築きます。Karmaは、Common Impact Data Standard フレームワークに基づいたインパクト測定も実装しています。Karma GAPは、Celo PG、Octant、Arbitrum、Gitcoin、Public Nounsなど、様々なグラントプログラムで使用されています。

GAPは、Ethereum Attestation Service上に構築されたオンチェーンプロトコルです。マルチチェーンであり、ArbitrumやOptimismを含む多くの人気のEVM L2ネットワークにデプロイされています。グラント受給者は、Karma GAPのフロントエンドを通じてプロジェクトを登録し、マイルストーンを設定し、進捗を報告し、受け取ったグラントを申告できます。

これらのアクションは証明としてオンチェーンに記録され、GAPはGAP SDKを通じて既存のアプリケーションに統合できます。この統合により、グラント受給者のアウトプットの観察が可能になり、プロジェクト評価を支援します。

Hypercerts

Hypercertsは、インパクト証明書のトークン標準であり、インパクトがあるとされる作業に関する情報を格納するためにERC1155を拡張（かつ後方互換）しています。これらのhypercertsは、その後、自己報告を含む複数の評価を受けることで、インパクトに関連する作業のインパクトについての主張を確立し検証できます。

このように、Hypercertsはデータレイヤーとしてインパクトの追跡と蓄積を可能にします。

Hypercerts を使用すると、インパクトの主張と評価をマーケットプレイスでの販売に簡単にリンクでき、インパクトが Impact Certificate で検証された場合に遡及的な資金提供でプロジェクトに資金を提供することも容易になります。

このように、プロジェクトオーナーは、Hypercertsの一部と引き換えに将来資金提供者からの資金を期待でき、将来資金提供者は、マーケットプレイスを通じて遡及的資金提供者にHypercertsを売却できます。将来資金提供者は、マーケットプレイスを通じて遡及的資金提供者にHypercertsを売却することで退出できます³。

Hypercertsのドキュメントでは、これをHypercertsの使用事例の一つであるImpact Funding Systems（IFS）として紹介されています。Hypercertsには、アプリ開発者が自分の資金調達プラットフォームにHypercertsを統合したり、Hypercertsプロトコル上に新しい資金調達メカニズムを構築したりするためのHypercerts marketplace SDKと呼ばれるSDKがあります。VoiceDeckとEcocertainは、Hypercerts marketplace SDKで構築された素晴らしい例です。

Hypercertsの評価メカニズムは、「オープン評価システム」 のアイデアに基づいています。

異なる方法論を持つ異なる評価者から複数の評価を提出できます。評価は、評価への信頼を強化するために互いを支持することができます。または、互いに矛盾することもあります。矛盾する場合、評価者が（1）インパクトを異なって定義するか、（2）異なって測定するか、（3）測定において間違いを犯したかを理解したいと思います。これらの矛盾を表面化することは、全体システムへの信頼を強化するために重要です。

現時点では、GainForestとHypercerts Foundationを含む少数の評価者が評価者として登録されています。エコシステムで評価メカニズムが確立されるにつれて、Hypercertsはより価値あるものになるでしょう。

Impact Garden

Metrics Garden Labsによって開発されたImpact Gardenは、評判のあるコミュニティメンバーの定性的洞察から派生した定量化され標準化されたインパクトメトリクスを提供します。インパクトを評価するために定量的指標のみを使用する代わりに、評判などの定性的情報を含めることで、プロジェクトをより包括的に評価できます。

ユーザーはFarcasterアカウントを接続し、Impact Gardenに登録されたプロジェクトにレビューを追加できます。Impact Gardenは、このデータを集約してインパクトメトリクスを作成します。

プロジェクトを評価するために、ユーザーはFarcasterアカウントでログインし、レビューしたいプロジェクトを選択する必要があります。プロジェクトを選択した後、後でインパクトメトリクスの作成に使用される3つの異なる垂直分野でそれを評価するよう求められます。Impact Gardenは、このデータを集約してインパクトメトリクスを作成し、Farcasterアカウントにリンクされた評判を活用して、コミュニティにおけるレビュアーの役割に応じて提供されたデータに重み付けします。

Impact GardenはRetroRound 5でソフトローンチし、OP Stackの貢献に対して並行データを生成しました。Retro Funding Round6では、Impact Gardenは、投票者が投票プロセスで活用できる標準化された定性データの作成実験に使用されました⁴。この統合は、RetroPGF HubとRetrolistで見ることができます。

これらのデータは、誰もがプラットフォームで活用しやすくするパブリックAPIを通じてアクセスできます。パブリックAPIは、複数のプラットフォームがデータを統合することを可能にし、プロジェクトが自分の情報を表示することも可能にします。

インパクト評価への我々の道筋

プロトコルが特定の目的で自分の財務から プロジェクトに資金提供することがより一般的になっています。

人々は 「資金調達は本当に意味があったのか？」 や 「どのようなプロジェクトが目的に最も合致しているのか？」 といった質問に注意を払い始めています。

このレポートで説明したように、我々を含むインパクト評価に取り組むプロジェクトの数が増加しており、インパクト評価が行える環境を開発しています。

我々は、OSS活動を測定するOSO、アウトプット管理に焦点を当てるKarma GAP、プロジェクトの定性的評価を集約するImpact Garden、インパクト証明書として機能するHypercertsを紹介しましたが、これらのツール単体では高精度のインパクト評価を実施するには十分ではありません。しかし、これらのツールの協力により、インパクト評価を可能にする環境が作られるでしょう。

ここで紹介したインパクト評価プロジェクトの多くがOSSに焦点を当てていますが、我々はOSSだけでなく、コミュニティ活動にも焦点を当ててインパクト評価を実施することを計画しています。OSSとは異なり、コミュニティ活動は定性的、主観的、オフラインであることが多いため評価が困難ですが、コミュニティ主導のガバナンスが前提となるクリプトでは不可欠な構成要素です。