デジタル公共財のためのEvidence Layer

「インパクト評価の現在地」¹で言及したように、クリプトエコシステムではどのプロジェクトがどのような成果を得ているのかを測定するためにインパクト評価を行おうとする取り組みが進んでいる。クリプトエコシステムにおいては、オープンソースソフトウェアをはじめ、ハッカソン、カンファレンス、グラントプログラムなどといった様々な取り組みがなされている。それらはしばしばDAOやFoundationなどから資金を募ってプロジェクトが実施される。しかし、各プロジェクトが達成したい目的も異なり、どのような成果を達成したのかを把握することが困難であるのが現状だ。その結果として、実際の成果が不明なプロジェクト、もしくは効果的であることの根拠が不明確なプロジェクトに対して資金提供を行ってしまう傾向がある。この傾向はDAO資金の枯渇に陥ってしまうため、より効果的かつ効率的な資金提供をすべきである。クリプトエコシステムでは、プロジェクトの成果を測定することで成果に基づいた資金提供を行うべきという考えの下、インパクト評価（もしくは、アウトカム測定）に取り組んでいる者もいる。つまり、「どのプロジェクト（公共財）がより多くの資金を受け取るべきか？」や「これらのプロジェクト（公共財）は特定のエコシステムにとって本当に効果的だったのか？」を検証しようとする動きが跋扈している。

しかし、現在の状況ではインパクト評価を行うのは非常に難しい状況である。理由としては、インパクト評価を行うための土壌が整っていないためである。インパクトとは「施策によって生じた効果と施策を行わなかった場合のアウトカムの差」であり、インパクト評価とは「アウトカムの差を測定すること」を指す場合が多い。インパクト評価の前提としてアウトプットとアウトカムの区別を明確にすることは重要である。一般的に、アウトプット（例：イベント参加者数、新たに作成されたプロダクト）は測りやすく、追跡も容易だ。しかし、介入の有効性を本当に評価するには、より複雑な情報の収集と分析を要するアウトカム（例：イベント参加後の参加者行動の変化）を優先する必要がある。アウトプットがどのように特定のアウトカムへ繋がるのかという因果関係の仮説を定義し、その検証データを収集することが重要になる。仮説が裏付けられれば追加資源の投入を、反証されれば再考が行われる。つまり、インパクト評価を行うためには、どのようなアウトプットがどのようなアウトカムをもたらすのかという仮説を立てる必要があり、その裏付けとなる根拠（エビデンス）が重要になる。このようにインパクト評価をはじめ、仮説とエビデンスを基に実践するという考え方は、Evidence-based Practice (EBP) と呼ばれるアプローチに通じる²。

注釈：

• アウトプット: 取り組みの直接的な産物や結果
• アウトカム：アウトプットによって生じる行動や状態の変化

クリプトエコシステムを含むデジタル公共財においてEBPを行うのは妥当性があると言えるだろう。DAOやFoundationの機能の一つとして、デジタル公共財それ自体やデジタル公共財をサポートするプロジェクト(グラントプログラムや教育プログラムなど)へ資金提供することが挙げられる。この点において、公共財の維持・供給を行なっている国家と類似していると見なすことができる。政府では、近年EBPの重要性が問われ、根拠（エビデンス）を持った上で公共政策を行うこと(Evidence-based Policy Making; EBPM)に対して積極的だ。政府がEBPMを導入しているように、デジタル公共財の維持・供給を行なっている、DAOやFoundation、オープンソースコミュニティにおいてもエビデンスに基づく意思決定、つまりEBPを導入することは、公共財の資金配分をより合理化する一つの方向性として妥当性がある。

しかし、デジタル公共財エコシステムには、Evidence-basedな取り組みをするための 「Evidence Layer」 が発展途上であることが問題だ。　Evidence Layerが充実することは、健全なデジタル公共財の開発や効果的な資金調達において必要不可欠だろう。例えば、資金分配をするとき、資金提供者や資金受給者のインパクトを評価するとき、またはOSS開発をするときなどあらゆる場面でEvidence Layer、すなわちエビデンスを活用できるようなエコシステムが必要となるだろう。本投稿では、デジタル公共財においてエビデンスを使うことの重要性やエビデンスの活用がどのような効果をもたらす可能性があるのかについて論じていきたい。

エビデンスの入り口

デジタル公共財に依らず、一般的にEBPにおいて課題が山積みだ。EBPを行う際に、エビデンスを「つくる」「つたえる」「つかう」というプロセスを踏むと一般的に考えられている³。「エビデンスをつくる」とは、研究者が差の差（Difference-in-Differences）の分析や傾向スコアマッチング、RCT（ランダム化比較試験）などの手法を用いた効果測定を行い、介入と成果の因果関係を特定することである。一方で、「エビデンスをつかう」というのは研究者が科学的分析を行なった結果（エビデンス）を実際の政策に応用し、説明責任や意思決定の判断に用いることである。では、「エビデンスをつたえる」とはどういうことだろうか？「エビデンスをつたえる」とは、科学的な知見（エビデンス）を実践に用いることができるように橋渡しをすることである。科学的な知見はしばしば専門性が高いために実践の現場で応用することが困難だ。どのような分析が精度の高い分析なのか、信頼に足るデータを扱っているのかなどを判断することは誰しもができる訳ではない。「エビデンスをつたえる」取り組みの具体例として、コクランライブラリがある。コクランライブラリのような医療上の介入の効果に関する信頼性の高いエビデンス（科学的根拠）を収集・要約したデータベース集（エビデンスバンク）は実際の医療の現場でエビデンスを参照する際に有効であり、「エビデンスをつたえる」役割を果たしているだろう。

ここで、クリプトエコシステムにおいて、エビデンスを「つくる」「つたえる」「つかう」という観点で分類しようと思う。

• 「つくる」：Opensource Observer, Eval.Science, GainForest, KarmaGAP, Impact Garden
• 「つたえる」： MUSE, Hypercerts
• 「つかう」：Optimism, Filecoin, VoiceDeck, Drips

2023年以降、インパクト評価を行おうとする動きが活発化したが、現状としては「エビデンスをつくる」という動きが主軸である。現に、私たちが過去に行ったグラント分析⁴も「エビデンスをつくる」に分類されるだろう。一方で、エビデンスをつかう取り組みとしてはRetro Fundingの理念を掲げたOptimism⁵が有力であり積極的に実践をしているが、エコシステム全体としてはまだ発展途上であると言える。クリプトにおけるEBPの実践に関しては、エビデンスを「つくる」取り組みが盛んに行われているが、「つかう」ための取り組みが相対的に少ないという現状である。この課題は、一般的なEBPにおける課題と共通している。つまり、EBPを容易に行えるようにするためには 科学的知見を誰でも利用可能にすること、すなわち 「エビデンスをつたえる」 取り組みが重要であることは間違いないだろう。

エビデンスを「つたえる」

エビデンスを「つたえる」取り組みには、インパクト証明書のトークン標準のHypercertsがある。Hypercertsを用いることによって、自己報告を含む複数の評価を受けることができ、取り組みのインパクトに関する主張を確立・検証することができる。Hypercertsを利用したプロジェクトは、そのプロジェクトが生み出したインパクト（プロジェクトが介入したことによる効果）を公に表示することができる。測定されたインパクト（エビデンスをつくる）を資金提供の際に活用できる（エビデンスをつかう）ような点において「つたえる」機能を担っているでしょう。

エビデンスを「つたえる」取り組みの他の先行事例として、先述したコクランライブラリといったエビデンスバンクがある。コクランライブラリとは医療の意思決定に役立つ“質の高いエビデンス”をまとめたデータベース群であり、最新かつ信頼性の高い証拠を一元的に提供し、医療者や政策立案者、患者がエビデンスに基づく判断をしやすくすることを目的としている。また、Linux Foundationが主導しているCHAOSSというオープンソースコミュニティの健全性を表す指標をまとめているプロジェクトがある。これらのプラットフォームは、エビデンスやメトリクスを作る側と使う側を仲介している存在であることは間違いないが、どのように利用するのかという点に関しては不十分である。

MUSE - Modular Stack of Evidence

私たちBeacon LabsもMUSE(Modular Stack of Evidence)というOSSを通して、「エビデンスを伝える」ことに貢献しようと努めている。MUSEは、Beacon Labsが開発を主導しているデジタル公共財に特化したEBP支援システムであり、エビデンスの収集、活用、強化までを行うことを可能にしている。前述で指摘したように、従来のデータベース群は有用性が高いけれども、専門性が高く活用の仕方が分かりにくいことが課題であった。MUSEはオープンソースの利点を活かしたコンポーザブルな設計を採用し、エビデンスをただ集めるだけでなく、実装へ橋渡しする仕組みを中核に据えることで課題解決を図っている。MUSEが重視するのは、構造化されたエビデンスを用いて「ロジックモデル（実行計画）」を組み立てることにある。ロジックモデルとは、ある取り組み（事業・プロジェクト・政策）が、どのような資源を使い、どのような活動を行い、どのような成果につながるのかを因果の流れとして整理した図式である。MUSEでは、介入・指標・成果をエビデンスで結び付け、因果関係に関する仮説をロジックモデルとして明示し、容易に構築・実装できるようにしている。MUSEの主要なコンポーネントは以下の3つがあり、これらの核となる機能をシームレスに統合することで、エビデンスに基づいたロジックモデルの作成を可能にしている。

1. エビデンスの登録（Curation）：世界中のエビデンスを集約し、再利用可能な形式に構造化する。
2. エビデンスの活用（Citation）：構造化されたエビデンスを組み合わせ、介入・指標・成果を結び付けたロジックモデル（実行計画）を容易に構築・実装できるようにする。
3. エビデンスの強化（Cultivation）：実装データのフィードバックとメタ分析により、既存エビデンスを強化し、新たな知見を創出する。

この仕組みは、Hypercertsを統合することでより効果を発揮する。通常、Hypercertsを発行する際にロジックモデルの提出は求められないが、MUSEを経由することで、エビデンスに基づくロジックモデルを作成した上で発行できる。結果として、Hypercertsの機能を補完し、透明性の高いインパクト評価を実務に組み込みやすくする。これは「エビデンスをつたえる」機能が拡充していると言えるだろう。

Evidence Layer: デジタル公共財におけるフィードバックループ

MUSEが導入されることによって、Evidence Layerがどのように機能するのか、すなわちエビデンスがどのように活用されるのか（EBPがどのように行われるのか）について具体的な流れを紹介する。まず、デジタル公共財において、PDCAサイクルを回すような場合を考えてみたい。PDCAサイクルについて簡単に説明する。P（Plan）では、達成したい姿を数値と期限で定義し、現状を把握して課題と仮説を立て、誰が・何を・いつまでに・どう測るかまで決める。次にD（Do）で、その計画を小さな実験から実行し、手順を整えつつ、想定どおりに進まなかった点も含めてデータと記録を残す。続くC（Check）では、結果を指標で検証し、目標との差、プロセスの遵守、仮説の当たり外れを切り分けて分析する。最後にA（Act）で、うまくいった方法は標準化し、うまくいかなかった点は原因を踏まえて仮説を更新し、次のP（Plan）に織り込む。これを繰り返すことで、属人的なやり方が組織的な仕組みに昇華し、品質や成果が段階的に引き上がる。

EBPをこのPDCAサイクルに対応させた場合、明らかにPの要素が不足している。たとえば、オープンソースプロジェクトを開発し（D）、インパクト評価者（エビデンスをつくる人）がそのプロジェクトを評価し（C）、プロジェクト自身が改善に活用する（A）、というフローになり、Pの段階で根拠を持った上でプロジェクトを始めるような体制は整っていない。先述の通り、オープンソースコミュニティにおいて、Dに積極的な傾向があるが、近年Cの重要性が増してきている。しかし、Pがなければ適切にCを行うこともできない。インパクト評価（C）のためには、まずPをカバーすることが重要である。

このような状況は冒頭で指摘した「インパクト評価を行うのは非常に難しい状況である」という状況に対応している。MUSEでは、仮説の因果関係をロジックモデルとして表現しているため、MUSEの活用はインパクト評価の土壌を整える役割も果たせるだろう。

生み出されたエビデンスをMUSEが収集し、プロジェクト側はMUSEを参照し、ロジックモデルを作成する。そして、Hypercertsが発行され、実際にプロジェクトが施行される。しばらく経ったのち、MUSEを介して作成されたロジックモデルを基に、インパクト評価者がプロジェクトの効果を測定する。測定された効果は、Hypercertsへと反映され、フィードバックに活かされると同時に、新たなエビデンスとしてMUSEに格納される。このようなフィードバックループが回ることで、より健全なデジタル公共財エコシステムを築くことができると信じている。

エビデンスが世界を照らす

ここで、Evidence Layerの確立はどのような世界へと繋がるのか見解を述べたいと思う。

Retro FundingからPro Fundingへ

Retro Fundingは「有用だったものについて合意するのは、有用になるものについて合意するよりも容易である」という、Vitalikによって提唱された基本的な原理をもとに立ち上がった⁵。しかし、世界銀行の報告によると、事前評価（Prospectiveな評価）の方が、事後評価（Retrospectiveな評価）よりも、より強く信頼できる結果を生みやすいと述べられている⁶。つまり、Retro Fundingよりも、事前に資金配分を行う Pro Funding（Prospective Funding）のほうが「合意しやすい／実行しやすい」可能性がある、ということを示唆している。主な理由は、Prospectiveな評価では介入を始める前に因果モデル（どのデータをどう集め、どう評価するか）を設計し、ベースラインデータを確保できるからである。ベースラインがあれば、開始時点で介入群と比較群の特性が統計的に同程度であることを確かめることができる。一方、Retrospectiveな評価は実施後に評価するため、多くの場合ベースラインがない。その結果、より強い仮定に依存する準実験的手法（観察データから因果効果を推定する手法）に頼らざるをえず、エビデンスが解釈の仕方に依存してしまう。

また、Prospectiveな評価を設計できるなら、反実仮想（counterfactual）を推定することができる。反実仮想とは、介入が実施されなかった場合に観測されたであろうアウトカムを想定することである。インパクト評価は、ある施策による効果とその施策がなかった場合の効果の差分を調べることであり、介入された施策以外の要因（交絡因子）で効果を生み出している可能性を排除する必要がある。そのため、インパクト評価を正確に行うには、反実仮想を推定することが重要である。一方で、Retrospectiveな評価では、反実仮想を推定することが難しい。これは、評価が当初から組み込まれていない限り、多くのプログラムがベースライン・データを収集しておらず、ひとたびプログラムが開始されてしまうと、その収集は手遅れになってしまうためである。評価者が利用できる情報が限られていることが多く、プログラムが適切に実施されたか、参加者が実際に便益を得たかを分析するのが難しい。

仮に、各デジタル公共財が因果モデルを作ることができた場合、Pro Funding の機会が生まれるだろう。Evidence-basedにプロジェクトを企画することで、Prospective的に資金を募るための妥当性、説明責任、コミュニティからの納得感を得やすくなることが考えられる。そして、その後、プロジェクトの施行後にインパクト評価（アウトカム測定）を行うことでその達成度に応じた資金調達も可能になる。つまり、エビデンスに基づいたロジックモデルを作成することで、Evidence-basedなPro Funding と Outcome-basedなRetro Funding のサイクルが回るだろう。

オープンサイエンスへ

オープンサイエンスにも通じるだろう。オープンサイエンスとは、科学研究の成果やプロセスを、研究者だけでなく一般の人々にも公開し、誰もがアクセス・参加できるようにする包括的な概念を指す言葉だ。デジタル公共財の開発者、つまりOSSコントリビュータは日々様々なプロダクト開発に勤しんでおり、開発者を支援するために資金提供を行う団体もある。一方で、科学者たちも研究活動を通じて、世の中に様々な科学的知見、つまりエビデンスを生み出している。問題は、デジタル公共財の維持や供給に貢献をしている開発者や資金提供者の側と科学者の側が結びついていないところにある。Evidence Layerは科学的な知見を現場で活用できるための土台であり、特にMUSEやHypercertsのような「エビデンスをつたえる」ことに貢献している取り組みはより一層科学がオープンになり、実践・活用されるだろう。

エビデンスとPlurality

Beacon Labsは、多様な価値観を尊重できるような世界観を目指していることを宣言した⁷。その実現には単一の価値基準や意思決定メカニズムに依存しない設計が不可欠だと捉えている。デジタル公共財はそれぞれ異なる目標を掲げているにもかかわらず、資金提供のメカニズムはしばしば画一的になる傾向がある。例えば、公共財への資金提供において、Quadratic Funding（QF）はクラスタリングや耐シビル処理などの工夫を取り込みつつも、結局は所与のアルゴリズムに依拠して支給額が決まる。QFは少額でもより多くの人によって支援されているプロジェクトにより多くの資金が分配されるという性質上、人気のあるプロジェクトにより多くの資金が集まりやすい⁸。アルゴリズム依存は透明性や公平性を担保しうる一方で、価値観の一元化を招き、多様な目的や方法論を持つプロジェクトの特性を十分に反映できない可能性がある。この指摘は「道具化するPlurality：啓蒙の弁証法によるPluralityの補正」⁹で言及した「Pluralityの矛盾」に通ずる。

元々、多様な価値観を反映することを目指していたPluralityは、民主化の追求を合理化することで「道具化」され、価値観の統一につながっています。この合理化されたシステムから逃れるために、逆説的に、我々は複数の統一された価値観のセットが必要かもしれません。

Pluralityをメカニズムやアルゴリズムによって追求することは、逆説的に一元化された価値観、もしくは固定化された多元性に陥ってしまうのではないだろうか。Pluralityを実現しようとするのであれば、さらに逆説的な話ではあるが、独自の「偏った」価値観を保持する必要はあると考える。例えば、QFはPluralityの1つとして見なされているが、QFが定義する「多元的な」アルゴリズムに依存することは必ずしも多元的であるとは言えない。多元的であるには、QFとは異なる多角的な価値観が共存していることが必要だろう。

多角的な価値観の導入を実現する上で、有効な手段の一つはエビデンスである。Evidence Layerが拡充すれば、特定のアルゴリズムに依存せず、目的や効果を個別に最適化できるため、多角的な視点を取り込むことが可能になる。さらに、Evidence Layerの導入は、妥当性・公平性・透明性・説明責任・納得感をもたらしつつ、その多角的な視点を人々が享受できるようにするだろう。こうしてPluralityという技術思想に異なる角度の視点が重ねられることで、Pluralityはよりレジリエントで包摂的な概念へと成長していくのではないだろうか。

結論

本稿の議論を踏まえると、インパクト評価をはじめとするEBPは、デジタル公共財の健全な発展に不可欠である。EBPにおいて、エビデンスを「つくる・つたえる・つかう」ための仕組みが整備されることで、デジタル公共財エコシステムはより持続的かつ多元的に発展していく。さらに、科学的知見を実践へと活用できるようになることで、多様な視点や価値観の下で施策に対する公平性と納得感が高まる。MUSEやHypercertsなどによって構築されるEvidence Layerは、単なる技術基盤にとどまらず、「なぜ、何を、どのように支援するのか」という根源的な問いに対する社会的合意形成の基盤である。Evidence Layerが確立することは、デジタル公共財の未来をより確かなものにできるだろう。

私たちの活動を応援していただける方は寄付をいただけると幸いです。

寄付はこちら：

• 法定通貨（クレジットカード）：https://beaconlabs.io/support/
• 暗号資産：supports.beaconlabs.eth

また、Evidence Layerの構築、MUSEの開発に関心がある方は、Beacon Labsまで連絡ください！

• X: https://x.com/MorleySheen
• GitHub: https://github.com/beaconlabs-io