去中心化存储概念、实操和前景

去中心化存储概念、实操和前景

去中心化存储是一种不依赖单一中心控制点的数据存储方式，与传统的中心化存储服务（如Amazon S3或Google Cloud）形成对比。目前市场上的主流去中心化存储平台包括Arweave、Filecoin和Storj，它们各自采用了不同的技术和商业模式。Arweave专注于长期或永久存储，采用一次性支付模型；Filecoin和Storj则建立基于区块链的存储市场，提供灵活的存储方案。

主流去中心化存储

目前市面上主流的去中心化存储有Arweave、Filecoin、Storj。它们各自有独特的特点和设计理念：

• Arweave：专注于长期或永久性数据存储。
• Filecoin：提供类似传统云存储的去中心化市场，支持灵活的存储需求。
• Storj：侧重于提供安全和隐私保护的去中心化云存储服务。

这三个平台都使用了区块链技术，但它们的应用场景、技术实现和支付模型有所不同，各自适合于不同类型的存储需求：

1. Arweave

• 目标：提供一种长期的、永久性的数据存储解决方案。Arweave的目标是存储数据直到“永远”，主要用于长期数据保存。
• 技术：使用一种独特的区块链技术，名为“块织物”（Blockweave）。与传统区块链不同，块织物在每个新块中包含对早期随机块的引用，这样设计旨在鼓励数据的长期保存。
• 支付模型：用户为数据存储支付一次性费用，数据被存储后理论上可以永久访问。

2. Filecoin

• 目标：旨在创建一个去中心化的存储市场，类似于传统的云存储服务。
• 技术：Filecoin是IPFS（互联网文件系统）的激励层。它使用“存储证明”和“时空证明”来确保数据正确存储。
• 支付模型：用户根据存储的数据量和时间向存储提供者支付费用。这是一种更传统的租赁模式，用户可以根据需要增加或减少存储，并相应地支付费用。

3. Storj

• 目标：为用户提供一个去中心化的云存储解决方案，重点在于安全性和隐私保护。
• 技术：Storj使用加密和分片技术来保护数据的安全和隐私。数据在上传前在客户端被加密和分割成多个小块，然后分布式存储在全球范围内的节点上。
• 支付模型：Storj的支付模型类似于传统云存储，基于使用的存储空间和带宽计费。

对比之下，Arweave独树一帜，其所强调的永久存储，更加注重数据的抗审查和持久性。Filecoin和Storj都用了存储市场，注重使用区块链技术重构存储市场。

业务架构解析

Arweave进行数据永久存储的理论基础类似“摩尔定律”。根据对1980年至今的数据存储成本统计结果，存储成本每年在以20%的速率下降。按照该统计规律，无穷多年之后数据存储的成本会收敛为一个常数。Arweave永存则是以此为基础，计算了数据200年的存储成本。用户进行数据存储时将一次性支付这笔费用。

同时，Arweave设计了一个非常优雅简洁的数据挖矿机制。我们可以把它命名为“有效数据挖矿”。

所谓“有效数据”是指过去已经存储在Arweave网络中的数据，用户为这些有效数据支付了200年的存储费用。网络中另一个角色群体——矿工，他们是用有效数据进行挖矿，并提供了有效数据的读取服务。与其他存储区块链不同之处在于，Arweave不强制矿工存储数据，而是建立了激励规则鼓励每个矿工最大化的去存储“有效数据”。在Arweave网络里，矿工存储的“有效数据”越多，挖矿的“算力”就越大。

假设Arweave网络中有100TB的有效数据，对于矿工而言不是必选存储所有100TB的数据。也就是说，矿工仅存储100MB的数据就可以挖矿，只是该矿工的算力非常的微小。如果矿工选择存储所有100TB的数据，他所具备的算力将达到最大值。

在“有效数据挖矿”的机制中，Arweave网络激励矿工尽可能的去存储最多的数据，但不强制他们去进行所有数据的存储。那么该激励模式，数据是否存在丢失的可能性？下面是一个关于数据丢失的模拟演算：

其中第一行和第二行的0.5指的是单个节点存储了50%的数据。假设该区块网络有20万个区块，网络中有200个节点，每个节点都随机的存储了10万个区块（50%的区块数据），可根据概率计算出单个区块不可访问的概率为6.223^10-61。云服务提供的数据可靠性为99.9999999%，即10的7次方。上面的Arweave演算则达到了惊人的61次方。

Filcoin和Storj两者都是用区块链技术建立了一个数据存储市场。其中Storj主要改进是数据隐私性。本文主要讲解Filecoin的原理。

类似于传统的订单簿，用户使用Filcoin需要先到交易市场进行出价挂单，并注明数据存储的时间和备份数量，矿工会接收可以盈利的订单。为了保障整个交易市场的公平性，Filcoin建立了复杂的经济模型，设置了罚没和小额分期支付等多种规则。其核心技术是复制证明和时空证明。

• 复制证明：矿工向用户证明数据已经被专用的物理设备进行了存储。矿工每次进行证明存储用户的数据时，网络将向该矿工支付费用。
• 时空证明：如果仅有复制证明，并不能保障你的数据一直被存储，矿工可以仅在提交证明时存储这部分数据。为此Filecoin补充了时空证明，目的就是让矿工持续的存储这些数据。

总结以上，Arweave永存的依据和实现方案分别是：

• 永存的成本逐年降低
• 通过“有效数据挖矿”对矿工进行激励，实现数据永存

Filcoin和Storj是使用了区块技术创造的去中心化存储市场，他们的模式都类似于传统的交易市场的订单簿，由挂单人提供需求、矿工接受订单进行数据存储保障。Filcoin的核心技术要点是：复制证明和时空证明。

存储实操

将数据存储到Arweave有两种方式。第一种方式直接发送数据到Arweave节点，并支付AR。第二种方式是使用ANS-104（Bundled）数据绑定协议将数据批量打包到Arweave。

直接存储数据到Arweave

用户只需要准备一个持有AR到钱包即可完成该动作。使用下列代码，将一个命名为file.pdf的存储到Arweave：

更多文档参考：

使用ANS-104存储数据到Arweave（推荐）

Arweave的区块的出块速率较低，通常为2分钟左右，并且一个区块只能处理1000笔交易，这极大的限制了Arweave存储的交易笔数，尽管一笔Arweave交易的存储量是无限的，用户可以将100MB甚至10GB的数据通过一笔交易直接存储到Arweave。为了解决交易笔数的扩容问题，ANS-104应运而生。

ANS-104是一种多笔交易的绑定技术，可以一次性将数万笔不同的数据实体绑定到一笔普通Arweave交易中。可以类比Ethereum到Layer2Rollup解决方案，区别是ANS-104并不会损失数据的安全性，绑定的数据也是100%的完整数据存储在Arweave上。

使用ANS-104存储数据代码示范如下：

该代码使用了arseeding轻节点作为数据绑定服务，arseeding轻节点是完全开源的Arweave数据节点，支持所有Arweave原生节点接口并拓展了ANS-104接口。同时arseeding集成了跨链支付协议everPay，因此除了使用AR支付存储费用之外，用户和开发者也可以使用ETH、BNB、USDT和USDC等各种资产进行数据永存。

更多文档参考：

存储费用

目前Arweave上存储1GB数据为$7.5。

最新的存储费用参考：

检索和下载Arweave的数据

Arweave拥有标准化的GraphQL服务接口，任何个人和机构都可以按照标准去实现Arweave索引。下面是两个典型好用的索引网关：

• ArweaveNet网关：索引最全。
  链接：

• KNN3网关：实时检索arseeding节点数据，速度快。
  链接：

下载Arweave数据，仅需要知道数据的ARID或者ItemID即可，代码示例：

Filcoin的存储方法

很遗憾，Filcoin没有提供给普通用户和开发者的存储工具，对于普通开发者而言，Filcoin是一个不可用的状态。从零星的技术文档可以找到一些通过第三方服务商进行Filecoin存储的方案，但是仔细查看服务商的文档，大多数服务商也仅仅提供了IPFS存储，这些服务商不一定将数据存储到了Filecoin。可能由于笔者水平有限，实在找不到一个较好的途径将数据存储到Filecoin，同时也没有对应的接口可以直接从Filecoin获取数据。

Storj的存储方法

Storj的存储方式和Web2一样，开发者需要去官网注册并获取API-KEY。Storj的存储兼容AWS S3接口，这里就不再赘述。Storj的存储费用很低，1GB存储1个月仅需$0.004。不过折算为200年存储费用会比Arweave稍高，为$9.6。

存储实操可以看出，Arweave的交易处理模式和Bitcoin/Ethereum等区块链是一致的。Filecoin并没有提供可用的SDK和接口，很遗憾所谓的存储龙头大哥竟然对于开发者是不可用状态，不禁令人唏嘘。Storj的存储方式和Web2完全一致。

值得注意的是，Arweave是原生的区块链存储，数据一旦发送到Arweave之后是不可删除和不可篡改。Filcoin和Storj是租赁模式，项目方可以随时停止存储租赁服务，该模式下数据是不具备区块链特性的，数据特性和存储到中心化云服务是一致的。

为了更清晰的区分Arweave和Filcoin等数据存储的区别，我们可以把Arweave上的数据命名为“共识数据”，不论是BTC还是Ethereum上的数据，都属于共识数据，这些数据都具备不可篡改和可追溯的特性。Filecoin存储租赁市场所存储的数据不能称为共识数据。

发展前景

去中心化存储出现了两个完全的不同的业务线。其中以Arweave为代表的业务线以共识数据为核心，强调数据去中心化、抗审查、可追溯等特性。以Filecoin为代表的业务线是以去中心化市场为核心，强调分配存储资源和证明存储成功。类比DeFi的发展，早期的IDEX用区块链技术打造了订单簿市场，订单簿是非常传统的业务模型，旨在用挂掉吃单的模式解决票券兑换。DeFi的爆发是UniswapAMM交易模型带来的流动性挖矿技术，AMM让订单完全自动化运营，实现了流动性的组合性，最终迎来了DeFiSummer大爆发。当前的去中心化存储赛道里，Filecoin所代表的同样是区块链技术打造了订单簿市场，而Arweave则使用了类似AMM的统一模型对数据供需进行管理。Arweave统一模型更便于数据定价和处理，使用Arweave可以更方便的完成普通数据向共识数据的转化，这种共识之上的数据或将迎来“数据组合性”大爆发。

同时，不得不提及SCP理论（基于存储的共识范式），其核心思想是只要数据存储具备共识，那么使用这些数据组成的应用程序也可以形成共识。SCP强调链下计算，数据可以存到BTC、Ethereum等各条链上，通过聚合区块链上的数据形成唯一状态。既然这些状态在任何计算单元运行都会产生同样的结果，为什么我们还需要在链上对其进行运算？浪费如此多的计算资源？

目前火爆的BRC20，比特币铭文都使用了链下计算的共识。BRC20协议和ArweaveSCP所强调的存储共识是一致的，都是通过区块链作为数据层提供不可变、可追溯的交易数据，状态的计算完全在链下进行。借助Arweave的存储能力，SCP理论可以获得更强大的共识数据集。ArweaveSCP理论已经发展出一套工程上完备的应用方案——Permaweb，相当于比特币索引器的终极版本，Permaweb不仅可以处理资产，更可以处理文本、图片甚至视频。想象不久的将来，超级强大的索引器可以进行流媒体播放，打造出完全去中心化的抖音。

目前Permaweb方案支持的应用类型宽泛，不论是网盘、内容共创、游戏都能很轻易的使用该架构进行开发。Permaweb应用之间的数据可以相互组合。例如作家通过内容共创将创作的文字和版权上传Arweave，在另一款游戏中开发者可以直接引用作家的内容，并让玩家向作者进行版权付费。

目前DePIN遇到最大困境是区块链性能，DePIN设备将会走入千家万户，但是没有任何一条区块链能承载如此巨大的用户交互。大多数DePIN仍然采用了中心化的方式处理数据，这将让DePIN丧失去中心化的特性。共识数据可以为DePIN带来更强大的赋能，一旦DePIN数据永久化之后，这些数据也会获得组合性特征。例如一张绿色能源证，可以在区块链PoW运算时抵消能源消耗，可以在内容创作上成为一个标识，也可以在游戏中成为徽章。数据和价值将无处不在地流动。

共识数据也同样适用于AI人工智能领域。人类的知识和历史应当永存，共识数据可以保障AI无法污染和篡改人类的知识和历史。同样地，共识数据可以作为AI的最佳数据原料，让AI可以学习和处理各种有效信息。