去中心化存储概念、实操和前景
作者:outprog
审阅:0xmiddle
排版:Lawrence
摘要
目前市场上的主流去中心化存储平台包括 Arweave、Filecoin 和 Storj,提供了不依赖单一中心控制点的数据存储方式,与传统云存储服务形成对比。Arweave 专注于长期或永久存储,采用一次性支付模型;Filecoin 和 Storj 则建立基于区块链的存储市场,提供灵活的存储方案。Arweave 利用“有效数据挖矿”机制激励矿工,而 Filecoin 通过复制证明和时空证明确保数据存储。Arweave 的存储实操简便,而 Filecoin 和 Storj 分别面向专业市场和传统云存储用户。去中心化存储的未来发展前景广泛,特别是在数据的去中心化、抗审查和 AI 领域的应用。
去中心化存储是一种数据存储方法,不依赖单一中央控制点。这种方式与传统的中心化存储(如传统的云存储服务,比如 Amazon S3 或 Google Cloud )形成对比,后者通常由单一的企业或组织进行管理。
✦
主流去中心化存储
✦
目前市面上主流的去中心化存储有 Arweave、Filecoin、Storj。它们各自有独特的特点和设计理念:
Arweave 专注于长期或永久性数据存储。
Filecoin 提供类似传统云存储的去中心化市场,支持灵活的存储需求。
Storj 侧重于提供安全和隐私保护的去中心化云存储服务。
这三个平台都使用了区块链技术,但它们的应用场景、技术实现和支付模型有所不同,各自适合于不同类型的存储需求:
1. Arweave
目标:提供一种长期的、永久性的数据存储解决方案。Arweave的目标是存储数据直到“永远”,主要用于长期数据保存。
技术:使用一种独特的区块链技术,名为“块织物”(Blockweave)。与传统区块链不同,块织物在每个新块中包含对早期随机块的引用,这样设计旨在鼓励数据的长期保存。
支付模型:用户为数据存储支付一次性费用,数据被存储后理论上可以永久访问。
2. Filecoin
目标:旨在创建一个去中心化的存储市场,类似于传统的云存储服务。
技术:Filecoin是IPFS(互联网文件系统)的激励层。它使用“存储证明”和“时空证明”来确保数据正确存储。
支付模型:用户根据存储的数据量和时间向存储提供者支付费用。这是一种更传统的租赁模式,用户可以根据需要增加或减少存储,并相应地支付费用。
3. Storj
目标:为用户提供一个去中心化的云存储解决方案,重点在于安全性和隐私保护。
技术:Storj使用加密和分片技术来保护数据的安全和隐私。数据在上传前在客户端被加密和分割成多个小块,然后分布式存储在全球范围内的节点上。
支付模型:Storj的支付模型类似于传统云存储,基于使用的存储空间和带宽计费。
对比之下,Arweave 独树一帜,其所强调的永久存储,更加注重数据的抗审查和持久性。Filecoin 和 Storj 都是用了存储市场,注重使用区块链技术重构存储市场。
✦
业务架构解析
✦
Arweave 进行数据永久存储的理论基础类似“摩尔定律”。根据对 1980 年至今的数据存储成本统计结果,存储成本每年在以 20% 的速率下降。按照该统计规律,无穷多年之后数据存储的成本会收敛为一个常数。Arweave 永存则是以此为基础,计算了数据 200 年的存储成本。用户进行数据存储时将一次性支付这笔费用。
同时,Arweave 设计了一个非常优雅简洁的数据挖矿机制。我们可以把它命名为“有效数据挖矿”。
所谓“有效数据”是指过去已经存储在 Arweave 网络中的数据,用户为这些有效数据支付了 200 年的存储费用。网络中另一个角色群体 — 矿工,他们是用有效数据进行挖矿,并提供了有效数据的读取服务。与其他存储区块链不同之处在于,Arweave 不强制矿工存储数据,而是建立了激励规则鼓励每个矿工最大化的去存储“有效数据”。在 Arweave 网络里,矿工存储的“有效数据”越多,挖矿的“算力”就越大。
假设 Arweave 网络中有 100 TB 的有效数据,对于矿工而言不是必选存储所有 100 TB 的数据。也就是说,矿工仅存储 100 MB 的数据就可以挖矿,只是该矿工的算力非常的微小。如果矿工选择存储所有 100 TB 的数据,他所具备的算力将达到最大值。
在“有效数据挖矿”的机制中,Arweave 网络激励矿工尽可能的去存储最多的数据,但不强制他们去进行所有数据的存储。那么该激励模式,数据是否存在丢失的可能性?下面是一个关于数据丢失的模拟演算:
其中第一行和第二行的 0.5 指的是单个节点存储了 50% 的数据。假设该区块网络有 20 万个区块,网络中有 200 个节点,每个节点都随机的存储了 10 万个区块(50% 的区块数据),可根据概率计算出单个区块不可访问的概率为 6.223^10-61。云服务提供的数据可靠性为 99.9999999%,即 10 的 7 次方。上面的 Arweave 演算则达到了惊人的 61 次方。
Filcoin 和 Storj 两者都是用区块链技术建立了一个数据存储市场。其中 Storj 主要改进是数据隐私性。本文主要讲解 Filecoin 的原理。
类似于传统的订单簿,用户使用 Filcoin 需要先到交易市场进行出价挂单,并注明数据存储的时间和备份数量,矿工会接收可以盈利的订单。为了保障整个交易市场的公平性,Filcoin 建立了复杂的经济模型,设置了罚没和小额分期支付等多种规则。其核心技术是复制证明和时空证明。
复制证明:矿工向用户证明数据已经被专用的物理设备进行了存储。矿工每次进行证明存储用户的数据时,网络将向该矿工支付费用。
时空证明:如果仅有复制证明,并不能保障你的数据一直被存储,矿工可以仅在提交证明时存储这部分数据。为此 Filecoin 补充了时空证明,目的就是让矿工持续的存储这些数据。
总结以上,Arweave 永存的依据和实现方案分别是:
永存的成本逐年降低
通过“有效数据挖矿”对矿工进行激励,实现数据永存
Filcoin 和 Storj 是使用了区块技术创造的去中心化存储市场,他们的模式都类似于传统的交易市场的订单簿,由挂单人提供需求、矿工接受订单进行数据存储保障。Filcoin 的核心技术要点是:复制证明和时空证明。
✦
存储实操
✦
将数据存储到 Arweave 有两种方式。第一种方式直接发送数据到 Arweave 节点,并支付 AR。第二种方式是使用 ANS-104(Bundled)数据绑定协议将数据批量打包到 Arweave。
直接存储数据到 Arweave
用户只需要准备一个持有 AR 到钱包即可完成该动作。使用下列代码,将一个命名为 file.pdf 的存储到 Arweave:
更多文档参考:
https://github.com/ArweaveTeam/arweave-js
使用 ANS-104 存储数据到 Arweave(推荐)
Arweave 的区块的出块速率较低,通常为 2 分钟左右,并且一个区块只能处理 1000 笔交易,这极大的限制了 Arweave 存储的交易笔数,尽管一笔 Arweave 交易的存储量是无限的,用户可以将 100 MB 甚至 10 GB 的数据通过一笔交易直接存储到 Arweave。为了解决交易笔数的扩容问题,ANS-104 应运而生。
ANS-104 是一种多笔交易的绑定技术,可以一次性将数万笔不同的数据实体绑定到一笔普通 Arweave 交易中。可以类比 Ethereum 到 Layer2 Rollup 解决方案,区别是 ANS-104 并不会损失数据的安全性,绑定的数据也是 100% 的完整数据存储在 Arweave 上。
使用 ANS-104 存储数据代码示范如下:
该代码使用了 arseeding 轻节点作为数据绑定服务,arseeding 轻节点是完全开源的 Arweave 数据节点,支持所有 Arweave 原生节点接口并拓展了 ANS-104 接口。同时 arseeding 集成了跨链支付协议 everPay,因此除了使用 AR 支付存储费用之外,用户和开发者也可以使用 ETH、BNB、USDT 和 USDC 等各种资产进行数据永存。
更多文档参考:
https://web3infra.dev/docs/Arseeding/guide/quickStart
存储费用
目前 Arweave 上存储 1 GB 数据为 $7.5。
最新的存储费用参考:https://ar-fees.arweave.dev/
检索和下载 Arweave 的数据
Arweave 拥有标准化的 GraphQL 服务接口,任何个人和机构都可以按照标准去实现 Arweave 索引。下面是两个典型好用的索引网关:
ArweaveNet 网关,索引最全。
链接:https://arweave.net/graphql
KNN3 网关,实时检索 arseeding 节点数据,速度快。
链接:https://knn3-gateway.knn3.xyz/arseeding/graphql
下载 Arweave 数据,仅需要知道数据的 ARID 或者 ItemID 即可,代码示例:
Filcoin 的存储方法
很遗憾,Filcoin 没有提供给普通用户和开发者的存储工具,对于普通开发者而言,Filcoin 是一个不可用的状态。从零星的技术文档可以找到一些通过第三方服务商进行 Filecoin 存储的方案,但是仔细查看服务商的文档,大多数服务商也仅仅提供了 IPFS 存储,这些服务商不一定将数据存储到了 Filcoin。可能由于笔者水平有限,实在找不到一个较好的途径将数据存储到 Filcoin,同时也没有对应的接口可以直接从 Filecoin 获取数据。
Storj 的存储方法
Storj 的存储方式和 Web2 一样,开发者需要去官网注册并获取 API-KEY。Storj 的存储兼容 AWS S3 接口,这里就不再赘述。Storj 的存储费用很低,1 GB 存储 1 个月仅需 $0.004。不过折算为 200 年存储费用会比 Arweave 稍高,为 $9.6。
存储实操可以看出,Arweave 的交易处理模式和 Bitcoin/Ethereum 等区块链是一致的。Filecoin 并没有提供可用的 SDK 和接口,很遗憾所谓的存储龙头大哥竟然对于开发者是不可用状态,不禁令人唏嘘。Storj 的存储方式和 Web2 完全一致。
值得注意的是,Arweave 是原生的区块链存储,数据一旦发送到 Arweave 之后是不可删除和不可篡改。Filcoin 和 Storj 是租赁模式,项目方可以随时停止存储租赁服务,该模式下数据是不具备区块链特性的,数据特性和存储到中心化云服务是一致的。
为了更清晰的区分 Arweave 和 Filcoin 等数据存储的区别,我们可以把 Arweave 上的数据命名为“共识数据”,不论是 BTC 还是 Ethereum 上的数据,都属于共识数据,这些数据都具备不可篡改和可追溯的特性。Filecoin 存储租赁市场所存储的数据不能称为共识数据。
✦
发展前景
✦
去中心化存储出现了两个完全的不同的业务线。其中以 Arweave 为代表的业务线以共识数据为核心,强调数据去中心化、抗审查、可追溯等特性。以 Filecoin 为代表的业务线是以去中心化市场为核心,强调分配存储资源和证明存储成功。类比 DeFi 的发展,早期的 IDEX 用区块链技术打造了订单簿市场,订单簿是非常传统的业务模型,旨在用挂掉吃单的模式解决票券兑换。DeFi 的爆发是 Uniswap AMM 交易模型带来的流动性挖矿技术,AMM 让订单完全自动化运营,实现了流动性的组合性,最终迎来了 DeFi Summer 大爆发。当前的去中心化存储赛道里,Filecoin 所代表的同样是区块链技术打造了订单簿市场,而 Arweave 则使用了类似 AMM 的统一模型对数据供需进行管理。Arweave 统一模型更便于数据定价和处理,使用 Arweave 可以更方便的完成普通数据向共识数据的转化,这种共识之上的数据或将迎来“数据组合性”大爆发。
同时,不得不提及 SCP 理论(基于存储的共识范式),其核心思想是只要数据存储具备共识,那么使用这些数据组成的应用程序也可以形成共识。SCP 强调链下计算,数据可以存到 BTC、Ethereum 等各条链上,通过聚合区块链上的数据形成唯一状态。既然这些状态在任何计算单元运行都会产生同样的结果,为什么我们还需要在链上对其进行运算?浪费如此多的计算资源?
目前火爆的 BRC20,比特币铭文都使用了链下计算的共识。BRC20 协议和 Arweave SCP 所强调的存储共识是一致的,都是通过区块链作为数据层提供不可变、可追溯的交易数据,状态的计算完全在链下进行。借助 Arweave 的存储能力,SCP 理论可以获得更强大的共识数据集。Arweave SCP 理论已经发展出一套工程上完备的应用方案 — Permaweb,相当于比特币索引器的终极版本,Permaweb 不仅可以处理资产,更可以处理文本、图片甚至视频。想象不久的将来,超级强大的索引器可以进行流媒体播放,打造出完全去中心化的抖音。
目前 Permaweb 方案支持的应用类型宽泛,不论是网盘、内容共创、游戏都能很轻易的使用该架构进行开发。Permaweb 应用之间的数据可以相互组合。例如作家通过内容共创将创作的文字和版权上传 Arweave,在另一款游戏中开发者可以直接引用作家的内容,并让玩家向作者进行版权付费。
更多关于 Permaweb 的技术架构可以查看:《下一代互联网 Permaweb 雏型,SCP 理论下的去中心化微服务架构》
目前 DePIN 遇到最大困境是区块链性能,DePIN 设备将会走入千家万户,但是没有任何一条区块链能承载如此巨大的用户交互。大多数 DePIN 仍然采用了中心化的方式处理数据,这将让 DePIN 丧失去中心化的特性。共识数据可以为 DePIN 带来更强大的赋能,一旦 DePIN 数据永久化之后,这些数据也会获得组合性特征。例如一张绿色能源证,可以在区块链 PoW 运算时抵消能源消耗,可以在内容创作上成为一个标识,也可以在游戏中成为徽章。数据和价值将无处不在地流动。
共识数据也同样适用于 AI 人工智能领域。人类的知识和历史应当永存,共识数据可以保障 AI 无法污染和篡改人类的知识和历史。同样地,共识数据可以作为 AI 的最佳数据原料,让 AI 可以学习和处理各种有效信息。
很多关于 Arweave 的愿景可以查看《Arweave 的潜力是复兴亚历山大图书馆,而非 Filecoin 替代品》。
文章链接:https://foresightnews.pro/article/detail/4297
可以在 PermaDAO 公众号搜索 “SCP” 关键字,查看更多关于 SCP 的介绍和实践。
「捉虫」计划
若您在本文中发现错误,包括错别字、病句、描述错误、表意不明、描述冗余等问题或其他问题,可以向我们反馈,反馈将获得激励。点击「这里」反馈。
反馈有效期:文章发布时间后30天内。
PermaDAO 官网:https://permadao.com
PermaDAO 登船:https://onboard.permadao.com
PermaDAO 社区由 everVision 发起
Forward Research(Arweave 官方) 赞助
该文章仅作为观点陈述,不作为任何投资建议。