核心参考: Walrus Whitepaper v2.0 (Section 3.3 - Handling Metadata)
引言:存储的隐形成本
存 1GB 的电影不难,难的是存 10 亿个 1KB 的小文件。
在分布式系统中,管理“文件在哪里”、“哈希是多少”这些元数据(Metadata),往往比存储文件本身更消耗资源。如果处理不好,元数据会让网络拥堵不堪。
一、 线性 vs 二次方程
在传统的 Reed-Solomon 编码中,每个节点都需要知道所有其他节点的切片哈希,这导致元数据的开销是 Quadratic(二次方级) 的。随着节点数量增加,元数据会呈指数级爆炸。
Walrus 的 Red Stuff 算法引入了一个巧妙的优化:
"Storage nodes maintain an encoded version of the metadata... reduces the overhead to a constant per node." (Page 5)
节点不需要存储完整的元数据树,只需要存储跟自己相关的“元数据切片”。
二、 向量承诺(Vector Commitments)
Walrus 使用 Vector Commitments 来压缩证明。
白皮书提到,用户不需要上传所有的哈希,只需要上传一个承诺(Commitment)。
"The client creates a commitment over the list of these sliver commitments, which serves as a blob commitment."
三、 Sui 的高性能元数据引擎
最关键的是,Walrus 把元数据扔给了 Sui。
由于 Sui 的 Object 模型可以并行处理海量的小对象,Walrus 巧妙地避开了存储网络最头疼的“小文件元数据风暴”。这使得 Walrus 不仅能存大文件,也能高效处理海量小文件。