Filecoin 技术方案相对于 Dropbox 和百度云盘等传统成熟的云存储方案还有较大差距,需关注信息安全、用户体验等问题。
撰文:李硕淼 Frank,ParallelVC 投资副总裁
人人都在谈论的 Web3.0 究竟是什么?
互联网发展到现在已经经历了 Web1.0 阶段和 Web2.0 阶段两个阶段。Web1.0 阶段的网站多是静态网站,网络的使用者与网络信息之间没有交互的过程,使用者只能单一获取网络展示的信息,信息获取的有效性跟效率都相对较低。
随着网速的提升以及带宽的增加,人与互联网逐渐开始产生交互。2003 年,O’Reilly Media 的副总裁戴尔·杜赫蒂提出 Web2.0 的概念。
Web2.0 被称作可读写网络。在 Web2.0 初期,相较于 Web1.0,所有的网路用户可以自己创建内容并上传网络而不仅是从网络上获取信息,这大大增加了网络信息的丰富度。随着近些年来 AI,大数据等技术的进一步发展,人机交互又被提升到了一个新的阶段。用户在网上产生的浏览信息、点击以及搜索等网上行为数据被捕捉并记录,技术后台通过用户的实时数据结合其过往信息可以分析出较为精准的用户画像,并根据用户画像来为用户推荐相应的产品或者信息。这样,既提高了商家的购买转化效率,同时也使得用户体更快捷的发现自己可能想要购买的商品,使用户体验变得更好。
但是信息集中化在方便的同时也有一个很大的弊端,就是用户所有的数据在其没有没有感知的情况下,被平台手机并且使用,甚至连数据的归属权都是模糊不清的。
在 Web1.0 以及 Web2.0 的初期,因为用户数据量较少,数据维度也相对较少,因此用户的个人数据无法产生太大的价值。但是随着近些年来人们对于网络的使用权重加大,网络个人信息的价值也变得不可忽视。近两年,各国时有互联网公司侵犯个人隐私数据以及用户数据被盗的案例发生。 未来随着人工智能物联网(AIoT)、5G 网络的发展,个人网络数据的维度将会更加全面,也更具价值,使得数据安全和数据隐私变得更加重要。
Web3.0 的出现就是为了解决目前 Web2.0 所面临的问题。而区块链网络因为具有去信任化,不可篡改性及确权的功能与性质,很好的满足了作为 Web3.0 底层技术的需求。同时因为网络架构的变化让数据不再是单纯的数字而是具有价值属性的商品,也使得我们现有的数据网络慢慢转变为价值网络。
Web3.0 需要去中心化存储
如上文所述,如果想要构造一个去中心化的网络来保证数据的安全性和隐私性,那么就需要保证数据只能被其拥有者(数据产生者)所掌控,这包括获取或授权他人使用的权利。可惜的是,目前互联网中的存储方案都为中心化存储,主要存储提供商为亚马逊、阿里云、Google 云等中心机构。同时,现在网上产生的用户个人数据都被各平台及 APP 所占有,即使未来个人数据的归属权可以返回到用户本身,在中心存储的情况下,用户也无法确保其数据不被 APP 平台甚至存储提供商所使用或者修改。
除此之外,5G,AIoT 前沿技术正在快速发展,未来网络中的个人数据维度将会进一步增加,数据的价值也将会飞速增长。只有使用去中心化存储才能进一步保证数据的安全及隐私性。
如果没有去中心化存储技术作为去中心化网络的底层技术支撑,即使实现了去中心化的信息传输和去中心化计算,也无法真正保证数据的去中心化。因此,去中心化存储将会是未来 Web3.0 生态中一个必不可少的技术组成部分。
传统云存储现状
目前传统的云存储领域可以被划分为公有云、私有云和混合云三种形态。公有云是目前最为常见的云服务形态,公有云有技术供应商持有并管理,向多个客户方服务。同时,公有云又可以分为 SaaS、PaaS 和 IaaS 三种技术形态。
SaaS 是「Software as a service」的缩写,此类服务是将应用作为服务提供给用户,主要面向的客户为个人家庭用户以及中小企业用户,国内的主要服务商为百度网盘、腾讯微云,而国外主要为 Dropbox、iCloud 等。
PaaS 是「Platform as a service」的缩写,此类服务是将开发平台作为服务提供给用户,主要面向的客户为中小企业及个人开发者。中国头部 PaaS 平台有百度云,而国外主要为 Google App Engine 和红帽开发的 Openshift 平台。
IaaS 是「Infrastructure as a service」的缩写,主要把虚拟机、云存储原件等云计算资源作为服务网提供给用户。国内头部企业有阿里云以及华为云,而国外主要是亚马逊 EC2 在提供此类服务。
与公有云不同,私有云和混合云较多服务于大型企业用户。 私有云有一个企业或者组织使用及维护,用户在个性化等方面有更多的控制权,而混合云是将公有云和私有云进行混合和匹配,达到相对较高性价比的解决方案。
首先,可以分析一下国内个人用户对于云存储使用的数据:根据极光 2019 月 MAU 份额数据,前四名是百度网盘、腾讯微云、彩云和天翼云盘。
其中,百度网盘活跃用户份额达到了 82.9%。继续观察百度网盘的用户兴趣爱好 TGI,可以得出用户主要存储的数据为电影、动漫及运动相关的内容。
就公司层面来看,数据显示,目前 39% 的企业正在使用云存储相关服务(例如 AWS,、Azure、Google 云等),根据预测,到 2022 年使用云存储相关服务的企业将会达到 60% 左右。在美国的三大云存储公司中,微软 Azure 市场占有率达到了 44%,AWS 市场占有率约为 32%,而 Google 云的市场占有率只有 19%。在 Spiceworks2019 年公有云报告之中, Azure 也被评为了最有竞争力的云服务提供商。同时通过调查得知,79% 的企业业主其业务中主要使用的系统为 Windows 系统,微软的 Azure 云存储服务于 Windows 系统搭配有更好的产品体验。
目前的云存储服务架构已经相对比较成熟,用户可以根据自己的需求选择使用公有云、私有云或者混合云服务。其中在公有云服务中,用户又可以基于数据调用的频繁程度选择不同的存储方式,在不影响使用的情况下,最大程度上节约成本。
相对于云存储,目前接近 81% 的企业还是在使用传统的存储矩阵,也就是硬件存储。 目前 Dell EMC 的市场份额最高占比达到 42%。通过调查得知, 80% 的企业选择传统存储矩阵是因为其更高的可靠性,同时也认为相对于云存储,传统硬件存储的隐私性和安全性更高。
技术层面,传统云存储已经进行的 3 个阶段的迭代。第一个阶段是以为 NAS (Network Attached storage,网络附加存储 )和 SAN (Storage Area Network,存储网络)为底层的存储架构方案。此架构初步形成了云存储的方案,但是对于服务器地理位置较高同时,很难将不同的存储集群进行灵活调用,因此在容量和性能的扩展上都有较大的瓶颈。
第二阶段的开始是以 EMC VPLEX 体系架构的出现为标志的。VPLEX 在原始存存储架构的基础上,实现了虚拟存储及异构存储的功能,解放了存储硬件的地理位置限制,解决了跨集群的操作难题。通过智能分布式缓存进行整合,实现了跨主机、跨集群、跨数据中心的访问和共享数据,使得云存储在容量,扩展性上面有了较大的提升。其提供的服务与现在 IAAS 提供的服务相似。
第三个阶段是即目前云存储所在的阶段,目前的云存储底层架构为了云状结构,多个存储设备之间互相连接,根据不同的需求智能切换硬件设备,同时在原来的基础上也将多副本一致性,容灾,弹性扩展等方面做了较大改善。目前的云存储 SaaS、PaaS 平台都可以为用户提供简单易用的运存服务。
去中心化存储的发展情况
在目前的云存储基础架构中,分布式架构因为拥有高性能、多分布一致、支持分级存储等优点,已经成为标配。去中心化存储其实可以归为分布式存储其中的一类。
相对于其他的分布式存储方案,去中心化存储架构中数据中心将不完全有云提供商所拥有,而是由网络中多个节点共同提供,并通过将加密的方式将数据存入。通过这种方式,更好的解决的数据的隐私和安全问题,即使数据中心或者存储硬件提供方也无法获取到被保存的数据。
目前去中心化存储中,最有代表性的项目为 IPFS 及 Filecoin。IPFS 全称为「Inter Planetary File System」,中文名为「星级文件系统」。IPFS 是一个底层的网络传输协议相当于目前互联网世界中的 HTTP (超文本)协议。HTTP 是一个较为简单请求-响应协议,用于用户与服务器间的交互。
IPFS 的功能与 HTTP 类似,但将 p2p 网络的架构特点加入了其中。与 HTTP 协议相比,IPFS 协议更为高效。HTTP 为单线程通讯,每次在一个服务器上只能进行一个任务,而 IPFS 使用 p2p 的方式进行多线程下载,可以节省超过 50% 的带宽成本。同时,因为现在的互联网服务器的中心化属性,网络中的信息可以被完全控制并难以保存,但是如果使用 IPFS 等去中心化协议,只要信息被网络中的任何一个用户所拥有的,那么整个网络都可以获取到此信息。
在去中心化存储生态中,IPFS 主要是承担着底层技术协议的角色,其他的具体业务端方案将由 layer2 项目来具体实现。目前基于 IPFS 协议最有可能首先落地的便是 IPFS 团队自己开发的激励层 Filecoin,此项目目前已经开启了测试网络,最快将在今年开启主网。
除了 IPFS 之外还有很多项目在尝试落地去中心化存储,但目前都没有实际的进展,因此不过多介绍。
读懂 Filecoin
Filecoin 是基于 IPFS 协议建立的去中心化存储项目,通过协议为建立起用户和存储服务提供者之间的桥梁,来为用户提供去中心存储服务。
Filecoin 网络中的参与者可以分为存储矿工、检索矿工和用户三个部分。存储矿工为去中心化存储网络提供存储空间,同时抵押一部分代币在网络中,以防止矿工作恶。存储矿工需要向网络证明他们在特定的时间内存储了用户的目标数据,如果无法的话,将会扣除一定比例抵押的代币作为惩罚。
检索矿工在网络中主要负责为用户提供数据的检索服务,当用户发起需求之后,检索矿工需要在网络中找到相应的信息并发送给用户。同时网络对于矿工的参与程度没有要求,矿工既可以同时成为存储矿工和检索矿工,又可以只参与其中一项。
用户在使用 Filecoin 时也有较大的灵活性。一方面,用户可以将 Filecoin 网络当成一个网盘来进行使用,用户只需要表明自己想要进行存储的数据以及报价,系统将会对用户报价及矿工的报价进行撮合。当价格达成统一时,系统将用户的数据发送给存储矿工。
存储矿工根据数据的大小放入不同的扇区(存储单元)之中,然后对扇区进行封装并做切片处理,同时交易信息会被存储在网络中的哈希表中。在订单持续的过程中,节点将会不断地挑战矿工,检查矿工是否保存了此文件。这样便完成了存储的整个流程。
在数据的隐私方面,用户在创建存储订时可以选择自己存储的数据仅支持个人观看使用还是向全网公开。如果向全网公开,那么网中的所有人都可以通过检索矿工查询到此数据。用户将数据存储在几个不同的节点之中。
在共识算法方面,Filecoin 共使用了三种不同的共识算法:Expected Consensus、Proof-of-replication 和 Proof-of-Spacetime。
Expected Consensus 是 Filecoin 中用来规定出块规则的共识算法,是一种基于概率的拜占庭容错算法。根据 Expected Consensus,在生成每一个新的区块的时候都会选举出领导者进行出块。类似于 BTC 挖矿,被选出的概率与算力占全网算力的比例成正比,但是在 Filecoin 网络中是根据矿工提供的有效存储空间来计算而不是 BTC 网络中的计算能力。网络在每个区块生成之前,矿工会根据上一个区块 prove 的 ticket 值通过 VRF、VDF 的线性流程生成 newticket,然后通过比较 newticket 的数值和有效算力与全网总算力的比值来确认是否获得出块的资格。如果 newticket 小于其有效算力 / 全网算力,则此矿工被选举为出块矿工。
不同于 BTC 网络,Filecoin 的选举方式可能会出现无人出块或者多人作为 leader 共同出块的情况。当无人出块是,网络中此高度则显示为空块。因为也有同时多人出块的可能,所以 Filecoin 团队设计出了 tipset——tipset 是一个区块的集合。如 BTC 网络一样,因为网络延迟的问题可能会出现两个 tipset 的同时存在情况,但是最终网络将会根据 weight 来选举出唯一 tipset 并向下发展链式机构,每个区块的 Weight 的计算公式如下:
Weight = ParentWeight + ECV + ECPrM * ratio
目前,ECV 设置为 10, ECPrM 设置为 100,Ratio 是当前节点的存储有效率(节点存储的容量 / 所有节点的存储容量)。也就是说,在目前的算法下,节点的 ratio 高,Weight 就高。当 weight 相同时,ticket 数值小的 tipset 将当选。因为这样的技术设计也使得 filecoin 的底层架构更偏向于 DAG 结构。
Proof-of-Replication 共识算法用来证明矿工的确实完成了指定的工作。在 Filecoin 网络中,矿工的主要工作就是存储用户的数据。矿工需要把用户的数据封存在一个扇区之中,在封存的过程中系统将生成一个 DRG (Depth-Robust-Graph),也被称为 replica 值。只有生成 replica 值所对应的存储空间才可以被认定为有效存储空间。
Prove-of-spacement 共识则最后负责验证的步骤。在生成每一个新的区块是网络都会随机对矿工进行挑战,矿工需要提供 replica 值进行验证,通过零知识证明来进行验证。如果结果为正确,那么说明矿工正常存储了所封装的数据,其有效存储份额维持不变。如果其中有 replica 值无法正确验证,则此 replica 值对应的存储空间将会从有效存储空间中去除。
Filecoin 存在哪些值得关注的问题?
目前 Filecoin 的技术方案相对于传统成熟的云存储方案还有较大的差距,下面将对 Filecoin 目前的问题进行简单的分析。
信息安全问题
相较于传统的中心化存储,去中心化存储最大的优势就是可以更好地保护数据安全的隐私性。但是 Filecoin 目前设计却使人们对于数据的安全性和隐私性提出质疑。
具体来看一下用户存储的流程:在订单匹配成功过之后,用户会将原始数据直接发送给矿工,这时用户的数据是没有经过加密处理的和切分处理的 。矿工可以直接访问完整的用户数据,而且无法被网络或用户所察觉。按照此技术方案运行,Filecoin 中用户个人数据的隐私安全性将会受到比较大的威胁,其安全性和隐私性甚至要弱于传统的云存储方案。同时,在存储流程的较早期就有造成数据直接泄露的漏洞,那么后续流程中的加密、切分等保证数据隐私的方法也变得没有太大的意义。
另一方面,因为一个用户的所有数据都单一的存储在一个矿工的硬盘中如果矿工因为某些原因放弃继续挖矿,那么用户存在此处的数据将会从网络中完全丢失,且网络中没有设定相关的机制让用户在矿工推出之前取回自己的数据。那诸如此类不可以预测事件也使得存在 Filecoin 网络中数据的安全性和可靠性大大降低。
同时根据之前该项目 AMA 中提到的信息,Filecoin 只是一个协议来协调存储提供者与使用方的需求,无法要求存储提供者做出指定操作。虽然这样减少了去中心化风险,减少了平台操控用户数据情况的发生,但却降低了存储提供者的作恶成本,即使存储适用方要求存储提供者删除或者销毁其存储的数据,存储提供者也可以欺骗用户私下拷贝用户数据甚至强行不执行用户要求。目前传统云存储的技术设备或服务提供方皆为大公司,在问题发生之后可以立即明确责任方并开始解决问题,但是像 Filecoin 等去中心化网络中的矿工相对较为分散且不知名,这样对于问题发生后的后续解决也造成了很大的阻碍,使得其综合安全性反而弱于中心化存储。
用户体验问题
按照白皮书里面描述的整体来看,Filecoin 用户的使用体验应该较差。首先,Filecoin 项目除了最简单的存储功能之外,没有向用户提供任何的附加技术类服务,例如容灾解决方案,用户只能通过将自己的文件多存到几个不同节点的方式来应对存储单元掉线、损坏等导致数据无法访问、甚至数据丢失的问题。对于不了解技术、不懂得容灾的用户,可能会导致用户数据的永久丢失。
此外,因为上面提到的信息安全问题,如果用户想要进一步确保自己的数据的安全,需要在存储文件前先对文件进行加密。这样对于用户的操作要求较高,使得用户体验更加不好。
存储技术方案不完备
目前 Filecoin 技术方案尚不完备,是影响用户使用其存储网络的一个重要原因,例如上面提到的容灾问题。按照 Filecoin 目前的设计方案,用户每次存放的数据将会由一个矿工独立存储,而且其他矿工不会主动存储此文件的备份。这样对于容灾技术的要求是大于传统云存储的,因为传统云存储主要是因为设备本身技术原因,但是 Filecoin 在防止设备本身技术出现故障同时,还需要防止存储矿工因为各类主关原因停止提供服务的情况发生。造成这类情况的的因素将远远多于造成单纯的技术故障的因素,同时解决方案也会复杂的多。
目前 Filecoin 解决容灾问题的方法是让用户将数据存在多个矿工处来做主动备份,但是在网络早期,因为矿工本身的不稳定性,也不能排除多个备份数据丢失、甚至全部备份丢失的情况发生,这样对于用户和网络的运行都将会是非常大的打击。
同时,因为单纯的主动备份,也会使存储网络的冗余的问题无法被解决。传统存储中,因为存储是中心化的,系统可以根据对后台的所有数据进行分析处理以及优化,去除重复数据提高存储网络效率。虽然因为去中心化的特性无法对用户存储的非公开数据进行此类处理,但是对于用户存储的可公开数据,如何结合 IPFS 网络特性来去优化数据存储结构,是团队需要仔细研究的一个方向。
上面提到的三个问题在不同的层面制约了 Filecoin 未来的发展。从文章最开始对于传统存储市场的分析可以看出,目前的存储市场基本分为两大类:第一类主要是是服务于个人及小型企业用户使用,主要是是以 SaaS 的平台的技术形式所存在。SaaS 平台的用户体验以及产品多样程度多经过多年的发展已经变得相对比较成熟,同时向百度网、Google Drive 等云盘类应用,在文件传输、文件搜索或是协同办公等方向有着各自的特点及优势,Filecoin 本身在于其竞争中就占不到什么优势。如果在数据安全方面还存在着漏洞,那么 filecoin 在这场竞争中将无法生存。
即使数据安全问题得到了解决,从真实的存储需求层面来看,目前 Filecoin 的发展也不容易乐观。通过文章开头提供的中国网盘用户存储数据可以看出,目前云盘使用用户的 TGI 前三位主要为电影、运动和动漫。而这些类型相关的视频或图片类数据更注重的是传播性而不是隐私性,那相较于去中心化存储,能够供用户分享或者查询的传统网盘会更占优势。
真正对于去中心化存储有需求的的数据大致分为两类: 一是像个人照片、隐私文件等类型数据对去中心化存储的需求更大,但此类数据在目前的存量市场中相对较小。二是未来的个人 IoT 设配产生的个人数据,但因为现在想小米等头部 IoT 设备公司将用户数据看做重要的资产,并能通过其产生巨大的价值,所以在没有具体规定的推动之下,头部公司是不会将用户的数据返还给客人的。如果头部企业不愿意归还个人数、且不适用去中心化存储,那么即使个人用户有意愿使用也没有意义,因为没有达到其根本的目的。
第二类用户就是大中型企业,大中型企业使用云存储主要是存储公司相关数据,因此对于存储方案的可靠性、安全性以及隐私性都有较高的要求。目前传统解决的方法包括公有云、私有云、混合云以及传统存储矩阵四种解决方法,私有云的和传统存储硬件的搭配解决了公司客户对于公有云在数据隐私性上面的顾虑,同时也可以满足客户对于存储方案可靠性以及安全性的需求。目前 Filecoin 在三个方面都落后于传统云存储方案,因此无法与其竞争。而相较于传统存储矩阵,去中心化存储所带来的的好处也不是传统存储矩阵使用者所以追求的,因此很难在这些用户之中来做转化。对于去中心化存储,未来不仅可以保证数据可靠性、安全性、隐私性,还能使价格低于现在传统的云存储方案的情况下,才有可能开始发展 ToB 相关业务。
除去技术因素, Filecoin 项目的不确定因素也较多。
首先是团队因素,2018 年两次的主网上线承诺都没有兑现,挖矿从 CPU 挖矿转变为 GPU 挖矿,同时在测试网阶段又改变挖矿规则。虽然之后的改变是防止矿工恶意刷垃圾数据,但是如此频繁的改变使用户和网络参与者对其的信任度降低。
另外,到目前为止,Filecoin 挖矿奖励的机制以及分发规则也都没有确定,这也使得项目的不确定性进一步增加。
最后,Filecoin 的挖矿逻辑不同于其他 POW 类型的挖矿,项目需要矿工长期的参与并且不能中间退出,因为矿工的退出可能到时数据的永远丢失,但是 Filecoin 挖矿的具体细节过于复杂,收益情况也较难预算,这也使得不可控因素增加。到时候能不能有足够的矿工参与并顺利留下是值得关注的问题,同时中途矿工的离开会对网络造成多打的影响也只能等主网上线之后才能判断。
在价格方面,因为 Filecoin 存在上面提到的各种技术和产品方面的问题,需要一个相对传统云存储极具吸引力的价格来降低用户的使用成本。
梳理主流的云存储 SaaS 应用
通过上述分析可以知道,在目前阶段 Filecoin 主要的竞争对手将会是传统云存储体系中的 SaaS 类应用,那么下面会梳理一下目前市场上主流 toB,toC 的 Saas 服务收费方案供读者参考:
Dropbox
个人版本免费提供 2G 的存储空间,Plus 版本提供 2T 的存储空间同时提供文字搜索,手机端离线存储等服务每月为 78 元人民币,professional 版本提供 3T 的存储空间,同时在 PLUS 的基础上提供了 AutoOCR、文件协同编辑、文件加锁等服务,每月为 130 元人民币。
toB 版本,plus 为 81 元每月每,提供 5T 的存储空间 2G 的文件传输容量,3 人起售。Professional 版本为 130 元每月每人,提供无线的数据空间,以及 300G 的文件传输容量,同样也是 3 人起售。
Box
个人版本免费提供 10G 的存储空间,上传单个文件大小限制为 250M。收费版本分为 5 美金 / 月、15 美金 / 月 ,25 美金 / 月 ,35 美金 / 月。5 美金计划提供 100G 存储空间,上传单个文件大小限制为 2GB;15 美金机会提供无线存储空间,上传单个文件大小限制为 5GB,同时可以将 box 与一个 app 连接,将 app 数据直接存储到 box 当中,25 美金计划允许连接 3 个 app,而 35 美金计划则允许连接无限个 app。
百度网盘
百度个人网盘的付费计划如上图所示,超级会员每月为 18 元,普通会员为 8 元每月,非会员在完成任务前拥有 15G 的存储空间,在完成一系列分享任务后将获得 2T 的存储空间。
上图展示了百度企业网盘的介绍及价格情况。
相比上面列举的三个中心化存储提供商,Filecoin 在企业级服务方面还很难与其竞争。在个人服务方面,Filecoin 只有定制更灵活的付费计划以及更低廉的价格,才能与其竞争。同时 Filecoin 及其他分布式存储类项目也需要尽力丰富其附加功能来提高自身的竞争力。
去中心化存储发展展望
相对于中心化云存储行业在技术架构及运营模式等方面已经相对成熟,去中心化存储的概念在近两年才被提出,不管是在技术设计还是运营方式上都有很大提升的空间。去中心化存储的发展应该充分借鉴目前已经成熟的云存储方案,并根据其本身的特点对方案加以改善。
完全否认之前中心化存储的所有技术方案是过于草率的,试图直接使用新的不完善方案代替原来的方案,也较难受到市场认可。只有在创新和传统之间找到好的平衡点,才可能创造出符合市场需求的产品。
目前来看,像 IPFS 一样重新建立底层网络协议是一个非常好尝试,但是其使用性相对较差,很难达到存储用户的根本需求。
相对来说,如果能在目前的公有云上使用区块链技术搭建一个隔层,可能会是一个更好的选择方案,因为这种方案不但可以综合调度高性能的存储资源,还能保证用户信息的隐私性,同时也可以充分的享受传统云存储完备的存储技术体系。 这样的落地方案可以相对来说较为快速的实现去中心化的需求保证数据的安全性及隐私性,同时又给予了去中心化存储技术充分的发展时间。不仅给户用户时间和机会去更充分的了解中心化存储,也有利于未来去中心化技术的大规模落地。不过不可否认的是,只有通过不断地创新和尝试,去中心化生态存储才能开拓出一条适合自己的道路。
来源:链闻