tMPT: 区块链分片重组实现方案 (IWQoS’23)

Huawei Huang, Yetong Zhao,  Zibin Zheng*, “tMPT: Reconfiguration across Blockchain Shards via Trimmed Merkle Patricia Trie”, IEEE/ACM International Symposium on Quality of Service (IWQoS), June 2023.

近日,HuangLab 最新的一篇区块链分片技术的论文,被国际会议 IWQoS 接收,该会议2023年的论文接受率为 62 / 264,竞争颇为激烈。本篇论文简介如下。

一、研究背景与动机

分片技术是提高区块链可扩展性的一种可行的技术路线 [1-4]。通过将所有共识节点划分至多个分片中,分片技术可以帮助区块链实现对交易的并行处理。因此,分片技术可以大大提高区块链网络的吞吐率,适用于交易到达速率高的区块链平台。

然而,分片技术的引入将区块链系统的安全性从整个网络分摊至单个分片,因此需要一定的保护机制来保证每个分片的安全性。而分片重组是一个较为可行的增强分片区块链系统安全的手段。在分片重组的过程中,当共识节点迁移到一个新的分片时,该节点需要同步新分片中的交易或账户的状态等信息,以便能够允许共识节点在新分片中可以进行交易的验证。Elastico [1] 提出定期对各个分片的节点进行定期洗牌,然后将共识节点随机分配给各个分片。RapidChain [2]、Omniledger[3] 等论文则设计了允许分片节点部分同步的方法,以便减少分片重组过程对整个区块链系统的影响。

通过调研现有的区块链分片相关的工作,我们发现对于分片区块链的分片重组的研究尚处于很初始的阶段,尚且缺少一个对分片进行重组的实现方案。本文展示我们提出的一种分片重组方案,旨在减少分片重组所需的时间,同时确保分片区块链系统的安全性。

图1  分片区块链的分片重组过程

二、本文贡献

  • 本文提出了一个分片重组协议,在保证分片系统安全性的同时,还可提高分片重组的效率。
  • 我们为分片重组协议设计了 trimmed Merkle Patricia Trie (tMPT) 数据结构,并运用 tMPT 对分片内的状态树进行压缩,旨在提高分片重组的效率。为了进一步减少分片重组过程对区块链系统的影响,我们还进一步提出了一种分片间部分重组的方案。
  • 我们在模拟系统上对分片重组过程进行了原型系统的实现,并将其部署在阿里云服务器中。实验表明,本文提出的方法在分片重组效率上优于现有的数据同步方法,所提出协议的吞吐量比以太坊的“完全同步”(Full Synchronization)的方法高 198%。

三、提出协议的简介   

1. 核心思想

根据 Ethanos [5] 的调查结果,以太坊上的交易存在着“时间局部性”,即部分账户在一周内会进行多次交易。这些活跃账户的状态数据也会在短时间内经历多次更新。受此启发,本文提出的方案通过仅在分片重组时才为共识节点同步活跃账户的状态数据,这样可大大减少分片重组时传输的数据量,从而可提高分片重组的效率。

2. 系统简介

2.1. 角色介绍

所提出的协议包括两种类型的节点和对应的两种类型的分片。

  • 验证节点 (Validator node). 验证节点保存其曾参与验证的历史区块的数据和对应的账户状态。通过存储活跃账户状态,验证节点可以进行新区块的交易验证;通过存储历史区块数据,他们可以为用户提供历史区块查询服务。验证者节点组成多个验证分片。
  • 见证节点 (Witness node). 见证节点保存全网的账户状态和节点数据,负责生成重组方案并帮助验证节点进行交易验证。见证节点组成见证分片。

2.2. 系统运行流程

图2  分片重组协议运行流程

如图2所示,我们将系统运行过程划分为共识阶段重组阶段。共识阶段中,验证分片执行片内共识,处理交易并出块。重组阶段中,见证分片生成重组方案,协助验证分片进行分片重组,并更新账户状态信息。具体步骤如下:

  • Stage 1. 每隔一定的出块间隔,见证分片利用VRF随机函数生成一份重组方案,并在分片内对该重组方案进行共识。
  • Stage 2. 重组方案被广播至全网,各分片在当前区块共识完毕后进入重组阶段。
  • Stage 3. 重组阶段开始。各工作分片分片遍历当前状态树,删去状态树中最近访问周期小于k的节点,得到epoch k的部分状态树.
  • Stage 4. Epoch k的部分状态树被发送至重组后该分片的对应的验证节点和见证分片。
  • Stage 5. 编排状态树信息。验证分片收到各分片发来的状态树,并于该分片的历史状态信息进行合并,得到各分片的全局状态信息。
  • Stage 6. 验证分片和见证分片均对本分片内更新后的状态信息进行共识。共识完成后,各分片进入共识阶段执行交易验证和出块。

四、实验结果

实验设置:本文使用 Golang 语言在实验室自行开发的区块链模拟器(名为 blockEmulator)上实现了 tMPT 协议。这里顺便提一下,blockEmulator 即将开源!敬请关注。我们收集了以太坊 2018 年 7 月 20 日到 2018 年 7月 24 日的 1,500,000 条转账交易作为实验数据来源,实验中将区块大小和出块间隔分别设置为 1000 笔交易和 4 秒,系统包含四个验证分片和一个见证分片,各分片包含 4 个共识节点。原型代码部署在租用的阿里云服务器。

主要实验结果:我们首先测试了不同重组方法所对应的区块链系统的 TPS。如图3所示,我们提出的 tMPT 和 partial tMPT 方法的 TPS 明显优于其他所有方法,且 TPS 分别为 Ethereum full sync 的 3 倍和 3.4 倍。

如图4所示,随着时间的推移,各 baseline 方法的 TPS 呈下降趋势,而 tMPT  和 partial tMPT 方法的 TPS 维持在一个稳定的水平。

图5 和 图6 展示了不同方法下的重组时延和数据量大小。结果表明,除了 tMPT 重组方法外,其余方法重组时传输的数据量都随着交易进行而不断增加,与之对应的重组时间也呈不断上涨的趋势。而由于 tMPT 只传输单个 epoch 对应的活跃账户的状态,因此重组时传输的数据量维持在一个相对稳定的水平,重组时延也保持在一个平稳的趋势。当交易执行到最后一个 epoch时,tMPT 的重组时延和传输数据量大小分别为 Ethereum full sync 的 2.8% 和 13%。

图3 平均吞吐量对比
图4  吞吐量随时间变化
图5  重组时延随时间变化
图6  重组数据随时间变化

五、本文总结

本文提出了一种基于 tMPT 的分片重组方案,旨在保证分片区块链安全性的同时提高分片重组效率。tMPT 状态树可以将重组时节点同步的状态信息进行压缩,并引入见证分片协助完成重组过程以及对非活跃账户交易的验证。此外,我们也对重组过程中系统安全性进行了理论证明。实验结果表明,本文所提出的基于 tMPT 的重组方案在交易吞吐量和重组时延等方面显著优于其他方法。

六、提出的机制应用到工业界的前景分析

分片区块链底层技术仍处于研究探索阶段,还面临诸多问题和挑战需要解决。制约分片区块链技术大规模应用的关键因素在于提高吞吐量的同时还需要确保区块链网络的安全性。本文提出的基于tMPT 的协议为分片区块链技术路线的分片重组环节提供了一个安全高效的实现方案。

参考文献

[1] Luu L, Narayanan V, Zheng C, et al. A secure sharding protocol for open blockchains[C]//Proc.of ACM SIGSAC Conference on Computer and Communications Security (CCS’16). ACM,2016:17-30.

[2] Zamani M, Movahedi M, Raykova M. Rapidchain: Scaling blockchain via full sharding[C]//Proceedings of the 2018 ACM SIGSAC conference on computer and communications security. 2018: 931-948.

[3] Kokoris-Kogias E, Jovanovic P, Gasser L, et al. Omniledger: A secure, scale-out, decentralized ledger via sharding[C]//2018 IEEE Symposium on Security and Privacy (SP). IEEE, 2018: 583-598.

[4] Wang J, Wang H. Monoxide: Scale out blockchains with asynchronous consensus zones[C]// Proc. of 16th USENIX Symposium on Networked Systems Design and Implementation (NSDI’19). 2019:95-112.

[5] Kim J Y, Lee J, Koo Y, et al. Ethanos: efficient bootstrapping for full nodes on account-based blockchain[C]//Proceedings of the Sixteenth European Conference on Computer Systems. 2021: 99-113.

(HuangLab出品,必属精品)

新书预告|从区块链到 Web3

受人民邮电出版社的邀请,黄老师与团队即将出版第一本科普书籍,书名为《从区块链到 Web3》,预定2023年4月出版,目前书稿已经处于出版社校对流程。敬请大家期待!

《从区块链到Web3》预览版首页

点击这里下载/查看《从区块链到 Web3》

这里趁机简介一下这本书的定位与特色

定位:
笔者在构思这本书时预设了一个定位:在内容方面我们力求跟市面上大部分关于 web3、区块链与元宇宙的技术书籍都不一样。笔者并不寻求将区块链与 web3 相关的内容“一网打尽”,而是着重于对 web3、区块链与元宇宙的生态方面做出深入思考、总结与展望,以期在这些被誉为“下一代互联网”的技术范式被大众认知的早期阶段,就去启发大众探讨这些技术背后的社会意义。

特色:
本书最大的特点,不是包罗万象,不是把所有的基本知识点都收罗进来,而是带着警惕与批判的眼光对 web3、区块链、与元宇宙行业演化过程中存在的问题进行审视,对蕴含的风险进行剖析,对潜在的机会进行发掘。在帮助读者了解必要概念的同时,理清这些概念之间的关系,警示行业风险,帮助读者掌握从区块链到 web3 的发展脉络,避免陷入对科技新潮流的盲目跟风。

面向的读者群:
本书面向所有对 Web3 感兴趣的读者。假如读者对区块链技术原理有一定的了解,那么,读者朋友将会对本书讨论的一些话题会更容易产生共鸣感。所以,为了更好地理解本书所探讨的话题,笔者建议读者预先学习一些区块链的基础知识,比如区块链的底层架构,共识协议,智能合约等等相关的概念。

愿景:
笔者希望通过本书能激发读者朋友积极探索适合于国内 web3 生态发展的路径,并带着开放的心态去思考 web3 可能带来的社会价值。

Web3.0、区块链与元宇宙哪个范畴最大?

黄华威,林建入,杨青林,2022年11月13日

今天我们探讨一个问题,如题。这个问题来自于笔者的一个金融从业的朋友。这个问题无论是从问题本身还是从问题的提出者的社会角色来看,无疑都是很有代表性的,因此笔者将对这个问题的看法整理为这篇文章。

一、概括地理解三个概念之间的关系

其实这个问题包含了三个独立的概念,即 web3.0、区块链、以及元宇宙。我们先简单粗粒度地探讨一下它们之间的关系,总结为如下三条:

  1. Web3.0 可以不使用区块链,也可以不涉及元宇宙。
  2. 区块链可以不涉及 web3.0、也可以不涉及元宇宙,比如比特币就跟这两者都没有直接关系。
  3. 元宇宙可以不使用区块链、也可以不涉及 web3.0。

当然上述这些完全无关的模式,笔者只是说存在这样的例子,不是说这三个概念就是相互完全无关。具体原因我们稍微展开讨论一下。

首先,笔者认为元宇宙的叙事最宏大。而且,从消费者的角度来说,普通用户对元宇宙的感受也最为直接。毕竟人是视觉动物,而元宇宙呈现给用户的视觉效果特别的新奇,而且这种在虚拟世界中的体验是与现实世界截然不同的。

其次,从产业的角度来说,区块链的影响最深远。这是因为区块链影响的是其他两者的底层经济基础设施,以及创造了新的经济模式。所以,我们说区块链的影响最深远,但是消费者对区块链技术的感知,其实不会那么强烈。

然后,普通用户可能在不久的将来最先能看到 web3.0 影响广泛的产品。Web3.0 的最大价值是通过采用新型数字经济模式提出的全新解决方案来解决现有商业模式的核心矛盾。实际上 web3.0 的基本诉求是:在商业上做到 “去寡头化”。在模式上,web3.0 尊重个人用户的自主选择。关于现在传统寡头化的商业模式与“去中心化金融”模式之间的矛盾已经很明显了,老百姓其实都能看明白。另一方面,从技术的角度来看,市面上也已经问世了很多 web3.0 模式的解决方案。因此,笔者认为,web3.0 是普通用户能够看得见的未来。

二、进一步地探讨三个概念之间的关联

接下来,笔者进一步系统地探讨一下这三个概念之间的关系。

Web3.0、区块链以及元宇宙相互之间的关系

如图所示,我们从4个角度来剖析:从发展历程的角度,从产品分类的角度,从生态体系的角度,以及从技术体系的角度。

首先,无论从哪一个角度来看,区块链无疑都是其他两者底层共同的基础设施。所以,我们主要来探讨 web3.0 与 元宇宙之间的关系。

从发展历程上看,web3.0 与 元宇宙沿着各自的逻辑发展,二者的发展早期并无任何的关联。具体来说,web3.0 的名词首次在 2000 年附近第一次被 Tim Berners Lee 提出。稍后,2006年 web3.0 的概念被 Jeffrey Zeldman 在一篇抨击 web2.0 的博客中提出。后来,跟区块链相关的 web3.0 的定义被 Gavin Wood 在 2014 年提出并阐释。反观元宇宙,早期的元宇宙经历了上世纪 90 年代的概念的孕育期,2000 年后的形态塑造期,以及 2021 年起始的快速发展期。可见,web3.0 与元宇宙的早期发展历程并无明显的“瓜葛”。

从产业分类的角度来看,web3.0 跟元宇宙产生了交互。这是因为元宇宙的构建者意识到元宇宙需要一个经济系统,而这个经济系统不是被一家独大的某个企业所控制。恰好,web3.0 基于区块链技术可以为元宇宙构建去中心化的数字经济系统。

进一步地,乐观的概念主义者把 web3.0 与元宇宙同时称为“下一代互联网”,而且二者在生态体系的角度看似是几乎重合的。这是一个值得辩证的观点。

最后,在技术开发者的眼里,他们可不认为二者是重合的,而是呈现出一个相互支撑的关系。比如,web3.0 可以为元宇宙提供去中心化的经济系统(DeFi)、去中心化的组织形式(DAO)、还有丰富多彩的 NFT,等等。元宇宙可以为 web3.0 提供可以施展拳脚的空间与平台。



后记:本公众号在过去2个多月陆续分享了黄华威老师创建的《Web3与元宇宙》8次课程,包括课堂录音与 PPT。第一次访问本公众号的朋友可以往前翻看具体了解。在课程内容公开之后,黄华威老师陆续收到了出版社的邀请,建议把《Web3与元宇宙》的课程内容结集出版为书籍,书名暂定为《从区块链到 Web3》,以便让更多的人了解 Web3 与元宇宙的知识。正好,黄老师团队也正有此意。目前,本书已经完成初稿。黄老师带领编写团队正在进行校对,整书有望在3~4个月内出版面世。

趁此机会,简单介绍一下即将要出版的《从区块链到 Web3》通识读本的定位与特色。与市场上同类书相比的优势与特点:在内容方面我们力求跟市面上大部分关于 web3 与元宇宙的技术、科普书籍都不一样。我们并不寻求将区块链、元宇宙与 web3 相关的概念与内容 “一网打尽”,而是着重于对 web3.0、区块链 与 元宇宙 的生态方面做出深入思考、探讨、总结与展望,以期在这些被誉为 “下一代互联网” 的范式被大众广泛认知的早期阶段,就去探讨这些技术与概念背后的社会意义。

本文内容就来自于《从区块链到 Web3》书稿的一个章节,现在提前通过本文呈现出来,也算是为我们将要出版的《从区块链到 Web3》通识读本的一个预告。

期待大家后续的关注!

2022年内CCF-A/B类会议收录的区块链论文的分布统计

黄华威,孙浩瀚,2022年10月9日

一、背景

投稿是论文发表过程中一个不可忽视的重要环节。只有知彼知己,找准合适的会议和期刊,才能有针对性地进行投稿,使论文成果得以有效、快速地发表。 CCF-A类推荐会议与期刊列表是国内计算机学科类各个研究方向声誉最好的论文发表指引。虽然在每一个领域都有若干推荐的A类顶会,但并不是所有CCF-A类会议都适合作为区块链相关研究论文的投稿对象。为了了解各个CCF-A会议以及部分高水平B类会议对区块链相关研究论文的不同偏好,也同时为了有效避免“表错情、会错意”的投稿失误,我们特此整理了2022年内的区块链论文在各个领域方向CCF-A类顶会及部分高水平B类会议上的分布情况。希望对区块链方向众多科研同行有所帮助。

同时,这里也提一下我们在2021年做过相同题目的统计,结果与2022年的稍微不同。感兴趣的读者可以对比一下这两年的情况。传送门:《2021年内CCF-A类会议收录的区块链论文的分布情况

二、区块链论文在A类会议的分布概况

通过对每个学术会议发表论文标题中包含的 “blockchain”、“smart contract”、“consensus” 等关键词进行人工搜索与筛选,我们发现2022年内发表在CCF-A类会议及部分高水平B类会议中与区块链有关的 Full Papers 共有46篇。其中各个领域内区块链论文的分布与数量总结为如下两幅图所示:

图1:46篇区块链论文在CCF推荐领域的数量分布
图2:46篇区块链论文在CCF推荐领域的占比

三、区块链论文在六个类别的分布

我们首先将这46篇区块链相关研究论文粗略地分为6类:区块链性能优化、区块链安全、区块链分析、区块链应用、智能合约、以及共识协议。

那么,这46篇区块链论文在各个类别的数量及比例如下2幅图所示:

图3:在6个类别的论文数量
图4:在6个类别的比例

四、各个研究领域适合投稿的A类会议总结

  • 1. “智能合约”方向接收论文较多的A类会议为:ISSTA、CCS
  • 2. “区块链性能优化”方向接收论文较多的A/B类会议为:INFOCOM、CCS、NDSS
  • 3. “区块链分析”方向接收论文较多的A/B类会议为:CCS、ICDCS
  • 4. “区块链安全”方向接收论文较多的A类会议为:ICDE、S&P
  • 5. “区块链应用”方向接收论文在A类会议接收较少,分布比较零散
  • 6. “共识协议”方向接收论文较多的A类会议为:CCS、S&P
图5:论文列表部分截图

以上观点仅一家之言,如有偏颇,请多担待!希望以上总结对读者有所启发与帮助。

最后,我们把这46篇论文的列表放在文末,感兴趣的读者欢迎下载:

黄华威,孙浩瀚,2022年10月9日,中山大学,软件工程学院/计算机学院

转载请标明出处:http://xintelligence.pro/archives/898

近期邀请报告记录

黄华威,2022年10月2日

趁国庆假期,整理一下最近有宣传海报的部分邀请报告,记录一下自己的学术生涯。

2022年6月24日,由中国计算机学会(CCF)牵头,CCF区块链专委会“区块链架构与共识小组”、杭州趣链科技有限公司、中山大学软件工程学院、浙江大学区块链研究中心、浙江省区块链技术研究院等组织单位支持,围绕《区块链架构与共识》的主题,开展线上技术沙龙分享,梳理区块链技术的基础架构、扩展技术、未来趋势,以总结区块链技术的发展现状,并期望为未来的进一步相关研究工作带来启发。本次讨论会,我以《区块链可扩展性的研究》为题做了报告,梳理了区块链可扩展性、区块链分片技术的背景与研究现状,介绍其在区块链可扩展性方面的一些最新研究进展。本次活动的海报如下:

区块链可扩展性的研究

2022年9月9日,受天津大学“北洋智算论坛”的邀请,我做了题目为《可支撑元宇宙中高通量交易的区块链可扩展性研究》的报告。本次报告的海报如下:

《可支撑元宇宙中高通量交易的区块链可扩展性研究》

2022年9月15号,受“华为第五届无线汇 · 华山论剑 5.5G教授论坛”的邀请,我做了一次邀请报告,题目为《可支撑元宇宙中高通量交易的区块链可扩展性研究》。本次报告的海报如下:

《可支撑元宇宙中高通量交易的区块链可扩展性研究》

2022年9月17日,受“CCF珠海-数字经济研讨会”的邀请,我做了一次邀请报告,题目为《可支撑元宇宙中高通量交易的区块链可扩展性研究》。本次报告的海报如下:

《可支撑元宇宙中高通量交易的区块链可扩展性研究》

2022年9月23日下午,受广东金融高新区“区块链+”金融科技研究院的邀请,前往佛山市基金业协会,做了一次题目为《Web3与元宇宙》的通识讲座。本次海报如下:

《Web3与元宇宙》

2022年9月23日上午,受香港科技大学(广州)的 CMA (Computational Media and Arts) Seminar 的邀请,我做了一次题目为《Exploring High-Performance Blockchains in the Context of Metaverse》的英文 talk。本次的海报如下:

《Exploring High-Performance Blockchains in the Context of Metaverse》

《Web3与元宇宙》首次开课

黄华威,2022年9月1日

近两年元宇宙突然掀起一波热潮,似乎整个世界都充斥着元宇宙的概念。有人认为元宇宙与web3代表了下一代互联网, 是可以重构现有世界的变革。也有人认为它们是击鼓传花的庞氏骗局或者泡沫经济,进去就要被“割韭菜”。那么,元宇宙与web3到底是什么?为什么它们会突然大火?

2022年8月30日,中山大学软件工程学院首门针对全校本科生的《Web3 与元宇宙》通识课程正式开课。这门课由黄华威副教授担任课程负责人。课程前沿的内容、精彩的讲授,获得了同学们的热烈反响。

《Web3与元宇宙》课程旨在帮助学生了解 web3 与元宇宙的基本原理、最新业界发展、以及它们对未来其他相关行业的影响。通过学习这门课,学生们可以理解 web3 的各项底层技术,以及与区块链、共识机制、智能合约、通证经济、DAO (去中心化自治组织)、NFT(非同质化代币)、元宇宙、数字孪生等等相关概念的关联;领会 web3 与元宇宙的应用开发理念,启发学生用“web3 思维”设计、改造相关传统 web2行业、创造新的经济模式下的应用场景;了解 web3 领域的最新科研成果,培养学生在 web3 方向的创新能力。

黄华威老师根据对 web3 与元宇宙的研究热点和前沿观察,结合学生学习专业知识的特点、对新兴事物的兴趣设计了课程内容与教学大纲,把握课程教学内容的重点、难点、深广度、并融入思政,开展《Web3与元宇宙》课程教学。 在第一节课上,黄华威老师为同学们介绍了web3与元宇宙的基础概念、技术基础、与行业现状概览。

黄老师讲授第一课

教师简介

黄华威,中山大学百人计划副教授,博士生导师,IEEE Senior Member,中山大学区块链与智能金融研究中心 (inpluslab) 副主任,中国计算机学会 (CCF) 区块链专委会执行委员、CCF 分布式与并行计算专委会执行委员。2016年取得日本会津大学计算机科学与工程博士学位;曾先后担任日本学术振兴会特别研究员、香港理工大学访问学者、日本京都大学特任助理教授。研究方向包括区块链底层机制、区块链系统与协议、Web3.0。研究成果发表在 CCF A 类期刊 IEEE Journal on Selected Areas in Communications(JSAC),IEEE Transactions on Parallel and Distributed Systems (TPDS), IEEE Transactions on Mobile Computing (TMC) 与 IEEE Transactions on Computers (TC),以及 CCF A / B 类国际学术会议 INFOCOM、ICDCS、SRDS、IWQoS等。论文谷歌引用 2700+,H-index 26。曾担任CCF A类期刊 IEEE JSAC 的区块链专刊 lead guest editor。负责国家重点研发计划子课题、广东省重点研发计划课题、主持国家自然科学基金青年项目,CCF-华为胡杨林基金区块链专项项目 (2021年首届),以及多项广东省、广州市科技计划项目。

基于“做市商账户”的区块链跨分片协议 —— BrokerChain

彭肖文,黄华威,2022年5月

论文信息:Huawei Huang, Xiaowen Peng, Jianzhou Zhan, Shenyang Zhang, Yue Lin, Zibin Zheng, Song Guo, “BrokerChain: A Cross-Shard Blockchain Protocol for Account/Balance-based State Sharding”, INFOCOM, May 5, 2022.

一、研究背景与动机

区块链是比特币、以太币等加密数字货币的底层基础技术,它综合利用了点对点(P2P)底层网络、分布式数据存储、密码学、分布式一致性共识机制、以及智能合约等计算机技术,构建出一个分布式存储的链式账本 [1][2]。区块链的底层架构为上层应用提供了存储、传输、计算等服务,具有去中心化、难以篡改、协同操作和匿名隐私等典型特征,有着较大的发展和应用前景。区块链主要应用于金融结算、商品溯源、版权保护、数据确权等业务场景 [3]。

然而,区块链底层技术仍处于初期探索阶段,还面临诸多问题和挑战 [4][5]。具体来讲,现有的区块链技术难以解决共识效率问题。例如,比特币的吞吐量为每秒 7 条交易、以太坊的吞吐量也仅为每秒 14 条交易,远低于商用级别所需的吞吐量要求。只有提高了区块链的可扩展性,才能扩大其适用场景,从而赋能数字经济、金融保险、政务等多个领域与行业。

针对区块链的可扩展性,研究人员提出了多种不同的技术方案,如闪电网络[6]、DAG技术[7]、状态通道[8]和分片机制[9]等。其中,分片(Sharding)是一种可提高区块链可扩展性的链上扩容技术。分片机制将完整的账本数据切分为多个互不相交的子账本,再让不同的区块链节点群(也称为分片)管理不同的子账本,多个分片可以并行验证交易,以此线性提升区块链系统的事务处理能力。

但是,区块链分片技术仍面临诸多挑战。如图1所示,基于账户模型的分片机制存在两个问题:第一个问题是跨分片交易比例过高,几乎所有交易均为跨分片交易。过高的跨分片交易率不仅给系统增加了额外的交易负载,而且会造成大量的跨分片通信开销。第二个问题是分片间的交易负载严重失衡,存在冷热不均的现象。我们分别称需要处理过量和少量交易的分片为热分片(Hot Shard)和冷分片(Cold Shard)。热分片由于被持续注入大量的交易,产生了交易拥挤的现象,这会增加交易的确认延迟。而冷分片内只有少量交易可以处理,所产生的区块的交易填充率不高,造成了算力、带宽等资源的浪费。面对如上两个问题,一个难题是如何保证跨分片交易比例较低的同时保证分片间的交易负载均衡。

(a)跨分片交易比例高
(b) 分片间的交易负载不均衡
图1  区块链分片技术的两大挑战

另一方面,在基于状态分片的区块链系统中,跨分片交易的验证和处理策略是至关重要的。系统需要支持分片间的通信,来保证跨分片交易执行的“原子性”。目前已有的比较高效的跨分片交易方案主要通过如图2所示的消息传递方式进行。首先,交易在源分片上链后,源分片的节点会向目标分片发送一个包含 Merkle Path 证明的中继消息。目标分片的节点接收到中继消息后,通过 Merkle Path 验证对应交易的正确上链情况,再在目标分片将关联交易上链,从而实现对相关区块链状态的更新。因为跨分片验证的存在,跨分片交易的延迟在理论上至少是片内交易时延的两倍。当位于目标分片内的关联交易迟迟无法上链时,跨分片交易的共识延迟有可能无限大。

图2  Monoxide [13] 采用“中继交易”来处理跨分片交易

为了减少跨分片交易比例、实现分片之间的负载均衡、并且保证跨分片交易的原子性,本文旨在提出一种新的跨分片协议来提高分片区块链的吞吐量和降低交易的平均确认延迟。

二、本文贡献

  • 本文提出了一套新的跨分片交易处理协议,通过引入“做市商账户”来减少跨分片交易的数量和加速跨分片交易的上链。而且,通过引入“双Nonce”机制和“部分时间状态锁”机制来防止双花交易,并保证跨分片交易的原子性。
  • 本文还提出了状态划分方案,代替分片区块链原本使用的静态状态划分策略。该分片划分方案根据一定时间内的历史交易信息构建一个账户交易状态图,并对其进行图划分。图划分的目标是平衡各个分片的交易量的同时最小化跨分片交易的数量。通过划分的结果,对每个分片内的账户状态进行动态的调整,从而缓解系统的单分片过热和跨分片交易比例过高的问题。

三、提出的跨分片协议简介

 1. 提出协议的概述

    本文提出的区块链动态分片协议的整体框架如图3所示。和传统的分片协议一样,所提出的动态分片协议以“时期 (Epoch)”为单位来运行。时期的定义为固定的片内交易共识轮次或者固定长度的时间。我们采用BFT类共识协议作为片内共识协议。在所提出的协议中,根据职能的不同,存在两种不同类型的分片:工作分片(Mining shard, M-shard)和划分分片(Partition shard, P-shard)。它们分别负责处理不同的事务,具体分工描述如下:

  • 工作分片。工作分片中的节点负责接收、验证和转发交易,并将通过片内共识协议,将合法的交易进行打包上链。工作分片所产生的包含交易的区块,称为交易区块(Transaction Block)。
  • 划分分片。划分分片中的节点负责同步工作分片中待确认的交易,并根据收集到的交易,执行给定的账户划分算法,并且维护更新后全局的账本状态。划分分片通过产生状态区块(State Block)来引导工作分片安全可靠地进行账户状态的转移和分片账本状态的更新。
图3  区块链动态分片协议整体框架

图3展示了本文所提出的跨分片协议的整体框架,包括4个关键步骤,具体描述如下:

  1. 工作分片持续接收、验证和转发客户端发送的交易信息,维护一个待上链确认的分片交易池。工作分片内的节点会通过共识协议,进行交易的验证和上链确认,产生相应的交易区块。同时,这些交易区块和待确认的交易池会被同步到划分分片中。
  2. 划分分片持续监听所有工作分片中的交易信息,构造账户交易网络并且执行Metis划分算法,对账户进行分片划分。
  3. 划分分片根据账户划分的结果,生成最新全局的分片区块链的状态信息。然后,主分片通过共识协议,记录相应的状态信息到区块中,生成相应的状态区块并且对该区块做上链共识。该状态区块会被同步到所有工作分片中。
  4. 工作分片根据状态区块中所记录的划分结果来更新自身分片的账本状态。区块链分片系统准备进入下一个时期。

2. 保障跨分片交易处理的有效性

    如图4所示,针对跨分片交易延迟高的问题,本文基于状态划分算法拟提出一种新的跨分片协议来缓解跨分片交易处理的效率问题。该协议的基本思路阐述如下:在进行状态划分的过程中,系统会同时招募一些特殊的充当中间人的账户,我们称这些特殊的账户为“做市商账户”。系统允许一部分普通用户通过自愿抵押一定的资产,选择充当做市商账户。做市商账户的状态会被系统分割成两部分或多个部分,分别存储在两个或多个分片中,从而参与到若干个跨分片交易的协调当中。做市商账户的协调机制可以减少基于转账类型的交易的跨分片通信,因此可以减少跨分片交易的延迟,从而提高跨分片交易执行的效率。

图4  基于做市商账户的机制加速跨分片交易的共识

图5展示了本文提出的跨分片协议对跨分片交易的执行原理与流程。本文在交易的数据结构中通过引入“部分状态时间锁”,从而实现跨分片交易的原子性执行。假设处于分片1的账户A给处于分片2的账户B发送一笔交易 $\Theta_raw$(如步骤1所示),中间做市商账户 C 会将原交易打包成另一个交易 $\Theta_1$,并广播到分片1(如步骤2所示)。分片1对交易 $\Theta_1$ 执行“AC转账并锁一定时间”操作并上链(如步骤3所示)。当中间商账户在一定时间内观察到交易 $\Theta_1$ 在分片1成功上链后,会向分片2广播交易 $\Theta_2$(如步骤4所示)。最后,步骤5中,分片2对交易 $\Theta_2$ 执行 “CB转账” 的操作并上链,从而最终实现一笔跨分片交易的执行。如果交易过程中因为某一方作恶或者超时,则执行中断操作:分片2会对 $\Theta_1$ 进行上链,并向分片1发送证明 $\gamma$,从而中断对跨分片交易的执行。

图5  保证跨分片交易原子性的流程

四、实验结果

实验设置:本文使用 python 搭建了一个分片区块链的仿真实验环境,实现了基于Metis图划分的分片调整和“做市商账户”跨分片交易机制。关于数据集,本文使用了以太坊从2015年8月7日至2016年2月13日的1,600,000条真实历史交易。在实验过程中,交易以一定的交易到达率被注入到各个分片中。每个分片的出块时间间隔设置为8秒,每个区块打包交易数量上限为2000条,分片数量为32个。实验测试了不同交易到达率和不同分片数量下的系统吞吐量和平均交易延迟。

主要实验结果:如图6所示,本文提出的分片协议与 Monoxide [13] 采取的分片机制相比,吞吐量最大提升150%,平均交易延迟降低70%;与基于负载均衡优先(Load Balance First,LBF)的动态分片调整协议相比,吞吐量最大提升10%,平均交易延迟降低40%。可见,与 Monoxide [13]提出的“中继交易”协议相比,本文提出的 BrokerChain 协议能够保证跨分片交易在较短的时间内完成,从而降低跨分片交易的交易延迟。

图6  吞吐量和平均交易延迟随交易到达率的变化

如图7所示,与基于Metis图划分方法相比,本文提出的机制可以将跨分片交易的比例进一步降低10%。

图7  跨分片交易比例 (分片数量为64)

五、提出的机制应用到工业界的前景分析

1. 块链分片机制的用前景

如今,区块链技术已经被诸多国家认可,各国加大了对区块链产业发展的布局,并争抢产业的制高点。我国也不断布局推动区块链产业的发展,2021 年我国发布了《指导意见》,进一步明确了区块链的发展目标,推动相关应用落地。近年来,国内头部企业纷纷推出自己的联盟链平台,如国产开源联盟链底层平台 FISCO BCOS [10]、蚂蚁链(AntChain)[11] 和华为云区块链 [12] 等。

联盟链的底层基础设施平台为上层应用提供了分布式存储、高效价值传输、分布式计算等服务,其发展状况已经成为推动区块链业务是否繁荣的关键因素。虽然联盟链技术已经有相关的落地场景,但大多局限于小规模的共识场景。现有的联盟链技术难以解决大规模共识节点和拥有大量交易的场景下的共识问题。只有提高了联盟链的可扩展性,才能更好地支撑其适用的大规模应用场景,从而赋能数字经济、数字政务等领域与行业。

本文提出的机制,针对面向广域网的大规模联盟链基础设施,采用分片技术实现提升区块链的可扩展性能。基于分片机制的联盟区块链是一个充满潜力的研究与应用方向。

2. 块链跨分片协议用前景分析

2021年初国家发布“十四五规划纲要”,指出区块链是赋能数字经济的重要基础设施。目前国内区块链领域是多链共存的现状,因此跨区块链平台实现数据与业务的高效交互十分必要。本文提出的基于做市商账户的跨分片协议,理论上可以扩展为跨链协议,它能为多个链之间提供一种简单、高效的跨链交易的服务。在跨链交易能够执行成功的情况下,可以大大减少跨链通信;在跨链交易执行失败的情况下,通过生成交易的失败证明,并执行资产回滚操作,来维护跨链交易的原子性和数字资产的全局状态一致性。

参考文献

[1] Nakamoto S. Bitcoin: A peer-to-peer electronic cash system[J]. Decentralized Business Review, 2008: 21260

[2] Wood G. Ethereum: A secure decentralised generalised transaction ledger[J]. Ethereum project yellow paper, 2014, 151(2014): 1-32

[3]中国工商银行金融科技研究院. 区块链金融应用发展白皮书[R/OL]. 2020. http://pdf.dfcfw.com/pdf/H3_AP202004261378665796_1.pdf

[4] Zheng Z, Xie S, Dai H N, et al. Blockchain challenges and opportunities: A survey[J]. International Journal of Web and Grid Services, 2018, 14(4):352-375

[5] 韩璇, 袁勇, 王飞跃, 等. 区块链安全问题: 研究现状与展望[J]. 自动化学报, 2019, 45(1):206-225

[6] Poon J, Dryja T. The bitcoin lightning network: Scalable off-chain instant payments[EB/OL].2022. https://www.bitcoinlightning.com/wp-content/uploads/2018/03/lightning-network-paper.pdf

[7] Pervez H, Muneeb M, Irfan M U, et al. A comparative analysis of dag-based blockchain architectures[C]//2018 12th International conference on open source systems and technologies(ICOSST). IEEE, 2018:27-34

[8] Dziembowski S, Faust S, Hostáková K. General state channel networks[C]//Proceedings of the2018 ACM SIGSAC Conference on Computer and Communications Security (CCS’18). ACM,2018:949-966

[9] Luu L, Narayanan V, Zheng C, et al. A secure sharding protocol for open blockchains[C]//Proc.of ACM SIGSAC Conference on Computer and Communications Security (CCS’16). ACM,2016:17-30

[10] Li H, Li C, Li H, et al. An overview on practice of fisco bcos technology and application[J].Information and Communications Technology and Policy, 2020, 46(1):52-60

[11] 蚂蚁链. https://antchain.antgroup.com/docs/11/101801

[12] 华为区块链白皮书2021,建设融合开放的数字经济基础设施 [R/OL]. 2021. https:// res-static.hc-cdn.cn/cloudbu-site/china/zh-cn/BCS/BCS__2.0.pdf

[13] J. Wang and H. Wang, “Monoxide: Scale-out blockchains with asynchronous consensus zones,” in Proc. of 16th USENIX Symposium on Networked Systems Design and Implementation (NSDI’19). Boston, MA: USENIX Association, Feb. 2019, pp. 95–112

(版权声明,转载请标明出处。)

Web3、DAO、与区块链 | Apr27话题

By 黄华威,2022年4月27日

早上起床翻看朋友圈,读到一篇最新的关于 Web3 的文章,题目为《Web3革命:逃离、信仰、大迁徙》,发表在虎嗅网。然后冲泡咖啡时,找了一些 Web3 的播客,听了几个音频。又把我一年前发表的一篇关于 DAO 的综述论文打印出来。阅读之后,我决定撰写一篇 Web3 感想的文章。于是就有了这篇 blog。

我们先简要过一下这篇文章。这里仅仅挑选一些 highlights,具体内容还请自行前往阅读。

文章提到 “国内至少六家互联网大厂的高级管理者或高级技术人才,放弃了稳定的高薪和可观的期权,主动探索Web3世界。” 紧接着,文章列举了几个有代表性的践行者在这个新兴赛道的早期探索与尝试。其中美团联合创始人王慧文对 Web3 学习之后,提出如下观点:“区块链撕裂了中国互联网,中国互联网的主要矛盾从巨头与创业公司的矛盾转变成古典互联网与区块链之间的矛盾”。2020年他从美团退休,开始探索新的赛道。另一个有代表性的 Web3 的从业者是前字节跳动90后程序员郭宇。2020年他从字节离职后,开始专心研究区块链技术与应用,后来全身投入 Web3 赛道。可见,从大厂高管到大厂年轻人,Web3 正在吸引源源不断的互联网人加入这个行业。

那说到这里, Web3 究竟是什么?继续引用这篇文章的说法:“Web3是指基于区块链技术的去中心化在线生态系统,许多人认为它代表了互联网的下一个阶段”。一名传统投资机构合伙人认为“目前Web3行业,很像2000年的互联网”。在目前的 Web3 行业,也逐渐有一些雏形产品问世,比如被视为去中心化的支付宝 MetaMask,被视为去中心化的QQ音乐 Audius,以及全球最大 NFT 交易平台 Opensea,等等,这些去中心化的应用已经在全球范围内吸引了千百万的用户,这些公司也逐渐成为全球最具影响力的公司。

接下来,咱们粗略地概括一下 Web3 与 区块链、还有 DAO 之间的关系。继续借用刚才文章中的观点:“区块链是一种技术,DAO是一种制度,Web3则是一种文化”。

大家已经很熟悉区块链了,我们不再赘述。我们看一下什么是 DAO。DAO的字面意思是“去中心化 自主治理的 组织”,它是一种去中心化组织形态,当然也可以通俗地理解为“去中心化的公司”,是建立在区块链基础之上的 一个自治系统。其实 DAO 不一定必需区块链技术才能建立。具有相同理念和共识的一帮人即可形成一个DAO。而且人们未必需要区块链才能形成共识。比如,文章举了一个例子:在互联网世界,当人们强烈认同一个视频或者文章时,即使不断被中心化机构删除,人们可以通过自发存储和不停地转载,将其尽力保留在网络上。这样的自发行为其实就是 DAO 的思想和 Web3 文化的一种体现。进一步来讲,如果借助区块链的技术,这些人们产生的共识,会更加容易地被记录、被分享,从而更好地践行 DAO 与 Web3 的理念与文化。

好,关于这篇文章的内容,我就为大家分享到这里。接下来的一段时间,我会通过几篇文章来逐步谈一下 Web3 行业 与 区块链、DAO 之间的关联。这里我们稍微展望一下 Web3 与 DAO 的未来。目前来看,虽然互联网人是最具有创新精神的一个群体,但是能突破 旧思维 去 拥抱新的变化,去参与新赛道,仍然是逆人性的行为,是充满挑战的。不管如何,这个世界唯一不变的真理就是这个世界在一直变化着。任何人都阻挡不了新趋势的发展。总有一个时刻你会觉得:如果不去主动拥抱变化,就会被趋势所碾压。

目前,Web3 与 DAO 已经被应用到了 互联网、金融、艺术 等等具有代表性的 为数不多的几个行业,但是这场变局已经悄悄铺开了10年时间。不用焦虑,因为社会大众对 DAO 的认识 还有 Web3 文化的了解, 远远尚未成熟。因此,这个赛道未来是一片蓝海。

然后,我再稍微提一下一年前发表在 IEEE OJ-CS 期刊上关于 DAO 的综述论文。我们论文题目是 “From Technology to Society: An Overview of Blockchain-Based DAO”,翻译过来就是“从技术到社会:对基于区块链技术的 DAO 的概览”,于2021年4月13日正式发表在 IEEE 计算机协会旗下的一个新刊 IEEE Open Journal of the Computer Society (OJ-CS)。

这篇论文主要梳理与讨论了 基于区块链技术的 DAO 的概念术语、发展历史、当前最新的研究与应用,以及对未来发展的一些展望。我在 google scholar 上看了一下我们这篇综述论文的引用情况,目前已经有4个引用,其中一个引用是来自荷兰乌得勒支大学的硕士毕业论文,作者在文中提到我们这篇论文介绍了三个比较流行的 DAO 项目: Aragon,Colony,与 DAOStack。看到我们的论文为他人带来启发,我还是很欣慰的,这也是作为一名从事学术研究的 researcher 最开心的事情了。话题有点扯远了。感兴趣的朋友们,欢迎阅读我们这篇论文,有任何问题欢迎给我留言或者发邮件给我。

最后提一下,我已经跟我的一个学生讨论了近期要做一个关于 DAO 的详细调研,后续我会陆续分享给大家,期待您的关注。

PS: 这篇 blog 的音频记录请前往“小宇宙”平台收听:https://www.xiaoyuzhoufm.com/episodes/6269030bbf39836fd02b7795

联邦学习设备调度的论文被 ICDCS 2022 接收

黄华威,李瑞新,2022年4月6日

近日,HuangLab 在联邦学习设备调度方面的研究取得进展,论文《ContexFL: Context-aware Federated Learning by Estimating the Training and Reporting Phases of Mobile Clients》被分布式计算系统领域顶级学术会议 The 42nd IEEE International Conference on Distributed Computing Systems (ICDCS 2022) 录用为长文。

会议介绍

ICDCS 是分布式计算系统领域享有盛誉和具有重要学术影响力的顶级国际学术会议,本届 ICDCS 会议 Research Track 论文全球投稿共573篇,仅有114篇被录用,录用率为19.9%。

论文介绍

Huawei Huang, Ruixin Li, Jialiang Liu, Sicong Zhou, Kangying Lin, and Zibin Zheng, “ContextFL: Context-aware Federated Learning by Estimating the Training and Reporting Phases of Mobile Clients”, ICDCS, 2022.

在边缘计算的环境中,由于边缘网络的情况和各种物联设备的可用算力是频繁变化、波动较大的,跨设备的横向联邦学习的训练效果往往较大程度上受到设备的网络情况和可用计算资源的影响。传统的横向联邦学习设备调度方法着重考量当前设备的状态(网络、算力等),但面对网络和算力频繁变化、波动较大的环境之时,便难以维持联邦学习训练的稳定性与可靠性,从而造成联邦学习所训练的模型性能浮动较大的现象。

论文提出的 ContextFL 框架

本文针对上述现象,提供了一种可行的解决思路:为充分考虑边缘计算环境的不稳定性因素影响,本研究通过结合各设备当前以及预测的未来一段时间内的网络与算力状态进行设备调度,从而确保参与联邦学习的设备都是可靠的有效设备,以此提高边缘计算环境中联邦学习训练效果的稳定性与可靠性。

元宇宙前沿研究|2月18日邀请讲座回放

By Huawei Huang, Feb. 22, 2022

2022年2月18日上午,InPlusLab 举办了一场线上学术讲座。本次讲座邀请了三位来自元宇宙方向的科研先驱者,分别是来自新加坡南洋理工的 Dusit Niyato 教授,来自香港岭南大学的戴弘宁教授,与来自香港中文大学深圳的蔡玮助理教授。线上讲座由黄华威老师主持,线上与线下一共250余名师生参与。

三位邀请讲者的报告分别总结如下。

主讲人1:Dusit Niyato 教授
研究兴趣:无线和移动网络、分布式计算领域
报告题目:Metaverse Virtual Service Management: Game Theoretic Approaches

本次讲座邀请了Dusit Niyato 教授为第一个讲者。Dusit Niyato 教授首先简要介绍了元宇宙和虚拟服务管理的主要概念,然后重点讨论了博弈论在虚拟服务管理中的应用。主要包括以下两点。首先,Dusit Niyato 教授认为元宇宙是继Web和移动网络革命之后的下一代互联网,虚拟现实(VR)用户可以通过不同供应商提供的VR服务进入元宇宙中。然而,虚拟现实服务供应商(SP)具有有限的通信和计算资源,供应商必须经济、高效地优化用户之间的VR服务资源分配。为此,主讲人在元宇宙平台中提出了一个基于学习的虚拟现实服务激励机制框架。其次,元宇宙平台也会提供真实世界实体的数字复制的虚拟服务。物联网设备和传感器收集的真实世界数据是同步真实和虚拟世界的关键。元宇宙平台使用一组物联网设备代表虚拟服务提供商(VSP)收集此类数据。设备所有者出于自身利益,会动态选择一个虚拟服务提供商,以最大化其奖励。主讲人采用混合演化动态优化方法,使设备所有者群体可以使用不同的修订协议来更新他们的策略。


主讲人2: 戴弘宁教授
研究兴趣: 区块链、物联网、大数据分析
报告题目: Building a Bridge in Metaverse: Recent Advances in Internet of Things

第二位讲者为来自岭南大学的戴弘宁教授。戴教授为大家展示了在真实的物理世界与虚拟世界元宇宙之间建立连接的方法,其关键技术是物联网。作为2021年的流行词之一,元宇宙被认为是互联网的又一次革命,其能够给用户带来的沉浸式体验,为用户提供真实与虚拟世界相连接的通道。而物联网将会是元宇宙构建真实与虚拟世界的连接的关键技术之一。此次讲座戴老师首先回顾了元宇宙的相关概要,然后详细介绍了物联网技术。在讲座中,戴老师提出了物联网技术当前主要面临如下挑战:交互性不够便利、存在安全漏洞、易发生隐私泄露等;然后,戴教授从融合人工智能、边缘计算、区块链等技术的角度,简述了潜在可行的解决上述挑战的方案。


主讲人3: 蔡玮助理教授
报告题目: Research in Metaverse: Communities, Layers, and Future

在第三个邀请讲座中,来自港中文深圳的蔡玮助理教授首先回顾了元宇宙的研究的发展历史,展示了元宇宙的三层架构,即上层的虚拟世界,主要涉及经济系统,底层的物理世界,主要涉及元宇宙的实现设施,以及中间交叉层的交互技术,主要涉及沉浸式用户体验、数字孪生与内容创造接口。然后,蔡玮博士从不同视角介绍了元宇宙,以及元宇宙各个层的技术挑战,最后展望了元宇宙中关于加密社区的未来。问答环节,主持人黄华威老师还请教了蔡玮教授几个问题,其中一个问题是元宇宙的用户是如何得到可以在虚拟世界中使用的加密货币的呢?是用户自己在虚拟世界中通过某种“挖矿”获得的吗?还是说是从现实世界中转过去的?蔡玮教授从NFT的角度回答了这个问题。


相信通过今天的邀请讲座,让参与的众多对元宇宙科研感兴趣的师生们获得了一场元宇宙科研前沿的饕餮盛宴。也希望更多的研究者参与到这个新兴的研究领域,共同推动元宇宙的学术研究。

此次讲座的视频回放分享至此:

主题 :学术讲座:元宇宙前沿研究(Research Frontiers of Metaverse)
日期 :2022-02-18 09:49:35
录制文件 (不需要访问密码):https://meeting.tencent.com/v2/cloud-record/share?id=b069712d-1fd4-403b-b2e9-331a2f5eedcd&from=3