可支持频繁分片重组的两层分片区块链方案 —— DecoupleChain

许淼泳,黄华威

如下论文被 ICWS 2025 接收。

Huawei Huang, Miaoyong Xu, Chenlin Wu,  Xiaofei Luo, Jian Zheng, Jianru Lin, Zibin Zheng*, “DecoupleChain: A Two-Layer Blockchain Sharding System Enabling Frequent Shard Reconfiguration”, IEEE The International Conference on Web Services (ICWS), July 2025.

一、研究背景与动机

分片技术通过将区块链网络划分为能够并行处理交易的子集,可显著提升交易吞吐量,但现有分片区块链方案在安全性与系统动态调整方面普遍存在缺陷:分片内共识节点规模较小且易受攻击。而共识节点的跨分片重洗牌(shuffling)操作虽然可以一定程度上提高分片区块链的安全性,但是 shuffling操作产生的巨大系统开销会导致分片重组的频率受限,为恶意节点提供了可乘之机。本文针对这一核心矛盾,提出了一种可支持频繁分片重组的两层区块链架构 DecoupleChain,通过系统架构创新与机制优化兼顾了分片区块链的安全性与可扩展性。

二、本文贡献

  • 本文提出了一种名为DecoupleChain的双层区块链系统架构,该分片系统架构支持低开销的高频分片重组。
  • DecoupleChain采用“存储”与“共识”分层的架构设计,将两种功能“发配”至独立的分片内各自执行。为此,本文设计了账户状态及交易回执的验证机制,并引入“超时控制”机制以保障交易执行的原子性。
  • 本文实现了DecoupleChain的原型系统,在多个物理机共识节点搭建的实验环境中使用真实交易数据集进行了性能测试。实验结果表明:即使在分片频繁重组的场景下,DecoupleChain系统的交易吞吐量仍可保持稳定;相比之下,以太坊系统的分片方案(自实现的Eth-sharding)对应的交易吞吐量TPS则跌至75% 甚至更低。

三、提出方案的简介   

1. 核心思想

 DecoupleChain 的 core idea 在于对区块链功能的分层解耦。系统采用了两层架构设计:Layer1 与 Layer2。其中,我们将系统的 Layer2 设计为无状态的“共识分片”与存储专用的“存储分片”协同工作的模式:“共识分片”仅负责交易验证与共识,通过向存储分片请求账户状态及 Merkle 证明实现轻量化运行;“存储分片”则专注于状态数据的持久化与跨层验证。Layer1 采用可信公链(如以太坊)作为全局状态的信任“锚点”,通过智能合约存储区块元数据(即时间信标,time beacon),并基于 BLS 聚合签名与可验证随机函数(VRF)随机选举机制构建可信验证框架。这种功能解耦的设计使得共识分片能以极低的开销实现分钟级共识分片的重组,通过动态节点洗牌的方式来有效地抵御贿赂攻击与 Sybil 攻击,同时利用 Layer1 的可验证性保障跨分片交易的原子性。

2. 系统简介

2.1. 角色介绍

系统设计整体上分为主要的二层区块链(称为Layer2)和承担辅助作用的一层区块链(称为Layer1)。Layer2又包含“存储分片”、“共识分片”和客户端。以下对这几个角色做简要介绍。

  • 存储分片。系统中的节点根据地址后缀被划分成多个group,每个group称为一个分片。分片内的节点只存储该分片的账户状态、区块等数据。节点到分片的映射是固定的。
  • 共识分片。系统中的节点被随机划分成多个group,每个group称为一个共识分片。每个共识分片对应着唯一的存储分片。系统中的交易会根据交易发起者的账户被划分到不同的共识分片中处理,共识分片本身不存储账户的状态,而是在需要读取状态时从对应的存储分片中获取,并将在共识分片中执行完的交易的结果发送回存储分片。并且,节点到共识分片的映射是动态变化的,以此抵御恶意节点对特定共识分片的腐化攻击。
  • 客户端。客户端负责将用户的交易发送到区块链,并关注目标交易返回的执行结果。
  • Layer1。Layer1是一条可信任的公链(例如,以太坊),其上运行着与本文提出的Layer2相关的智能合约(即 TBStore)。Layer2中的共识分片出块时,会调用该智能合约,存入新区块的元信息。此外,Layer2上的共识节点可以向该智能合约查询任一分片任一高度对应的区块四元组数据,且以此为参考来验证其他共识节点发送过来的状态的正确性与合法性。

2.2. 系统运行流程

图1 两层区块链分片协议运行流程

本文所提出的两层DecoupleChain系统的总体视图如图1所示,关键运行流程介绍如下。步骤①:客户端提交/广播交易。步骤②:共识分片向存储分片请求账户状态。步骤③:存储分片返回状态和Merkle证明。步骤④:共识分片运行PBFT共识以生成新区块并向客户端返回收据。步骤⑤:共识分片通过可验证随机函数(VRF)选举出一部分节点。步骤⑥:从区块中提取出时间信标(Time Beacon,简称为TB),由当选节点多重签名后,继而传递至Layer1中。步骤⑦:Layer1中的轻节点发起一笔交易,以在智能合约上记录该TB。步骤⑧:轻节点等待直至TB被确认,然后将其更新至订阅它的Layer2节点。步骤⑨:存储分片在区块链上提交区块,并将账本状态更新到状态树。

  • 跨分片交易处理

跨分片交易处理是分片系统中不得不提到的一个部分。整体上我们采用与Monoxide [1] 类似的Relay Transaction(交易中继)机制,在其中增加了与客户端和Layer1链的交互与验证。此外,我们还设计了交易超时回滚机制,达到了更强的交易原子性。图2展示了一笔跨分片交易的处理过程。客户端首先向源共识分片发送一笔交易,源共识分片上链该交易并返回上链证明。随后客户端向目标共识分片发送跨分片交易。如果客户端等待一定的时间后仍然没有收到目标共识分片的回复,则认为该交易执行失败,向源共识分片发送回滚交易。

图2  跨分片交易处理流程

四、实验结果

实验设置:本文基于Go搭建了一个分片区块链的仿真实验环境来对所提出的协议进行验证。我们收集了以太坊2022年6月7日到2022年6月14日的1,920,000条转账交易数据作为交易数据来源。基于一些经典论文中的设置,我们将区块大小和出块间隔分别设置为1000笔交易和4秒(因而每个分片的理论最高吞吐量是每秒250笔交易);在某些实验组,分片数量也会改变。

基准方法:本文选择以下三种方法作为基准,与DecoupleChain的重组性能进行比较。全同步方法(Full sync (Ethereum))[2] 需要从创世块同步到最新块的所有块数据;快速同步方法(Fast sync (Ethereum))[2]仅同步最近的区块和状态树。tMPT方法[3]基于活跃账户压缩状态树,节点必须同步压缩后的状态树。另外,本文基于以太坊实现了Eth-sharding方法,在相同的共识协议和实验参数配置下,对比两者在高频重组情况下的整体性能波动情况。

主要实验结果:如图3(b) 所示,DecoupleChain实现了最短的整体重配置延迟,其重配置延迟的中位数比tMPT低35%,比Fast sync低67%。图 3(a) 中的较大延迟波动主要归因于每次分片重配置期间共识停止阶段的延迟大幅变化。此外,由于累积的区块链数据会随着时间的推移而增加,Full sync和Fast sync方法的延迟将随着数据量的增加而增长,而tMPT方法和DecoupleChain则相对保持稳定。

图3 分片重配置时延

当把分片重组间隔设置为三个 blocks,系统大约每12秒触发一次分片重配置。图 4 所示,与Eth-sharding相比,DecoupleChain在重配置期间产生更少的状态同步数据量。随着系统持续运行,同步数据量持续增加,DecoupleChain的优势变得更加明显。此外,Eth-sharding的吞吐量 TPS 受到分片重组累计次数的显著影响,而DecoupleChain仍然保持稳定的TPS。

图4 频繁分片重组场景下的数据同步量与系统吞吐量

五、本文总结

本文针对分片区块链中安全性与可扩展性的矛盾,提出了一种支持高频低开销重组的两层分片区块链架构DecoupleChain。通过解耦共识与存储功能,DecoupleChain系统实现了三个方面的创新:1) 无状态共识分片支持分钟级动态重组,将恶意节点集中攻击的成功概率控制在10^{-6}量级;2) 基于Merkle证明与Layer1锚定的跨层验证机制,在保障数据完整性的同时减少跨分片通信开销;3) 通过两阶段提交与超时回滚机制,保障跨分片交易的原子性,使超时交易及时回滚。实验证明,系统在200节点规模下仍能保持线性扩展能力,为分片技术的工程化落地提供了新思路。

六、提出的机制应用到工业界的前景分析

区块链底层技术仍处于初期探索阶段,还面临诸多问题和挑战。区块链的性能表现已经成为能否推动区块链产业繁荣发展的关键因素。尤其是,如何提高区块链的可扩展性已经成为当今区块链体系架构方向的重点研究方向之一。本文提出的两层分片区块链协议能够在提高区块链可扩展性的同时保障其安全性和去中心化。因此,本文提出的方案有望为分片区块链提供进一步提升系统性能的解决方案。

虽然本论文没有发表在A类顶会上,但我们自己仍然非常欣赏这项工作。

参考文献

[1] Wang J, Wang H. Monoxide: Scale out blockchains with asynchronous consensus zones[C]// Proc. of 16th USENIX Symposium on Networked Systems Design and Implementation (NSDI’19). 2019:95-112.

[2] Wood G, et al. Ethereum: A secure decentralised generalised transaction ledger[J]. Ethereum project yellow paper, 2014, 151(2014):1-32.

[3] Huang H, Zhao Y, Zheng Z. tmpt: Reconfiguration across blockchain shards via trimmed merkle patricia trie [C]//Proc. of the 31st International Symposium on Quality of Service (IWQoS 23). 2023:1-10.

两篇区块链论文被顶会 INFOCOM 2025 接收 (附论文下载)

2024年12月6日,INFOCOM 2025结果公布,中山大学软件工程学院黄华威研究组(HuangLab)与北航、新加坡科技设计大学、香港浸会大学、新加坡南洋理工大学合作的两篇区块链分片机制的论文被接收。INFOCOM 全称为 IEEE International Conference on Computer Communications, 是CCF-A类计算机网络领域顶会。INFOCOM 2025年的论文接收率为 272/1458 = 18.65%。

两篇被接收论文信息如下。

  • [论文1] Jian Zheng (郑简), Huawei Huang* (黄华威,通讯作者), Yinqiu Liu (刘寅秋), Taotao Li (李涛涛), Hong-Ning Dai (戴弘宁), Zibin Zheng (郑子彬), “Justitia: An Incentive Mechanism towards the Fairness of Cross-shard Transactions,” IEEE International Conference on Computer Communications (INFOCOM’25), May 19-22, 2025, London, United Kingdom.
  • [论文2] Xinpeng Huang (黄鑫鹏), Wanqing Jie (揭晚晴), Shiwen Zhang (张诗雯), Haofu Yang (杨浩甫), Wangjie Qiu (邱望洁,通讯作者), Qinnan Zhang (张沁楠,通讯作者), Huawei Huang (黄华威), Zehui Xiong (熊泽辉), Shaoting Tang (唐绍婷), Hongwei Zheng (郑宏威), Zhiming Zheng (郑志明), “ContribChain: A Stress-Balanced Blockchain Sharding Protocol with Node Contribution Awareness”, IEEE International Conference on Computer Communications (INFOCOM’25), May 19-22, 2025, London, United Kingdom.

论文下载

通过网盘分享的文件:“INFOCOM25-两篇论文”
链接: https://pan.baidu.com/s/1MAptxA8IRCbTUxCw8Qa4Jw?pwd=uit3

提取码: uit3




两篇论文的背景简介

论文1的一作是郑简,中山大学软件工程学院博士一年级同学。郑简同学的研究方向为区块链系统、DeFi 协议设计与经济学分析。自从2020年以本科实习生身份加入 HuangLab 之后,郑简先后参与了 HuangLab 多科研任务,例如参与开发开源区块链实验平台 BlockEmulator (blockemulator.com)、负责研究分片区块链 BrokerChain [INFOCOM 2022] 的分片间交易公平性机制 (即本篇论文提出的方案 Justitia)。此外,郑简同学2021-2022年还研究了针对 PoW (Proof-of-Work) 区块链的自适应新型双花攻击的问题,相关论文“Adaptive double-spending attacks on PoW-based blockchains”发表在TDSC(CCF A类期刊)。

论文2的一作是黄鑫鹏,北航人工智能学院博士一年级同学。黄鑫鹏同学的研究方向为高性能区块链系统、区块链攻击检测。本论文实验平台采用了黄华威研究组开源的区块链实验平台 BlockEmulator,并在此基础上进行ContribChain的系统实现。



论文1的更多背景

论文1是黄华威研究组自研分片公链BrokerChain (BrokerChain: A Cross-Shard Blockchain Protocol for Account/Balance-based State Sharding, 发表在INFOCOM 2022) 的后续相关工作。BrokerChain现在已经被完善为一个高性能分片区块链基础设施,相关技术方案目前已经支持了华为云区块链、鹏城实验室区块链、上海保交链等企业级区块链系统。2023年5月,研究组将 BrokerChain 的基本实现框架以及研究组后续一系列区块链成果的内置算法、与实验工具集开源为区块链实验平台 BlockEmulator ( blockemulator.com),目前已经得到来自超过80个国家与地区研究者的使用。最近,研究组已经将blockEmulator 技术原理的论文上传到了 arXiv,题目为 “BlockEmulator: An Emulator Enabling to Test Blockchain Sharding Protocols”, 访问链接为 [ https://arxiv.org/abs/2311.03612 ]。在这个文档中,我们详细介绍了 BlockEmulator 的各个重要功能接口,并且展示了 BlockEmulator执行结果的正确性验证的实验。研究组还维护了一个350名的 BlockEmulator 用户群,用于解答使用者遇到的各种技术问题。截止今日,研究组已经使用 BlockEmulator 产出了十余篇区块链论文。欢迎同仁试用 BlockEmulator 来做区块链实验。

为了帮助读者更清晰地理解跟本次被接收论文1相关的几项工作的关系,这里使用图1来梳理展示。目前,黄华威研究组已经在自研分片区块链 BrokerChain 上基于智能合约开发了一个去中心化金融 (DeFi) 应用 (命名为 BrokerFi;法律法规所限,尚未落地)。如图1所示,BrokerFi 的前端采用研究组自研的 BrokerChain Wallet (BrokerFi 数字钱包);后端即分片区块链BrokerChain;BrokerFi 的核心经济模型是Broker2Earn 协议 [INFOCOM 2024],它展示了一个激励机制,用于帮助 BrokerFi 解决如何招募 Broker 角色参与进 BrokerChain生态的问题。研究组已经毕业的林岳同学设计了 BrokerChain 系统中的账户迁移机制 [INFOCOM 2024]。本次,郑简同学设计的 Justitia 方案针对 BrokerChain 分片区块链中共识协议在验证片内交易 (Intra-shard Transactions, ITXs)与跨分片交易 (Cross-shard Transactions, CTXs)时存在的不公平现象,旨在解决 CTX 因为交易手续费会被拆分给多个分片内的出块者而带来的延迟上链的问题。

图1. 在分片区块链 BrokerChain上构建的第一个 DeFi 产品 BrokerFi 的架构设计


两篇论文内容简介

论文1: Justitia: An Incentive Mechanism towards the Fairness of Cross-shard Transactions

一、基本思路   

分片区块链技术 (Blockchain Sharding) 是一种确保区块链去中心化特性同时又可以大幅提高区块链性能的可行技术路线。区块链分片的基本思想是将所有区块链节点分成几个分片,每个分片并行处理交易。因此,分片技术可以大大提高区块链网络的吞吐量,并减小交易确认时延。然而,分片技术的引入也带来了新的挑战。首先,在状态分片中(即每个分片维护不同账户的状态),一笔交易涉及到的账户可能在不同的分片中,这种交易通常被称为“跨分片交易(cross-shard transaction, CTX)”,与之相反的是“片内交易(intra-shard transactions, ITX)”。跨分片交易的处理往往比片内交易更加耗时,因此高比例的跨分片交易会对区块链的性能造成巨大负面影响。

BrokerChain [INFOCOM 2022] 分片协议的基本原理是:“做市商账户(broker account)”可以提供通证给分片区块链使用,以此将一笔“跨分片交易”巧妙地化解为两笔容易上链处理的“片内交易”。然而,相对片内交易,跨分片交易(CTXs)会遭遇不公平性现象,而且问题是当前区块链分片技术中的一个普遍存在的挑战。尽管现有解决方案已经解决了CTX的原子性问题,但在处理分片内的交易时,CTXs在交易池内的排队延迟显著高于片内交易(ITXs),这会导致区块链用户的体验变差,并影响分片区块链对 CTXs 的上链公平性。

图2. 在BrokerChain分片区块链中,一个跨分片交易(CTX)的处理流程

这里我们使用图2来解释跨分片交易(CTXs)遭遇的不公平性现象。如图2所示,在分片区块链系统底层,一个CTX被解析为两个“纠缠”的子交易,分别在源分片(Source Shard)和目标分片(Destination Shard)内执行共识并上链。当用户提交一笔交易到区块链时,用户并不知道该笔交易是被当做片内交易还是跨分片交易来参与共识。而用户仅仅支付一笔常规的手续费。按照统计规律,该笔交易在一个多分片的区块链系统中大概率会被解析为一个跨分片交易,即CTX。在传统针对 CTX的处理机制中,该笔 CTX涉及的两个子交易需要分别在不同分片(源分片与目标分片)排队等待参与片内共识,原始手续费要被拆分并分别支付给两个分片内的出块者节点。这会导致此CTX在交易池中的排队延迟远高于其他片内交易ITXs,这是因为 ITXs 的手续费并没有被拆分。出块节点会优先打包ITXs。

图3. 片内交易和跨分片交易在交易池内的排队时延分布

图4. 持续注入充足交易的情况下,片内交易和跨分片交易的上链情况对比

图3和图4的前置实验结果展示了 CTX 会比 ITX 经受更长的交易池内排队时延、更小的上链比例。为了解决CTX遭遇的不公平的问题,我们提出了一种激励机制,命名为Justitia,通过激励区块提议者优先处理CTX,从而减轻它们在交易池中与 ITX 排队延迟的差异。Justitia设计时考虑了分片区块链的基本属性,包括安全性、原子性和公平性。

二、本文贡献

  • 协议设计:我们提出一种面了向分片区块链的激励机制Justitia,专注于解决CTX与ITX的公平性问题。机制设计中采用了Shapley值理论,而且确保了多输入多输出(MIMO)类型的CTX的激励公平性。
  • 理论保障:我们通过严格的理论分析证明了Justitia机制在分片区块链中能够保证安全性、原子性和公平性,尤其是显著减少了CTX的排队延迟。
  • 系统实现:我们在开源分片区块链实验平台BlockEmulator上实现了Justitia机制,并基于以太坊的历史交易数据进行了广泛的性能评估。实验结果表明,Justitia不仅显著降低了CTX的排队延迟,还避免了系统高额补贴导致的经济通胀问题,证明了其面向分片区块链系统的实用性。


论文2:ContribChain: A Stress-Balanced Blockchain Sharding Protocol with Node Contribution Awareness

一、基本思路   

区块链分片已成为一种用于提高区块链性能的突出技术,其核心思想是将整个区块链网络划分为多个子网,称为分片。这些分片并行地处理事务,从而提高了区块链的事务吞吐量。此外,分片区块链通过改变每个分片内的节点,对分片进行定期重组,以保证整个区块链网络的安全性。

目前,大量的研究主要集中在降低跨分片交易的比例,实现分片间的负载平衡,以提高分片区块链的性能。通过利用分片技术的并行优势,这些优化方法有助于提高系统吞吐量。但是,现有的方法忽略了分片内的节点组成,而只关注事务层。当分片之间存在性能差异时,即使它们的负载保持平衡,它们的压力也不平衡。

在这里,我们定义分片压力为分片处理事务的能力与工作负载的匹配程度。图5(a)和(b)分别说明了在事务分配和节点分配中不考虑分片性能的影响,事务积压在了处理能力较低的分片中。图5(a)显示了只考虑负载而忽略分片处理能力差异的情形;当前的负载均衡优化和分片重配置的方法侧重于事务分配或节点分配,而忽略了它们的联合影响,这会导致类似图5(b)的情况出现。我们把这个问题定义为当分片事务处理能力和分片负载不匹配时发生的分片间压力不平衡。

图5. 动态环境中的分片间压力不平衡问题

为了解决该问题,我们提出了一种新的压力均衡区块链分片协议 ContribChain,并设计了基于节点贡献值的节点分配和账户分配算法,以实现压力均衡。

二、本文贡献

  • 压力均衡区块链协议(ContribChain):我们提出动态更新的节点贡献值,以评估节点性能和安全性。此外,账户分配和节点分配算法基于节点和交易水平对分片压力进行评估,确保分片之间的压力平衡。
  • 基于节点贡献值的节点分配算法(NACV)和基于性能的账户分配算法(P-Louvain): NACV努力在考虑安全性的情况下,实现已分配节点的性能和分片的负载之间的平衡。P-Louvain将跨分片交易比例最小化,同时确保分片负载和性能相互匹配。
  • 系统实现:我们在一个开源的区块链实验平台BlockEmulator上实现了ContribChain。评估结果显示,与最先进的基线相比,P-Louvain分配执行时间减少了86%,跨分片交易比例减少了7.5%;ContribChain提高了35.8%的吞吐量,降低了16%的跨分片交易比例。


团队介绍

黄华威研究组(HuangLab)是中山大学软件工程学院郑子彬院长团队的一个研究组,专注于区块链、Web3、DeFi协议设计等分布式系统协议等领域的研究。团队成员包括副研究员、博士后、硕士和博士研究生,他们在区块链技术的理论和应用方面具有丰富的经验。HuangLab 致力于推动区块链技术的创新和应用,区块链基础设施方面的研究成果广泛发表在顶级期刊和国际会议上,如IEEE/ACM ToN, TPDS, TDSC, INFOCOM、ICDCS、SRDS、IWQoS等,团队成员还出版了《From Blockchain to Web3 & Metaverse》、《Blockchain Scalability》和《从区块链到Web3: 构建未来互联网生态》等区块链相关书籍。

黄华威研究组学术主页:http://xintelligence.pro

HuangLab 开发了BlockEmulator,这是一个区块链实验工具,用于验证新的协议和机制,特别是区块链分片协议。该工具支持以太坊历史交易的回放,能自动输出实验日志文件,帮助研究人员方便地收集实验数据并绘制实验图表。BlockEmulator以Go语言实现,支持定制化开发,适用于轻量级区块链系统的实验平台搭建。

BlockEmulator 主页:blockemulator.com

黄华威研究组微信公众号:Huang-Lab

分片区块链 mini 综述发表在 IEEE ComMag

杨青林,黄华威, 2024 年 11 月 06 日

研究组一篇题目为 “The State-of-the-Art and Promising Future of Blockchain Sharding” 的论文近日被 IEEE Communications Magazine (ComMag) 接收。IEEE Communications Magazine 是计算机领域高水平国际期刊,重点专注工程技术-网络通讯领域的新研究,旨在促进和传播该领域相关的新技术和新知识。ComMag 最新影响因子为 8.3,是中科院 SCI 二区期刊。

论文首页截图

论文信息

Yang, Qinglin (杨青林), Huang, Huawei (黄华威,通讯作者), Yin, Zhaokang (殷昭伉), Lin, Yue (林岳), Chen, Qinde (陈钦德), Luo, Xiaofei (罗肖飞), Li, Taotao (李涛涛), Liu, Xiulong (刘秀龙), Zheng, Zibin (郑子彬), “The State-of-the-Art and Promising Future of Blockchain Sharding,” IEEE Communications Magazine, Nov 04, 2024, pp. 1-7.

分片技术在区块链可扩展性研究方向的地位


论文内容简介

区块链分片是提升区块链系统可扩展性的重要技术分支。它被认为是在不破坏区块链去中心化特性的情况下,能够实现链上扩容、显著提升区块链可扩展性的潜在解决方案之一。为了给区块链分片的研究提供参考,并激发学术界和工业界的参与,我们梳理了近三年来发表的关于区块链分片的部分最新研究。本文还进行了实验,展示了具有代表性的分片协议,如Monoxide、LBF、Metis和BrokerChain的性能。最后,我们从Web3、元宇宙和去中心化金融(DeFi)等新兴应用对高吞吐量的迫切需求出发,展望了分片技术的潜在挑战和美好未来。我们希望这篇文章能对研究人员、工程师、教育工作者有所帮助,并对区块链分片领域的后续研究有所启发。


论文下载

实验室区块链论文被顶刊 IEEE/ACM ToN 接收

Huawei Huang, May 11, 2023

研究组近三年专注于区块链底层关键技术的研究,旨在提升区块链系统的运行性能。经过三年多的摸索,我们的技术路线逐渐发展为:以分片机制为特色,通过设计新型区块链底层协议与机制,让区块链系统运行得更高效、更健壮、更安全。

研究组一篇区块链分片机制的论文今日被IEEE/ACM Transactions on Networking (ToN/TNet) 接收为长文。IEEE/ACM ToN/TNet 是 CCF-A 类推荐期刊,是计算机网络方向三大顶刊(ToN, JSAC, TMC)之一,它要求每一篇能被接收的论文必须具备以下几个条件:足够新颖的研究选题,严谨的问题描述,有性能边界保证的算法设计,对提出的机制有充足的理论分析,以及无可挑剔的实验结果。 

接下来介绍一下这篇论文。

Huawei Huang, Xiaowen Peng, Yue Lin, Miaoyong Xu, Guang Ye, Zibin Zheng, Song Guo, “Scheduling Most Valuable Committees for the Sharded Blockchain,” IEEE/ACM Transactions on Networking (ToN/TNet), 2023, pp. 1-15. To appear. [PDF]

论文简介

近年来,源自传统数据库领域的分片技术被应对到区块链,试图解决区块链系统的扩容问题 [1]。在分片区块链中,交易池中的交易可以由多个并行委员会并行处理。以这种并发的模式,分片区块链的交易吞吐量理论上可以被较大程度地提高。但是,分片区块链仍然面临一些技术挑战。其中,有个明显的系统层面的技术问题简述如下。例如图1所示的Elastico [2]方案中,当区块链节点组成若干委员会之后,在各个委员会的共识阶段,天然地存在不同的委员会对交易达成共识的速度不一致的问题。这个问题就是分布式并行计算系统中经典的 straggler “拖后腿”问题。这是因为不同的区块链分片委员会的异构处理能力导致了不均衡的共识延迟。这种不平衡的延迟给分片区块链系统的“最终委员会”带来了很大的累积等待时延。因此,区块链交易的确认时延会被大大增加,区块链系统的吞吐量会被显著降低。

图1  Elastico协议 [2] 中每轮共识的主要流程,其中 C1-C4为并行工作的分片委员会,C5为“最终委员会”,只有最终委员会产生的区块才会上链存储。

本文认为一个好的委员会调度策略可以减少在“最终委员会”造成的累积等待时延,从而有利于区块链的系统吞吐量。但我们经过调研发现,目前相关文献尚未提出一个针对这个问题的委员会调度方案。本文首先定义分片区块链中交易吞吐量与累积时延之间的动态权衡问题,然后将这个权衡问题表述为一个效用最大化问题。为了解决这一问题,我们提出了一种在线分布式随机探索算法,英文叫做 online distributed Stochastic Exploration (SE) algorithm。该算法可以为分片区块链在每一轮共识挑选出最有价值的分片委员会优先参与最终委员会的共识,旨在让每一轮共识尽量多地打包交易、并且尽量地缩短交易在并行工作分片内的等待时延。该算法还可以处理分片委员会的动态加入和失效事件。本文还对提出的算法的收敛时间和委员会失效带来的性能扰动进行了严格的理论分析。实验环节,本文使用了真实区块链历史交易数据集进行模拟仿真。结果表明,提出的算法可以选择最有价值的部分分片委员会参与最终共识,加速区块的上链。

实验平台

本文的实验工具是实验室自行开发的区块链底层协议验证平台,名为 BlockEmulator。除了本文之外,该实验平台还被其他几篇论文所采用,例如 BrokerChain [3], tMPT [4], MVCom [5], 以及分片账户图划分算法 [6]。

我们即将把 BlockEmulator 开源给外界使用,敬请关注!

参考文献

[1] Zibin Zheng, Wuhui Chen, Huawei Huang [Book] “Blockchain Scalability,” Springer, 1st edition, 2023.

[2] L. Luu, V. Narayanan, C. Zheng, K. Baweja, S. Gilbert, and P. Saxena, “A secure sharding protocol for open blockchains,” in Proc. of ACM CCS, 2016, pp. 17–30.

[3] Huawei Huang, X. Peng, J. Zhan, S. Zhang, Y. Lin, Z. Zheng, S. Guo, “BrokerChain: A Cross-Shard Blockchain Protocol for Account/Balance-based State Sharding,” in Proc. of INFOCOM, May 2022. 

[4] Huawei Huang, Yetong Zhao, Zibin Zheng, “tMPT: Reconfiguration across Blockchain Shards via Trimmed Merkle Patricia Trie,” IEEE/ACM International Symposium on Quality of Service (IWQoS), 2023.

[5] Huawei Huang, Zhenyi Huang, Xiaowen Peng, Zibin Zheng, Song Guo, “MVCom: Scheduling Most Valuable Committees for the Large-Scale Sharded Blockchain”, ICDCS, July 2021.

[6] C. Li, Huawei Huang, Y. Zhao, X. Peng, R. Yang, Z. Zheng, and S. Guo, “Achieving scalability and load balance across blockchain shards for state sharding,” in Proc. of 2022 41st International Symposium on Reliable Distributed Systems (SRDS’22), 2022, pp. 284–294.

tMPT: 区块链分片重组实现方案 (IWQoS’23)

Huawei Huang, Yetong Zhao,  Zibin Zheng*, “tMPT: Reconfiguration across Blockchain Shards via Trimmed Merkle Patricia Trie”, IEEE/ACM International Symposium on Quality of Service (IWQoS), June 2023.

近日,HuangLab 最新的一篇区块链分片技术的论文,被国际会议 IWQoS 接收,该会议2023年的论文接受率为 62 / 264,竞争颇为激烈。本篇论文简介如下。

一、研究背景与动机

分片技术是提高区块链可扩展性的一种可行的技术路线 [1-4]。通过将所有共识节点划分至多个分片中,分片技术可以帮助区块链实现对交易的并行处理。因此,分片技术可以大大提高区块链网络的吞吐率,适用于交易到达速率高的区块链平台。

然而,分片技术的引入将区块链系统的安全性从整个网络分摊至单个分片,因此需要一定的保护机制来保证每个分片的安全性。而分片重组是一个较为可行的增强分片区块链系统安全的手段。在分片重组的过程中,当共识节点迁移到一个新的分片时,该节点需要同步新分片中的交易或账户的状态等信息,以便能够允许共识节点在新分片中可以进行交易的验证。Elastico [1] 提出定期对各个分片的节点进行定期洗牌,然后将共识节点随机分配给各个分片。RapidChain [2]、Omniledger[3] 等论文则设计了允许分片节点部分同步的方法,以便减少分片重组过程对整个区块链系统的影响。

通过调研现有的区块链分片相关的工作,我们发现对于分片区块链的分片重组的研究尚处于很初始的阶段,尚且缺少一个对分片进行重组的实现方案。本文展示我们提出的一种分片重组方案,旨在减少分片重组所需的时间,同时确保分片区块链系统的安全性。

图1  分片区块链的分片重组过程

二、本文贡献

  • 本文提出了一个分片重组协议,在保证分片系统安全性的同时,还可提高分片重组的效率。
  • 我们为分片重组协议设计了 trimmed Merkle Patricia Trie (tMPT) 数据结构,并运用 tMPT 对分片内的状态树进行压缩,旨在提高分片重组的效率。为了进一步减少分片重组过程对区块链系统的影响,我们还进一步提出了一种分片间部分重组的方案。
  • 我们在模拟系统上对分片重组过程进行了原型系统的实现,并将其部署在阿里云服务器中。实验表明,本文提出的方法在分片重组效率上优于现有的数据同步方法,所提出协议的吞吐量比以太坊的“完全同步”(Full Synchronization)的方法高 198%。

三、提出协议的简介   

1. 核心思想

根据 Ethanos [5] 的调查结果,以太坊上的交易存在着“时间局部性”,即部分账户在一周内会进行多次交易。这些活跃账户的状态数据也会在短时间内经历多次更新。受此启发,本文提出的方案通过仅在分片重组时才为共识节点同步活跃账户的状态数据,这样可大大减少分片重组时传输的数据量,从而可提高分片重组的效率。

2. 系统简介

2.1. 角色介绍

所提出的协议包括两种类型的节点和对应的两种类型的分片。

  • 验证节点 (Validator node). 验证节点保存其曾参与验证的历史区块的数据和对应的账户状态。通过存储活跃账户状态,验证节点可以进行新区块的交易验证;通过存储历史区块数据,他们可以为用户提供历史区块查询服务。验证者节点组成多个验证分片。
  • 见证节点 (Witness node). 见证节点保存全网的账户状态和节点数据,负责生成重组方案并帮助验证节点进行交易验证。见证节点组成见证分片。

2.2. 系统运行流程

图2  分片重组协议运行流程

如图2所示,我们将系统运行过程划分为共识阶段重组阶段。共识阶段中,验证分片执行片内共识,处理交易并出块。重组阶段中,见证分片生成重组方案,协助验证分片进行分片重组,并更新账户状态信息。具体步骤如下:

  • Stage 1. 每隔一定的出块间隔,见证分片利用VRF随机函数生成一份重组方案,并在分片内对该重组方案进行共识。
  • Stage 2. 重组方案被广播至全网,各分片在当前区块共识完毕后进入重组阶段。
  • Stage 3. 重组阶段开始。各工作分片分片遍历当前状态树,删去状态树中最近访问周期小于k的节点,得到epoch k的部分状态树.
  • Stage 4. Epoch k的部分状态树被发送至重组后该分片的对应的验证节点和见证分片。
  • Stage 5. 编排状态树信息。验证分片收到各分片发来的状态树,并于该分片的历史状态信息进行合并,得到各分片的全局状态信息。
  • Stage 6. 验证分片和见证分片均对本分片内更新后的状态信息进行共识。共识完成后,各分片进入共识阶段执行交易验证和出块。

四、实验结果

实验设置:本文使用 Golang 语言在实验室自行开发的区块链模拟器(名为 blockEmulator)上实现了 tMPT 协议。这里顺便提一下,blockEmulator 即将开源!敬请关注。我们收集了以太坊 2018 年 7 月 20 日到 2018 年 7月 24 日的 1,500,000 条转账交易作为实验数据来源,实验中将区块大小和出块间隔分别设置为 1000 笔交易和 4 秒,系统包含四个验证分片和一个见证分片,各分片包含 4 个共识节点。原型代码部署在租用的阿里云服务器。

主要实验结果:我们首先测试了不同重组方法所对应的区块链系统的 TPS。如图3所示,我们提出的 tMPT 和 partial tMPT 方法的 TPS 明显优于其他所有方法,且 TPS 分别为 Ethereum full sync 的 3 倍和 3.4 倍。

如图4所示,随着时间的推移,各 baseline 方法的 TPS 呈下降趋势,而 tMPT  和 partial tMPT 方法的 TPS 维持在一个稳定的水平。

图5 和 图6 展示了不同方法下的重组时延和数据量大小。结果表明,除了 tMPT 重组方法外,其余方法重组时传输的数据量都随着交易进行而不断增加,与之对应的重组时间也呈不断上涨的趋势。而由于 tMPT 只传输单个 epoch 对应的活跃账户的状态,因此重组时传输的数据量维持在一个相对稳定的水平,重组时延也保持在一个平稳的趋势。当交易执行到最后一个 epoch时,tMPT 的重组时延和传输数据量大小分别为 Ethereum full sync 的 2.8% 和 13%。

图3 平均吞吐量对比
图4  吞吐量随时间变化
图5  重组时延随时间变化
图6  重组数据随时间变化

五、本文总结

本文提出了一种基于 tMPT 的分片重组方案,旨在保证分片区块链安全性的同时提高分片重组效率。tMPT 状态树可以将重组时节点同步的状态信息进行压缩,并引入见证分片协助完成重组过程以及对非活跃账户交易的验证。此外,我们也对重组过程中系统安全性进行了理论证明。实验结果表明,本文所提出的基于 tMPT 的重组方案在交易吞吐量和重组时延等方面显著优于其他方法。

六、提出的机制应用到工业界的前景分析

分片区块链底层技术仍处于研究探索阶段,还面临诸多问题和挑战需要解决。制约分片区块链技术大规模应用的关键因素在于提高吞吐量的同时还需要确保区块链网络的安全性。本文提出的基于tMPT 的协议为分片区块链技术路线的分片重组环节提供了一个安全高效的实现方案。

参考文献

[1] Luu L, Narayanan V, Zheng C, et al. A secure sharding protocol for open blockchains[C]//Proc.of ACM SIGSAC Conference on Computer and Communications Security (CCS’16). ACM,2016:17-30.

[2] Zamani M, Movahedi M, Raykova M. Rapidchain: Scaling blockchain via full sharding[C]//Proceedings of the 2018 ACM SIGSAC conference on computer and communications security. 2018: 931-948.

[3] Kokoris-Kogias E, Jovanovic P, Gasser L, et al. Omniledger: A secure, scale-out, decentralized ledger via sharding[C]//2018 IEEE Symposium on Security and Privacy (SP). IEEE, 2018: 583-598.

[4] Wang J, Wang H. Monoxide: Scale out blockchains with asynchronous consensus zones[C]// Proc. of 16th USENIX Symposium on Networked Systems Design and Implementation (NSDI’19). 2019:95-112.

[5] Kim J Y, Lee J, Koo Y, et al. Ethanos: efficient bootstrapping for full nodes on account-based blockchain[C]//Proceedings of the Sixteenth European Conference on Computer Systems. 2021: 99-113.

(HuangLab出品,必属精品)

基于“做市商账户”的区块链跨分片协议 —— BrokerChain

彭肖文,黄华威,2022年5月

论文信息:Huawei Huang, Xiaowen Peng, Jianzhou Zhan, Shenyang Zhang, Yue Lin, Zibin Zheng, Song Guo, “BrokerChain: A Cross-Shard Blockchain Protocol for Account/Balance-based State Sharding”, INFOCOM, May 5, 2022.

一、研究背景与动机

区块链是比特币、以太币等加密数字货币的底层基础技术,它综合利用了点对点(P2P)底层网络、分布式数据存储、密码学、分布式一致性共识机制、以及智能合约等计算机技术,构建出一个分布式存储的链式账本 [1][2]。区块链的底层架构为上层应用提供了存储、传输、计算等服务,具有去中心化、难以篡改、协同操作和匿名隐私等典型特征,有着较大的发展和应用前景。区块链主要应用于金融结算、商品溯源、版权保护、数据确权等业务场景 [3]。

然而,区块链底层技术仍处于初期探索阶段,还面临诸多问题和挑战 [4][5]。具体来讲,现有的区块链技术难以解决共识效率问题。例如,比特币的吞吐量为每秒 7 条交易、以太坊的吞吐量也仅为每秒 14 条交易,远低于商用级别所需的吞吐量要求。只有提高了区块链的可扩展性,才能扩大其适用场景,从而赋能数字经济、金融保险、政务等多个领域与行业。

针对区块链的可扩展性,研究人员提出了多种不同的技术方案,如闪电网络[6]、DAG技术[7]、状态通道[8]和分片机制[9]等。其中,分片(Sharding)是一种可提高区块链可扩展性的链上扩容技术。分片机制将完整的账本数据切分为多个互不相交的子账本,再让不同的区块链节点群(也称为分片)管理不同的子账本,多个分片可以并行验证交易,以此线性提升区块链系统的事务处理能力。

但是,区块链分片技术仍面临诸多挑战。如图1所示,基于账户模型的分片机制存在两个问题:第一个问题是跨分片交易比例过高,几乎所有交易均为跨分片交易。过高的跨分片交易率不仅给系统增加了额外的交易负载,而且会造成大量的跨分片通信开销。第二个问题是分片间的交易负载严重失衡,存在冷热不均的现象。我们分别称需要处理过量和少量交易的分片为热分片(Hot Shard)和冷分片(Cold Shard)。热分片由于被持续注入大量的交易,产生了交易拥挤的现象,这会增加交易的确认延迟。而冷分片内只有少量交易可以处理,所产生的区块的交易填充率不高,造成了算力、带宽等资源的浪费。面对如上两个问题,一个难题是如何保证跨分片交易比例较低的同时保证分片间的交易负载均衡。

(a)跨分片交易比例高
(b) 分片间的交易负载不均衡
图1  区块链分片技术的两大挑战

另一方面,在基于状态分片的区块链系统中,跨分片交易的验证和处理策略是至关重要的。系统需要支持分片间的通信,来保证跨分片交易执行的“原子性”。目前已有的比较高效的跨分片交易方案主要通过如图2所示的消息传递方式进行。首先,交易在源分片上链后,源分片的节点会向目标分片发送一个包含 Merkle Path 证明的中继消息。目标分片的节点接收到中继消息后,通过 Merkle Path 验证对应交易的正确上链情况,再在目标分片将关联交易上链,从而实现对相关区块链状态的更新。因为跨分片验证的存在,跨分片交易的延迟在理论上至少是片内交易时延的两倍。当位于目标分片内的关联交易迟迟无法上链时,跨分片交易的共识延迟有可能无限大。

图2  Monoxide [13] 采用“中继交易”来处理跨分片交易

为了减少跨分片交易比例、实现分片之间的负载均衡、并且保证跨分片交易的原子性,本文旨在提出一种新的跨分片协议来提高分片区块链的吞吐量和降低交易的平均确认延迟。

二、本文贡献

  • 本文提出了一套新的跨分片交易处理协议,通过引入“做市商账户”来减少跨分片交易的数量和加速跨分片交易的上链。而且,通过引入“双Nonce”机制和“部分时间状态锁”机制来防止双花交易,并保证跨分片交易的原子性。
  • 本文还提出了状态划分方案,代替分片区块链原本使用的静态状态划分策略。该分片划分方案根据一定时间内的历史交易信息构建一个账户交易状态图,并对其进行图划分。图划分的目标是平衡各个分片的交易量的同时最小化跨分片交易的数量。通过划分的结果,对每个分片内的账户状态进行动态的调整,从而缓解系统的单分片过热和跨分片交易比例过高的问题。

三、提出的跨分片协议简介

 1. 提出协议的概述

    本文提出的区块链动态分片协议的整体框架如图3所示。和传统的分片协议一样,所提出的动态分片协议以“时期 (Epoch)”为单位来运行。时期的定义为固定的片内交易共识轮次或者固定长度的时间。我们采用BFT类共识协议作为片内共识协议。在所提出的协议中,根据职能的不同,存在两种不同类型的分片:工作分片(Mining shard, M-shard)和划分分片(Partition shard, P-shard)。它们分别负责处理不同的事务,具体分工描述如下:

  • 工作分片。工作分片中的节点负责接收、验证和转发交易,并将通过片内共识协议,将合法的交易进行打包上链。工作分片所产生的包含交易的区块,称为交易区块(Transaction Block)。
  • 划分分片。划分分片中的节点负责同步工作分片中待确认的交易,并根据收集到的交易,执行给定的账户划分算法,并且维护更新后全局的账本状态。划分分片通过产生状态区块(State Block)来引导工作分片安全可靠地进行账户状态的转移和分片账本状态的更新。
图3  区块链动态分片协议整体框架

图3展示了本文所提出的跨分片协议的整体框架,包括4个关键步骤,具体描述如下:

  1. 工作分片持续接收、验证和转发客户端发送的交易信息,维护一个待上链确认的分片交易池。工作分片内的节点会通过共识协议,进行交易的验证和上链确认,产生相应的交易区块。同时,这些交易区块和待确认的交易池会被同步到划分分片中。
  2. 划分分片持续监听所有工作分片中的交易信息,构造账户交易网络并且执行Metis划分算法,对账户进行分片划分。
  3. 划分分片根据账户划分的结果,生成最新全局的分片区块链的状态信息。然后,主分片通过共识协议,记录相应的状态信息到区块中,生成相应的状态区块并且对该区块做上链共识。该状态区块会被同步到所有工作分片中。
  4. 工作分片根据状态区块中所记录的划分结果来更新自身分片的账本状态。区块链分片系统准备进入下一个时期。

2. 保障跨分片交易处理的有效性

    如图4所示,针对跨分片交易延迟高的问题,本文基于状态划分算法拟提出一种新的跨分片协议来缓解跨分片交易处理的效率问题。该协议的基本思路阐述如下:在进行状态划分的过程中,系统会同时招募一些特殊的充当中间人的账户,我们称这些特殊的账户为“做市商账户”。系统允许一部分普通用户通过自愿抵押一定的资产,选择充当做市商账户。做市商账户的状态会被系统分割成两部分或多个部分,分别存储在两个或多个分片中,从而参与到若干个跨分片交易的协调当中。做市商账户的协调机制可以减少基于转账类型的交易的跨分片通信,因此可以减少跨分片交易的延迟,从而提高跨分片交易执行的效率。

图4  基于做市商账户的机制加速跨分片交易的共识

图5展示了本文提出的跨分片协议对跨分片交易的执行原理与流程。本文在交易的数据结构中通过引入“部分状态时间锁”,从而实现跨分片交易的原子性执行。假设处于分片1的账户A给处于分片2的账户B发送一笔交易 $\Theta_raw$(如步骤1所示),中间做市商账户 C 会将原交易打包成另一个交易 $\Theta_1$,并广播到分片1(如步骤2所示)。分片1对交易 $\Theta_1$ 执行“AC转账并锁一定时间”操作并上链(如步骤3所示)。当中间商账户在一定时间内观察到交易 $\Theta_1$ 在分片1成功上链后,会向分片2广播交易 $\Theta_2$(如步骤4所示)。最后,步骤5中,分片2对交易 $\Theta_2$ 执行 “CB转账” 的操作并上链,从而最终实现一笔跨分片交易的执行。如果交易过程中因为某一方作恶或者超时,则执行中断操作:分片2会对 $\Theta_1$ 进行上链,并向分片1发送证明 $\gamma$,从而中断对跨分片交易的执行。

图5  保证跨分片交易原子性的流程

四、实验结果

实验设置:本文使用 python 搭建了一个分片区块链的仿真实验环境,实现了基于Metis图划分的分片调整和“做市商账户”跨分片交易机制。关于数据集,本文使用了以太坊从2015年8月7日至2016年2月13日的1,600,000条真实历史交易。在实验过程中,交易以一定的交易到达率被注入到各个分片中。每个分片的出块时间间隔设置为8秒,每个区块打包交易数量上限为2000条,分片数量为32个。实验测试了不同交易到达率和不同分片数量下的系统吞吐量和平均交易延迟。

主要实验结果:如图6所示,本文提出的分片协议与 Monoxide [13] 采取的分片机制相比,吞吐量最大提升150%,平均交易延迟降低70%;与基于负载均衡优先(Load Balance First,LBF)的动态分片调整协议相比,吞吐量最大提升10%,平均交易延迟降低40%。可见,与 Monoxide [13]提出的“中继交易”协议相比,本文提出的 BrokerChain 协议能够保证跨分片交易在较短的时间内完成,从而降低跨分片交易的交易延迟。

图6  吞吐量和平均交易延迟随交易到达率的变化

如图7所示,与基于Metis图划分方法相比,本文提出的机制可以将跨分片交易的比例进一步降低10%。

图7  跨分片交易比例 (分片数量为64)

五、提出的机制应用到工业界的前景分析

1. 块链分片机制的用前景

如今,区块链技术已经被诸多国家认可,各国加大了对区块链产业发展的布局,并争抢产业的制高点。我国也不断布局推动区块链产业的发展,2021 年我国发布了《指导意见》,进一步明确了区块链的发展目标,推动相关应用落地。近年来,国内头部企业纷纷推出自己的联盟链平台,如国产开源联盟链底层平台 FISCO BCOS [10]、蚂蚁链(AntChain)[11] 和华为云区块链 [12] 等。

联盟链的底层基础设施平台为上层应用提供了分布式存储、高效价值传输、分布式计算等服务,其发展状况已经成为推动区块链业务是否繁荣的关键因素。虽然联盟链技术已经有相关的落地场景,但大多局限于小规模的共识场景。现有的联盟链技术难以解决大规模共识节点和拥有大量交易的场景下的共识问题。只有提高了联盟链的可扩展性,才能更好地支撑其适用的大规模应用场景,从而赋能数字经济、数字政务等领域与行业。

本文提出的机制,针对面向广域网的大规模联盟链基础设施,采用分片技术实现提升区块链的可扩展性能。基于分片机制的联盟区块链是一个充满潜力的研究与应用方向。

2. 块链跨分片协议用前景分析

2021年初国家发布“十四五规划纲要”,指出区块链是赋能数字经济的重要基础设施。目前国内区块链领域是多链共存的现状,因此跨区块链平台实现数据与业务的高效交互十分必要。本文提出的基于做市商账户的跨分片协议,理论上可以扩展为跨链协议,它能为多个链之间提供一种简单、高效的跨链交易的服务。在跨链交易能够执行成功的情况下,可以大大减少跨链通信;在跨链交易执行失败的情况下,通过生成交易的失败证明,并执行资产回滚操作,来维护跨链交易的原子性和数字资产的全局状态一致性。

参考文献

[1] Nakamoto S. Bitcoin: A peer-to-peer electronic cash system[J]. Decentralized Business Review, 2008: 21260

[2] Wood G. Ethereum: A secure decentralised generalised transaction ledger[J]. Ethereum project yellow paper, 2014, 151(2014): 1-32

[3]中国工商银行金融科技研究院. 区块链金融应用发展白皮书[R/OL]. 2020. http://pdf.dfcfw.com/pdf/H3_AP202004261378665796_1.pdf

[4] Zheng Z, Xie S, Dai H N, et al. Blockchain challenges and opportunities: A survey[J]. International Journal of Web and Grid Services, 2018, 14(4):352-375

[5] 韩璇, 袁勇, 王飞跃, 等. 区块链安全问题: 研究现状与展望[J]. 自动化学报, 2019, 45(1):206-225

[6] Poon J, Dryja T. The bitcoin lightning network: Scalable off-chain instant payments[EB/OL].2022. https://www.bitcoinlightning.com/wp-content/uploads/2018/03/lightning-network-paper.pdf

[7] Pervez H, Muneeb M, Irfan M U, et al. A comparative analysis of dag-based blockchain architectures[C]//2018 12th International conference on open source systems and technologies(ICOSST). IEEE, 2018:27-34

[8] Dziembowski S, Faust S, Hostáková K. General state channel networks[C]//Proceedings of the2018 ACM SIGSAC Conference on Computer and Communications Security (CCS’18). ACM,2018:949-966

[9] Luu L, Narayanan V, Zheng C, et al. A secure sharding protocol for open blockchains[C]//Proc.of ACM SIGSAC Conference on Computer and Communications Security (CCS’16). ACM,2016:17-30

[10] Li H, Li C, Li H, et al. An overview on practice of fisco bcos technology and application[J].Information and Communications Technology and Policy, 2020, 46(1):52-60

[11] 蚂蚁链. https://antchain.antgroup.com/docs/11/101801

[12] 华为区块链白皮书2021,建设融合开放的数字经济基础设施 [R/OL]. 2021. https:// res-static.hc-cdn.cn/cloudbu-site/china/zh-cn/BCS/BCS__2.0.pdf

[13] J. Wang and H. Wang, “Monoxide: Scale-out blockchains with asynchronous consensus zones,” in Proc. of 16th USENIX Symposium on Networked Systems Design and Implementation (NSDI’19). Boston, MA: USENIX Association, Feb. 2019, pp. 95–112

(版权声明,转载请标明出处。)

联邦学习设备调度的论文被 ICDCS 2022 接收

黄华威,李瑞新,2022年4月6日

近日,HuangLab 在联邦学习设备调度方面的研究取得进展,论文《ContexFL: Context-aware Federated Learning by Estimating the Training and Reporting Phases of Mobile Clients》被分布式计算系统领域顶级学术会议 The 42nd IEEE International Conference on Distributed Computing Systems (ICDCS 2022) 录用为长文。

会议介绍

ICDCS 是分布式计算系统领域享有盛誉和具有重要学术影响力的顶级国际学术会议,本届 ICDCS 会议 Research Track 论文全球投稿共573篇,仅有114篇被录用,录用率为19.9%。

论文介绍

Huawei Huang, Ruixin Li, Jialiang Liu, Sicong Zhou, Kangying Lin, and Zibin Zheng, “ContextFL: Context-aware Federated Learning by Estimating the Training and Reporting Phases of Mobile Clients”, ICDCS, 2022.

在边缘计算的环境中,由于边缘网络的情况和各种物联设备的可用算力是频繁变化、波动较大的,跨设备的横向联邦学习的训练效果往往较大程度上受到设备的网络情况和可用计算资源的影响。传统的横向联邦学习设备调度方法着重考量当前设备的状态(网络、算力等),但面对网络和算力频繁变化、波动较大的环境之时,便难以维持联邦学习训练的稳定性与可靠性,从而造成联邦学习所训练的模型性能浮动较大的现象。

论文提出的 ContextFL 框架

本文针对上述现象,提供了一种可行的解决思路:为充分考虑边缘计算环境的不稳定性因素影响,本研究通过结合各设备当前以及预测的未来一段时间内的网络与算力状态进行设备调度,从而确保参与联邦学习的设备都是可靠的有效设备,以此提高边缘计算环境中联邦学习训练效果的稳定性与可靠性。