一、oodOPT: A Semantics-Based Concurrency Control Framework for Fully-Replicated Architecture(论文文献综述)
任弘迪[1](2020)在《数据复制中心的设计与实现》文中研究指明数据复制中心旨在解决企业面临的各类数据同步问题。常见的问题有:把线上数据同步到数据仓库供后续分析;实现变更数据捕获模式,订阅数据库变更以更新缓存、搜索引擎或是异步触发后续业务流程;在不同数据中心之间做双向同步以提供异地容灾能力等。业界也有一些解决这些问题的尝试,但公开的方案有些只是命令行工具,无法满足企业对可用性的要求;有些只支持特定的数据源,难以拓展到不同类型的数据源;大部分方案使用与源端相同的一致性级别,少数没有明确说明一致性语义,但都没有针对同步场景做优化。在总体设计上,本文首先通过归纳使用场景,明确了系统的需求和目标。其次在架构层面,系统分别针对裸机和Kubernetes集群设计了基于复制状态机的裸集群架构和基于云原生的架构,消除了单点故障,实现了高可用和可拓展性。接着,设计了插件结构的执行引擎,以提升系统的可升级性,方便接入不同的数据源。最后在并发控制上,提出了适用于数据同步场景的行级一致性语义。该语义较现有的大部分方案降低了一致性要求,从而提高了理论吞吐上限。设计了实现该语义的并发控制算法,并运用批量优化技术,进一步提升性能。在实现上,系统提出了五大关键技术。首先是统一消息结构,解决了主流数据源没有统一对外接口的问题,降低了各组件对数据源原生接口的依赖,提高了系统的可升级性。其次针对全表读取,提出通用主键分页算法,不需要全局一致性读,再加上运用采样分段并发读取手段,解决了常规大表全表读取成本较高的问题,提升了系统在读取侧的性能。接着通过标记和识别内部流量支持双向同步,解决了环型同步的难点。第四,系统存储了元数据变更历史,解决了连续表结构变更期间重启就无法继续工作的问题,提升了极端情况下系统的可用性。最后通过应用混沌工程,以及参考流式计算中分布式快照算法实现的实时监测和水位线监控,补充了复制系统的验证机制,提升了系统的可观测性。系统已经在生产环境运行一年多,支持了数百数据源实例,上千TB数据的迁移任务,每天同步数十亿行增量数据,端到端延迟95线小于100毫秒(其中包括读写数据源延迟约95毫秒)。在4核容器内进行My SQL到My SQL的同步就可以达到目标端My SQL的瓶颈,最大吞吐达到5万行每秒,同步开始后1分钟目标端My SQL的从库已经产生接近1分钟的主从延迟,因而效率远超原生主从同步机制。
兰丽娜[2](2019)在《物联网资源管理服务关键技术研究》文中进行了进一步梳理物联网将物理世界网络化、信息化,对传统的分离的物理世界和信息空间实现互连和整合,目标是达到更透彻的感知,更全面的互联互通和更深入的智能化,代表未来网络的发展趋势。目前,大量多源异构的物联网感知设备大多采用专用的接入方式和专门的应用系统进行互通,形成竖井式应用模式。这种竖井式应用模式造成大量的感知资源和数据难以共享和重用,物联网应用服务之间互联互通困难,难以实时动态协同,难以支持大规模的更智能化的物联网应用服务。本文针对物联网资源管理、物联网服务提供等关键技术进行深入研究,取得如下成果:1.针对物联网服务提供面临的感知信息按需分发及异构服务系统间的服务协同执行问题,提出了一种新的事件驱动的面向服务的物联网服务体系架构(EDSOA)。该架构融合事件驱动架构(EDA)和面向服务架构(SOA),基于消息总线实现感知信息的按需分发,基于事件驱动实现服务动态协同执行。该架构中消息总线采用易扩展的分布式基于主题的发布订阅消息系统,消息的发布和接收都采用Push方式,保证消息传送的实时性和保序性。该架构基于隐式的事件链驱动服务执行,相比传统SOA基于预先编排的请求响应服务流程执行更灵活,能较好地适应动态变化的物联网环境。最后通过一个物联网应用系统一智慧城市道路井盖监控系统验证了该架构的有效性,并通过实验证明了在并发服务执行上EDSOA架构比传统SOA架构执行速度更快,具有性能上的优势。2.针对物联网竖井式应用模式带来的资源共享困难,以及异构感知设备统一接入问题,提出了一种基于边缘计算的物联网异构感知设备统一接入平台。该接入平台部署在临近感知设备的网络边缘,以支持物联网应用的快速响应,并为敏感数据提供有效的隐私保护。提出了一种通用的基于本体的物联网资源描述模型,为云计算中的物联网应用提供异构感知设备的一致视图。基于该模型,提出了一种异构感知设备自适应接入方法,为智能化程度不同的感知设备提供统一的接入、控制和管理。该接入平台将物联网的竖井式应用模式转变为水平式应用模式,支持物联网应用对感知设备和资源的共享和重用。最后通过一个智慧城市道路井盖监控系统应用案例验证了资源描述模型和自适应接入方法的有效性,并通过实验证明了该接入平台具有良好的性能以及采用边缘计算的性能优势。3.针对物联网实时监控应用大数据处理中的事件可重构和实时处理性能两个关键问题,提出了一种通用的复杂事件处理(CEP)机制。首先提出了一种包括原始事件、简单事件和复杂事件的形式化的分级复杂事件模型,降低了复杂事件建模的复杂度。该模型支持复杂的时间和空间语义,支持以编程的方式灵活定义复杂事件。在此基础上,提出了一种基于边缘计算的CEP系统架构。该系统部署在终端感知设备与云端应用之间的网络边缘,为局域数据处理提供更快的响应。该系统将复杂事件定义映射到CEP规则逻辑脚本,可及时检测出潜在的异常事件。该CEP机制具有通用性,适用于各种异构感知设备和CEP引擎。通过两个物联网监控应用实例验证了复杂事件模型的有效性,并通过实验证明了该机制可显着提升CEP系统整体性能。4.针对物联网时间序列数据实时处理要求,提出了一种轻量级的嵌入式时序内存数据库(TSMMDB)。首先,基于业务模型提出了一种树形的物联网感知数据模型,叶子节点采用基于时间、资源、度量的三维表结构,索引采用多层嵌套的红黑树。数据存储按照时间进行分割,同一个文件中包含数据和相应的索引信息,并采用灵活的数据局部性内存分配机制,获得更好的实时处理性能。然后,提出了定制的虚拟堆和虚拟堆内存分配器,基于共享内存,将物理内存页面在进程间共享,使得应用程序可以在自己的进程空间中访问整个数据库中的数据,不再受限于传统的数据库进程间通信方式。内存数据库的数据对象,基于内存映射机制自动实现对象持久化。进一步,提供基于大粒度锁的数据访问并发控制机制。该内存数据库数据存取算法具有较好的时间复杂度,实验结果表明该内存数据库相比传统的内存数据库和基于磁盘的关系数据库具有更好的性能。
沈阳[3](2019)在《分布式多处理器环境下任务调度方法研究》文中研究指明针对操作系统下多任务与大任务的高性能执行的要求,分布式多处理器系统为解决最终问题(多任务与大任务的高性能计算)提供硬件层面上的基础支持,但是,如何将这种硬件能力转变成计算性能的提升,并充分利用分布式并行计算能力,这便需要有高效的适应多任务和大任务高性能执行要求的调度模型。一个好的调度模型能够高效实现任务与计算资源的映射,解决共享资源的竞争问题,实现任务时间跨度的最小化以及提升硬件资源的利用率,这也是当前分布式多处理器系统研究领域所面临的挑战之一。本文针对多任务与大任务的高性能执行的要求,以分布式多处理器系统为目标环境,研究相关性任务调度问题,从任务分解、时间跨度优化、通信竞争、动态优先级计算以及最优虚拟核分配等方面展开研究。在理论上,发现分布式多处理器系统的调度特性与规律,并进行相应的算法设计与实现,在方法上,给出创新的调度模型与算法,解决目前调度算法对于任务相关性考虑不足、以及对分布式多处理器体系结构的考虑不足等问题,给出面向任务执行性能最优的调度方法。在应用上,首先使所给出的新方法应用于操作系统一级或者支撑操作系统的环境上,支持多任务与大任务在分布式多处理器系统上的高度并发,形成透明的多处理器一级的并行高性能计算环境。本文的研究工作和成果主要包括以下四个方面:(1)为解决分布式多处理器系统环境中大任务的高性能并行计算问题,本文设计并实现了面向分布式多处理器系统的任务分解器,对任务分解器的类型语义、输入元素和输出元素进行形式化定义及描述,然后详细阐述了分解过程,并定义分解过程中所需的操作函数和解析函数。任务分解器将进入系统的原始任务(大任务)按照其输入数据和流程结构进行分解,将大任务分解成适当的多个子任务,构建成相关性任务集,这样可以大幅度提高任务的平均执行性能,同时相关性任务集也可作为后续调度算法的输入内容和调度对象。(2)为解决在通信资源竞争环境下的相关性任务集离线调度问题,提出了CRCHEFT调度算法。CRCHEFT算法在HEFT等算法的基础上充分考虑了处理节点间对通信资源的竞争问题。首先针对分布式多处理器系统的特点,在任务优先级方面改进了任务向上权值的计算方法,解决了以前向上权值计算中异构环境“同构化”的问题。在面向通信资源竞争的通信线路的选择方面,引入指定链路的最早开始时间和最早完成时间的定义,并将任务间的边映射到通信线路上,能够真实准确反映分布式多处理器系统实际运行时的状况。采用处理节点空闲区间插入技术和任务复制技术,实现任务到处理节点的最佳匹配,提高了相关性任务集的调度性能,降低了整体调度长度。CRCHEFT算法的平均时间跨度比主流算法优13%27%左右。(3)为解决在通信资源竞争环境下的相关性任务集在线调度问题,提出了DRSA调度算法。DRSA算法是则在CRCHEFT算法的基础上,面向相关性任务集在线调度问题,提出的一种基于动态重组的综合调度算法。DRSA算法的主要思想是在新任务集到达时对其进行向上权值aranku和向下权值arankd的改进计算,并找出老任务集中具有最大改进向上权值maxaranku,然后在新任务集中找出改进向上权值与maxaranku最近的任务t,最后老任务集出口任务结点的后继任务设置为该任务t,从而实现相关性任务集的合并重组,在重组过程中对系统中所有剩余任务集进行延迟度计算,可以进一步避免系统负载较重时老任务集剩余任务延迟较多的情况。负载的平均完成时间方面比主流算法优10%15%左右,任务完成次序也更加合理。(4)为解决在片上众核处理器系统(MPSoC)环境下具有期限和价值约束的独立任务并发调度问题,提出了VPD算法和DPS-CCS算法。针对MPSoC物理核心较多但单个物理核心运算能力不强的特点,VPD算法着重考虑如何将多个物理核心组合起来以提高单个独立任务的执行效率,该算法在任务执行过程中识别其运行阶段状态,当任务执行进入一个相对平稳的阶段状态时,计算出在该阶段状态中任务对虚拟核的需求,实时选取相应数量的物理核心临时组成与任务需求相匹配的虚拟核,在任务执行效率和资源占用数量之间达到平衡。DPS-CCS算法用于MPSoC环境下的独立任务高性能并发调度,本文所研究的独立任务具有价值和截止期两个影响任务执行性能的重要特征,DPS-CCS算法以VPD算法所计算得出的虚拟核粒度以及运行时间片为基础,综合考虑任务的未实现价值率与时间紧急度这两个因素,给出综合计算方法,同时为避免由于任务迁移和抢占而造成的大量系统开销,在任务组织上采用集中控制式的任务集合,在任务执行周期内根据任务的虚拟核粒度合理分配时间片。DPS-CCS算法针对多任务并发调度,在任务的完成率和累计价值两方面达到适当平衡,无论在静态多核系统还是在MPSoC系统上,能够充分发挥当前系统的优势,优化独立任务调度的公平性,提升任务的执行性能。在任务完成率方面,DPS-CCS算法比主流算法平均高12%40%左右,在累积完成价值率方面,DPS-CCS算法比主流算法平均高20%34%左右。
李博杰[4](2019)在《基于可编程网卡的高性能数据中心系统》文中认为数据中心是支持当今世界各种互联网服务的基础设施,面临硬件和应用两方面的挑战。硬件方面,通用处理器的性能提升逐渐放缓;应用方面,大数据与机器学习对算力的需求与日俱增。不同于容易并行的Web服务,大数据与机器学习需要各计算节点间更多的通信,这推动了数据中心网络性能的快速提高,也对共享数据存储的性能提出了更高的要求。然而,数据中心的网络和存储基础设施主要使用通用处理器上的软件处理,其性能落后于快速增长的网络、存储、定制化计算硬件性能,日益成为系统的瓶颈。与此同时,在云化的数据中心中,灵活性也是一项重要需求。为了同时提供高性能和灵活性,近年来,可编程网卡在数据中心被广泛部署,利用现场可编程门阵列(FPGA)等定制化硬件加速虚拟网络。本文旨在探索基于可编程网卡的高性能数据中心系统。可编程网卡在加速虚拟网络之外,还可以加速网络功能、数据结构、操作系统等。为此,本文用FPGA可编程网卡实现云计算数据中心计算、网络、内存存储节点的全栈加速。首先,本文提出用可编程网卡加速云计算中的虚拟网络功能,设计和实现了首个在商用服务器中用FPGA加速的高灵活性、高性能网络功能处理平台ClickNP。为了简化FPGA编程,本文设计了类C的ClickNP语言和模块化的编程模型,并开发了一系列优化技术,以充分利用FPGA的海量并行性;实现了ClickNP开发工具链,可以与多种商用高层次综合工具集成;基于ClickNP设计和实现了200多个网络元件,并用这些元件组建起多种网络功能。相比基于CPU的软件网络功能,ClickNP的吞吐量提高了10倍,延迟降低到1/10。其次,本文提出用可编程网卡加速远程数据结构访问。本文基于ClickNP编程框架,设计实现了一个高性能内存键值存储系统KV-Direct,在服务器端绕过CPU,用可编程网卡通过PCIe直接访问远程主机内存中的数据结构。通过把单边RDMA的内存操作语义扩展到键值操作语义,KV-Direct解决了单边RDMA操作数据结构时通信和同步开销高的问题。利用FPGA可重配置的特性,KV-Direct允许用户实现更复杂的数据结构。面对网卡与主机内存之间PCIe带宽较低、延迟较高的性能挑战,通过哈希表、内存分配器、乱序执行引擎、负载均衡和缓存、向量操作等一系列性能优化,KV-Direct实现了 10倍于CPU的能耗效率和微秒级的延迟,是首个单机性能达到10亿次每秒的通用键值存储系统。最后,本文提出用可编程网卡和用户态运行库相结合的方法为应用程序提供套接字通信原语,从而绕过操作系统内核。本文设计和实现了一个用户态套接字系统SocksDirect,与现有应用程序完全兼容,能实现接近硬件极限的吞吐量和延迟,多核性能具有可扩放性,并在高并发负载下保持高性能。主机内和主机间的通信分别使用共享内存和RDMA实现。为了支持高并发连接数,本文基于KV-Direct实现了一个RDMA可编程网卡。通过消除线程间同步、缓冲区管理、大数据拷贝、进程唤醒等一系列开销,SocksDirect相比Linux提升了7至20倍吞吐量,降低延迟到1/17至1/35,并将Web服务器的HTTP延迟降低到1/5.5。
崔斌,高军,童咏昕,许建秋,张东祥,邹磊[5](2019)在《新型数据管理系统研究进展与趋势》文中研究表明随着各类新型计算技术和新兴应用领域的浮现,传统数据库技术面临新的挑战,正在从适用常规应用的单一处理方法逐步转为面向各类特殊应用的多种数据处理方式.分析并展望了新型数据管理系统的研究进展和趋势,涵盖分布式数据库、图数据库、流数据库、时空数据库和众包数据库等多个领域.具体而言:分布式数据管理技术是支持可扩展的海量数据处理的关键技术;以社交网络为代表的大规模图结构数据的处理需求带来了图数据库技术的发展;流数据管理技术用来应对数据动态变化的管理需求;时空数据库主要用于支持移动对象管理;对多源、异构而且劣质数据源的集成需求催生出新型的众包数据库技术.最后讨论了新型数据库管理系统的未来发展趋势.
吴仁克[6](2018)在《分布式数据处理若干关键技术研究》文中研究说明随着信息技术的飞速发展,各类信息源和数据在当今世界的各个领域被广泛应用,人类社会进入了大数据时代,但大规模数据的持续产生,其格式和类型也呈现多样化趋势。如何快速、高效地实现大数据处理已经成为当前的研究热点及难点。以分布式数据处理为基础,针对大规模数据分析与处理,本文从四个方面探索并形成面向新型体系结构的分布式数据处理与存储技术:(1)基于国产“神威(Sunway)·太湖之光”众核处理器,本文研究与实现了一个分布式数据并行计算框架SunwayMR,可利用分布式服务器资源,加速数据处理与分析;(2)本文提出一种构建分布式数据并行计算框架的软件构建技术,用以加快此类软件开发进程;(3)充分利用RDMA(Remote Direct Memory Access,远程直接内存访问)和HTM(Hardware Transaction Memory,硬件事务内存)技术,本文提出一个可运用于分布式环境的、键值对数据存储系统RHKV,加速数据的“存”和“取”操作,可支撑上层数据密集型应用计算;(4)针对社会关键信息基础设施的智慧信息系统建设,本文提出可提供个性化服务的分布式数据处理与分析解决方案EDAWS。具体如下:(1)本文研究与实现了分布式数据并行计算框架SunwayMR,它只需要GCC/G++环境即可运行。具体地:本文提出基于分布式计算单元集合DCUS(Data Computing Unit Set)的数据划分策略、分布式消息通信机制和任务组织策略,支持在并行硬件上执行数据分析应用程序。SunwayMR为各种数据分析应用提供公开的应用编程接口(API);与使用OpenMPI/MPI等编程模式相比,使用SunwayMR有效地避免了繁杂的编码,保证了框架的易用性。在一定程度上,SunwayMR对于测试数据集的尺寸大小、计算节点数量、线程数量而言,也具备较好的规模扩展适应性。(2)为了更好地辅助分析分布式数据并行计算框架系统内部,从软件构建角度出发,开展适当的软件架构建模。但是,不恰当的架构模型往往导致系统设计冲突等问题;在设计和开发阶段系统需求在不断变化,系统的可变化点不可预测。为此,本文提出可适用于分布式数据并行计算框架的自适应架构建模技术,综合架构设计、行为分析和自适应机制,形成一种软件构建技术,指导此类软件的开发。以本文的分布式数据并行计算框架原型系统SunwayMR软件构建为例,给出实际开发学习过程。结果表明,所提的软件构建技术具备可用性和有效性。(3)利用分布式系统服务器的动态随机存取存储器DRAM设计键值对数据存储,是应对存储容量压力、I/O性能瓶颈的解决方案,为数据密集型计算应用提供数据访问服务。然而,使用传统网络远程访问数据存在网络往返round trips延时高和请求冲突等问题,这导致数据访问的延时增加。为此,本文提出基于RDMA和HTM友好的Key-Value键值对数据存储系统RHKV,包含RHKV服务器端和RHKV客户端。即客户端将数据请求发送到位于在服务器端的改进型Cuckoo哈希数据管理模式—G-Cuckoo中。管理模式通过桶-点(bucket—vertex)映射方式构建Cuckoo图,在键值对数据插入Cuckoo哈希表的过程中,维持桶-点映射方式并预测kick-out死循环出现与否,避免出现哈希表间无限次kick-out循环问题。RHKV利用先进的HTM技术保证数据操作的原子性。使用性能测试工具Yahoo!Cloud Serving Benchmark(YCSB)开展数据访问的性能对比测评。(4)社会关键信息基础设施的智慧信息系统在投入使用时数据不断产生。在单一计算节点上开展大规模数据分析时,速度性能不佳。本文提出一个面向社会关键信息基础设施建设的分布式数据处理与分析解决方案EDAWS(a Novel Distributed Framework with Efficient Data Analytics Workspace towards Discriminative Service for Critical Infrastructures):基于数据分析工作空间的、可提供个性化服务的新型分布式框架。即,服务器端平台系统地收集获取、存储并分析原生数据;在分布式计算环境上并行地构建索引,开展数据业务分析,挖掘个性化的服务;通过利用便捷的移动终端设备,以远程的方式快速获取服务器端的大数据服务。为了例证所提解决方案的有效性,本文给出可提供个性化服务的“智慧社区”案例。在小型集群环境上运行原型系统,使用真实数据集开展实验测试:原型系统对计算节点的数量和数据集的大小具备一定规模适应性,能智能地将原生数据转换为用户所需要的大数据服务。
吴亦奇[7](2017)在《协同设计中面向服务的数据交换与基于对称性的操作同步机制》文中研究说明为适应当前科学技术的飞速发展,快速响应用户需求,协同产品开发成为当今设计与制造领域的主流产品开发趋势。这种开发模式加强了全球化生产中各参与成员的交互性,通过跨区域、跨组织与跨部门的协同工作,高效地利用产品生产环节的各种资源。随着互联网技术发展及云技术、服务式架构等技术的影响,面向服务的生产开发环境成为当前实现协同产品开发的最新趋势,形成云设计与制造理念。对于协同设计领域的研究,可分为以数据为中心的异构产品数据交换方法的研究,及以交互为中心的协同同步系统的研究两个重要方向。对于以数据为中心的协同设计研究,为实现有效的协同数据分享及互操作,需在云设计环境下实现异构CAD系统间的特征数据交换。同时,在云环境下的数据交换过程中,CAD模型中所含的敏感信息及知识产权需要得到有效的保护。另一方面,对于以交互为中心的协同系统研究,旨在为协同设计提供实时的并发设计交互平台,确保通过协同成员的协同设计操作获得一致性设计结果。为此,本文展开协同设计中对以数据为中心和以交互为中心两个方向上若干为的研究,在面向服务的特征数据交换、基于变形的模型安全保护方法、集成的安全数据交换服务架构及协同CAD同步机制等方面取得了创新性成果。提出了一种面向服务的特征数据交换架构。在此架构内,特征数据交换以服务的形式提供给云设计与制造环境,协同成员通过请求所需的特征数据交换服务的方式,实现异构CAD系统间数据交换功能。为更高效地实现面向服务的特征数据交换,设计了点对点的服务架构,解决了传统集中式数据交换在数据交换及应用于云环境中存在的固有问题。针对特征数据交换、点对点特征数据交换服务、面向服务的数据交换过程等方面的关键技术问题进行讨论。针对目前协同设计过程中信息安全风险,从提高CAD模型的安全性出发,提出一种基于CAD特征模型局部变形的敏感信息保护方法。通过对草绘参数进行变换,使模型几何形状发生变化,达到隐藏原模型信息的目的。提出了基于变形矩阵的草绘变形技术,采用一个变形矩阵对草绘中的控制点参数进行转换。进一步,为更好地控制变形后模型的变形趋势,引入几何计算中的自由变形方法,使用变形控制晶格对草绘进行变形,提出基于自由变形的草绘参数隐藏方法。提出安全的数据交换云框架。框架内整合特征数据交换服务与模型安全方法为安全的数据交换服务,实现带有模型信息安全保护的异构CAD数据交换。引入云安全保障机制,以确保服务被安全、正确、有效地使用。对框架的组成和关键技术进行讨论。提出基于对称建模过程的协同CAD同步机制。针对基于特征的复制式协同CAD系统,以建模特征为操作粒度,根据建模状态向量确定操作关系。根据操作间的关系,给出具体的建模操作排序规则,在此过程中,检测可能产生的操作冲突并给予解决方案,从而实现各站点上对称且有效的建模操作过程。由于建模过程的一致性,使得各站点上建模历史保持一致。由此,各协同站点通过协同设计操作,可以获得一致、有效的建模结果。综合以上内容,本文针对协同设计中以数据为中心及以交互为中心的两个重要方向,对特征数据交换,模型安全保护,面向服务的安全数据共享及协同设计一致性维护方面相关内容展开研究,实现了面向服务的安全数据交换和基于对称性的协同设计同步机制,为云设计中安全的数据共享与互操作提供了有效的解决方案。
江东明[8](2017)在《Apla+语言的云服务交互机制的研究》文中研究表明作为云计算和服务计算的结晶,云服务通过云计算方式(如SaaS或PaaS等)提供服务集成和价值增值功能,以满足用户多元化的业务需求。云服务组合功能是通过多个云服务交互协作而实现,所以云服务交互是其组合的基础;而交互机制负责整个云服务系统中各组件通信和协作,是系统神经中枢,直接影响云服务系统性能。由于云服务具有分布性、并发性和容错性,因此如何设计与开发云服务交互机制是云服务研究中一个挑战性问题。当前云服务交互机制研究主要存在三点不足之处:其一,缺乏合适的交互设计模型来抽象和封装云服务并发交互特性。其二,针对于云服务并发交互特性,目前还没有从状态和资源两个方面综合性考量并发控制设计及其算法。也没考虑云服务容错和选择之间的互补特性,未充分发掘云计算资源在线整合潜能。其三,尚没有合适的语言机制来刻画云服务会话交互特性,并加以编程实现。针对上述问题,本文从设计模型、交互机制、语言机制和模型驱动开发四个方面深入研究了云服务交互机制设计及开发,提出面向云服务交互的会话模型,设计面向云服务并发交互的Apla+会话机制,扩展Apla+中面向会话编程的语言机制,并构建了面向会话编程的模型驱动开发框架。本文具体研究从以下四个层次展开研究。(1)面向云服务交互的会话模型。本文首先探讨云服务的交互特性,研究并归纳了云服务交互的层次和类型。针对云服务并发交互特性,本文引入了会话(session)概念,并作为描述和封装交互行为的基本单元。在此基础上,本文提出面向云服务交互的设计模型SCSM(Session-based Cloud Service Model),系统阐述交互各个组成要素及其之间关联。相比于其他设计模型,会话模型综合考虑了云服务并发、分布和容错特性,并分别提炼了会话、角色和资源池概念,为语言机制设计提供了抽象模型。(2)面向云服务交互的Apla+会话机制设计。有鉴于云服务系统的并发、分布和容错需求,本文提出新颖的Apla+会话机制,融合了调用、并发管理和容错选择等协议。根据云服务并发交互特性,本文从状态共享和资源竞争两个角度提出了综合性的并发管理协议,保证了云服务并发交互正确性和数据一致性。基于资源导向分解策略,会话机制中选择协议将云服务选择问题转换成拉格朗日对偶问题加以处理。仿真实验表明在相同迭代次数条件下,新算法较原方法在最优解方面至少提升了 6.5%。而容错机制结合了云服务选择协议,提出轻量级事务化容错策略,为云服务交互容错处理开辟一种新思路。对比与其他交互机制,Apla+会话交互机制提供更好的云服务交互安全性保障措施和更为灵活的容错机制。(3)面向云服务会话的Apla+程序设计。针对于面向云服务交互的语言机制设计需求,在Apla+的并发算子基础上,本文提出了面向云服务会话的Apla+程序设计。结合Apla+语言的函数式并发机制,Apla+会话编程可以结构化描述服务并发交互行为。考虑到云服务数据流和容错处理需求,Apla+会话编程扩展了多种函数式组合算子。为精确定义Apla+会话编程执行过程,本文应用会话类型定义了其类型系统,包括类型推导规则和子类型规则;还证明会话程序具备类型安全特性。相较于其他交互机制开发语言,由于具有多范型特性和函数式组合算子,Apla+可以用一种简洁方式来描述复杂的云服务并发交互过程。(4)构建云服务交互机制的模型驱动开发框架。借鉴于模型驱动开发思想,本文设计与实现了云服务交互机制开发框架。为此,本文实现了 Apla+会话编程的支撑平台,为交互机制开发提供了编译框架,可以提供一站式交互机制的开发解决方案。并且,本文将Apla+会话编程应用于多个典型云服务交互案例中,验证了 Apla+会话编程的开发效率和Apla+会话机制的高并发性能。
曾文英[9](2011)在《面向移动环境的数据存储管理方法关键技术研究》文中研究表明随着移动网络技术的快速发展和移动用户数量的持续增长,移动环境下的各种业务应用已经日趋广泛。伴随而来的是移动应用环境下产生的数据信息呈指数式的增长,它带来了对移动环境下的大量数据信息进行存储管理的新技术需求,因此,有关面向移动环境下的数据存储管理问题的研究已经变得越来越重要。现有的有线网络中的分布式存储管理方法主要是针对带宽稳定、可持续服务、可扩展和高性能节点等都比较稳定的应用环境;但它在面对移动环境的异构性、分布性、高维性、动态性带来的移动数据管理的复杂性等方面具有明显的不适应性,因此,不能直接应用于移动环境下的数据存储管理。由于移动环境的多源性、多宿性、自治性、上下文感知性和环境依存性,且面向移动环境的数据存储管理具有集中与分布的特点,因此,可以考虑借助移动Agent技术、移动数据库、分布式网络、跨层协作、网格计算及云计算等多种技术来构建移动环境存储管理与服务系统。另外,随着各种网络互通和融合技术的日益成熟,在移动环境下设备与网格和云计算系统协作可以构建海量、持久、无限可扩展的存储资源与服务系统的市场前景巨大,并且良好的数据存储管理方法将会为移动应用的运行服务提供高效、安全的数据存储基础。因此,面向移动环境的数据存储管理方法的研究有重要的理论意义和实际意义。本文对移动环境下的移动网格体系结构与资源选择方法、移动分布式数据存储服务结构模型、移动数据库技术、基于无线Mesh网的层次化存储系统和移动环境下的存储服务QoS等关键技术问题进行了系统而深入的研究,取得了一些有创新性意义的研究成果;其主要研究工作和创新性成果体现在以下几个方面。1.提出了一种移动网格结构模型(MGAM,Mobile Grid Architecture Model)和移动网格资源管理算法(MGRMA,Mobile Grid Resource Management Algorithms)。首先提出了一种结合移动计算和网格计算、支持移动环境存储服务的移动网格结构模型,其次,对移动网格的逻辑构成和形式化模型进行分析,给出了移动网格资源选择与分配方法和相关的移动网格资源协作算法,最后给出了移动网格的原型和应用实例,并进行了模拟测试和性能分析。2.提出了一种基于移动环境的自适应分布式存储服务的系统结构模型(SDSSAM,Self-Adaptive Distributed Storage Service Architecture Model),SDSSAM是一种结合移动计算的跨层协作式存储结构模型。首先描述了SDSSAM的各层次的功能;其次提出了SDSSAM结构中的跨层协作方式;最后给出了SDSSAM的分布式存储协作服务和自适应存储等算法。研究表明SDSSAM具有自适应、移动计算、分布式计算和自组织的特点,是一种具备了灵活性、自主性、协作性和群体智能的移动存储系统结构。3.提出了一种基于移动数据库的移动数据管理结构(MDMA,Mobile Data Management Architecture)和存储管理方法(SMS,Storage Management Solution)。移动数据库是移动分布式环境数据组织和存储的最有效的方式,为移动业务运行提供了数据支撑,移动应用一般基于移动数据库而实现。针对移动环境的特点,首先提出了一种基于移动数据库的移动数据管理结构和存储管理方法;其次研究了移动数据库中数据的预取与复制、缓存同步、事务处理、并发控制、广播机制等多种关键技术,为移动环境下数据存储与管理相结合提供可行的管理方法。4.提出了一种基于无线Mesh网的层次化存储系统(HSSWMN,Hierarchical Storage System over Wireless Mesh Network)模型。首先提出了基于无线Mesh网的层次存储系统(HSSWMN)模型,并对其存储模型、存取算法、性能优化等方面进行了分析和研究;其次研究了HSSWMN的名字空间与元数据服务、搜索与查找服务、注册与注销,可扩展性、负载均衡、容错机制、数据安全、复制与缓存机制和拓扑重构等关键问题;最后通过仿真分析,对时延、吞吐量、误码率等进行了模拟测试,并对HSSWMN存储系统的可行性、可用性和可靠性进行了性能分析。5.提出了一种面向移动环境数据存储服务QoS跨层模型(QCLMSS,QoS Cross Layer Model of Storage Services)和移动环境存储服务QoS确保算法(QASS,QoS Guarantee Algorithms of Storage Service)。首先对移动环境数据存储服务QoS技术进行了研究,分析了各层次QoS的特征及关系;其次提出了QoS实施算法及性能模型,并对移动环境下存储QoS保证算法进行了研究;最后提出了全局优化、局部优化、多阶段优化、自适应优化等算法,并分析了移动存储系统的QoS实例,对有线网络、无线网络接入方式下磁盘I/O性能进行了模拟测试和分析研究。
符永铨,赵辉,王晓锋,刘红日,安伦[10](2022)在《网络行为仿真综述》文中研究说明网络行为描述了网络上各类元素对象动态交互过程.它以各类网络服务协议及应用为运行载体,形成不断变化的丰富多样的网络行为,反映出网络拓扑结构给定时间内网络上的场景特点.网络行为仿真主要包括运行框架、背景流仿真、前景流仿真,将生产网络环境下网络行为按需映射到测试网络环境,提供一种按需灵活定制仿真再现能力.网络仿真应用场景不断发展,包括性能分析评估、产品和技术验证、网络入侵检测、网络攻防演练与研究发展等.为总结现有研究成果和存在的不足,分析未来发展趋势,梳理了网络行为仿真的相关概念和研究框架,从框架、背景流、前景流等技术层面总结了网络行为仿真的国内外研究现状,并对相关商业产品和开源软件工具进行了系统地分析调研,最后对网络行为仿真的未来发展进行了展望.
二、oodOPT: A Semantics-Based Concurrency Control Framework for Fully-Replicated Architecture(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、oodOPT: A Semantics-Based Concurrency Control Framework for Fully-Replicated Architecture(论文提纲范文)
(1)数据复制中心的设计与实现(论文提纲范文)
摘要 |
abstract |
1 绪论 |
1.1 研究背景 |
1.2 研究现状 |
1.3 研究内容 |
1.4 论文组织结构 |
2 相关技术背景 |
2.1 数据复制技术 |
2.1.1 数据库复制机制 |
2.1.2 中间件复制机制 |
2.2 一致性模型 |
2.3 流式系统 |
2.4 分布式系统 |
2.4.1 分布式协调服务 |
2.4.2 云原生架构 |
2.5 本章小结 |
3 总体设计 |
3.1 需求分析 |
3.1.1 使用场景 |
3.1.2 需求和目标 |
3.2 系统设计 |
3.2.1 裸集群架构 |
3.2.2 云原生架构 |
3.2.3 执行引擎 |
3.3 并发控制 |
3.3.1 一致性语义 |
3.3.2 并发控制算法 |
3.3.3 批量优化 |
3.4 本章小结 |
4 关键技术的研究与实现 |
4.1 统一消息结构的抽象和转化 |
4.1.1 检查点和输入流键的分配 |
4.1.2 输出依赖取值 |
4.1.3 序列化格式 |
4.1.4 过滤组件的实现 |
4.2 全表读取优化 |
4.2.1 通用主键分页算法 |
4.2.2 放弃全局一致性读 |
4.2.3 采样分段并发读取 |
4.3 双向同步的实现 |
4.4 表结构存储 |
4.5 验证机制 |
4.5.1 混沌工程的应用 |
4.5.2 实时监测的实现 |
4.5.3 水位线监控 |
4.6 评估 |
4.6.1 调度组件基准测试 |
4.6.2 性能对比 |
4.6.3 生产环境 |
4.7 本章小结 |
5 总结 |
参考文献 |
致谢 |
攻读学位期间发表的学术论文目录 |
(2)物联网资源管理服务关键技术研究(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 研究背景和意义 |
1.2 研究目标和研究内容 |
1.3 论文主要工作和创新点 |
1.4 论文结构 |
第二章 相关研究综述 |
2.1 本章引言 |
2.2 边缘计算 |
2.2.1 边缘计算与云计算的比较 |
2.2.2 主要研究项目 |
2.2.3 边缘计算在物联网资源管理中的应用 |
2.3 服务系统架构 |
2.3.1 EDSOA架构 |
2.3.2 物联网服务组合方式 |
2.3.3 发布订阅消息系统 |
2.4 复杂事件处理 |
2.4.1 通用参考架构 |
2.4.2 复杂事件模式匹配 |
2.4.3 相关工作与挑战 |
2.5 物联网异构感知设备的统一接入 |
2.5.1 物联网资源描述方法 |
2.5.2 物联网资源模型相关工作 |
2.5.3 物联网统一接入相关工作 |
2.6 内存数据库 |
2.6.1 内存数据库研究现状 |
2.6.2 内存数据库面临的挑战 |
2.7 本章小结 |
第三章 物联网服务系统体系架构研究 |
3.1 引言 |
3.2 物联网服务新特征 |
3.3 物联网服务系统面临的技术挑战 |
3.4 物联网服务系统架构 |
3.4.1 基于隐式的事件链驱动的EDSOA服务执行模式 |
3.4.2 基于EDSOA的物联网服务系统架构 |
3.5 发布订阅消息系统 |
3.5.1 消息系统架构 |
3.5.2 类Push方式接收消息 |
3.5.3 消息系统性能实验 |
3.6 应用案例 |
3.6.1 系统架构 |
3.6.2 定义服务和发布订阅事件 |
3.6.3 性能测试 |
3.7 本章小结 |
第四章 基于边缘计算的物联网异构感知设备统一接入平台 |
4.1 引言 |
4.2 基于边缘计算的三层计算模型 |
4.3 物联网感知设备接入平台 |
4.3.1 接入平台总体结构 |
4.3.2 基于本体的资源描述模型 |
4.3.3 感知设备自适应接入方法 |
4.4 应用案例和性能评估 |
4.4.1 应用案例 |
4.4.2 性能评估 |
4.5 本章小结 |
第五章 面向物联网实时监控的通用复杂事件处理机制研究 |
5.1 引言 |
5.2 物联网事件模型 |
5.2.1 原始事件 |
5.2.2 简单事件 |
5.2.3 复杂事件 |
5.2.4 复杂事件定义实例 |
5.3 复杂事件处理系统 |
5.3.1 系统架构 |
5.3.2 原始事件处理模块 |
5.3.3 复杂事件处理模块 |
5.3.4 系统特点分析 |
5.4 性能评估 |
5.4.1 时间相关复杂事件与时间无关复杂事件处理性能比较 |
5.4.2 时间相关复杂事件处理参数的性能分析 |
5.4.3 包含简单事件处理的复杂事件处理系统性能提升 |
5.5 本章小结 |
第六章 面向物联网时间序列数据的内存数据库研究 |
6.1 引言 |
6.2 物联网感知数据模型 |
6.3 数据存储策略 |
6.4 TSMMDB系统总体结构 |
6.5 TSMMDB系统设计 |
6.5.1 虚拟堆与虚拟堆内存分配器 |
6.5.2 数据库对象的持久化设计 |
6.5.3 基于共享内存的进程间通信机制 |
6.5.4 数据局部性内存分配机制 |
6.5.5 基于大粒度锁的并发控制机制 |
6.5.6 应用程序的内存地址空间规划 |
6.5.7 数据存取算法复杂度分析 |
6.6 性能评估 |
6.6.1 实验设置 |
6.6.2 TSMMDB与传统数据库的性能比较 |
6.6.3 TSMMDB系统资源占用率 |
6.7 本章小结 |
第七章 总结与展望 |
7.1 论文总结和创新点 |
7.2 展望 |
参考文献 |
致谢 |
攻读博士学位期间发表的学术论文及成果 |
(3)分布式多处理器环境下任务调度方法研究(论文提纲范文)
摘要 |
Abstract |
主要符号对照表 |
第一章 绪论 |
1.1.研究背景和意义 |
1.2.分布式多处理器系统的发展现状 |
1.2.1.片上多处理器系统 |
1.2.2.基于NoC的多处理器系统 |
1.2.3.分布式多处理器系统 |
1.3.分布式多处理器系统环境下任务调度的研究现状 |
1.3.1.面向分布式多处理器系统的任务分解策略 |
1.3.2.任务相关性单一调度算法 |
1.3.3.任务相关性并发调度算法 |
1.3.4.面向通信竞争的任务相关性并发调度算法 |
1.3.5.独立任务并发调度算法 |
1.3.6.面向MPSoC的物理核分配算法 |
1.4.相关研究存在的问题 |
1.4.1.面向分布式多处理器系统的大任务分解问题 |
1.4.2.对相关性任务的调度优化问题 |
1.4.3.对共享通信资源的竞争研究不足 |
1.4.4.面向片上众核系统的资源划分和独立任务调度问题 |
1.5.研究内容和主要创新工作 |
1.6.论文组织结构 |
第二章 面向任务相关性的调度体系与实验系统 |
2.1.任务的典型特征 |
2.1.1.任务的相关性 |
2.1.2.任务的可分割性 |
2.2.面向任务相关性的调度体系 |
2.2.1.调度体系概述 |
2.2.2.相关性任务集 |
2.2.3.相关性任务集调度器模型 |
2.3.相关性任务集调度实验系统 |
2.3.1.相关性任务集的类型和生成 |
2.3.2.相关性任务集调度器(模拟器)的选择 |
2.3.3.相关性任务集调度器(真实环境)的设计与实现 |
2.4.本章小结 |
第三章 面向大任务调度的任务分解器设计与实现 |
3.1.任务分解器基本框架 |
3.2.任务分解器语义描述 |
3.2.1.类型语义描述 |
3.2.2.输入元素语义描述 |
3.2.3.输出元素语义描述 |
3.3.任务分解过程 |
3.3.1.分解过程概述 |
3.3.2.基本操作函数 |
3.3.3.解析函数 |
3.4.实例分析 |
3.4.1.实例描述 |
3.4.2.分解过程分析 |
3.4.3.生成DAX文件 |
3.5.本章小结 |
第四章 通信资源竞争环境下相关性任务集离线调度算法 |
4.1.相关工作 |
4.2.系统调度模型 |
4.2.1.分布式多处理器系统模型 |
4.2.2.面向通信竞争的相关性任务集调度模型描述 |
4.3.相关计算定义 |
4.3.1.向上权值的改进计算 |
4.3.2.通信线路选择的最早完成时间计算 |
4.3.3.处理节点选择时的最早完成时间计算 |
4.3.4.调度模型其他相关设定 |
4.4.CRCHEFT调度算法 |
4.4.1.CRCHEFT算法整体流程 |
4.4.2.计算最佳通信线路和时间 |
4.4.3.计算处理节点最早完成时间 |
4.4.4.算法复杂度 |
4.5.实验目的与方法 |
4.5.1.实验目的 |
4.5.2.实验平台与模型 |
4.5.3.性能指标 |
4.6.实验结果与分析 |
4.6.1.模拟器环境下实验结果分析 |
4.6.2.真实环境下实验结果分析 |
4.6.3.实验结论 |
4.7.本章小结 |
第五章 基于动态重组的相关性任务集在线调度算法 |
5.1.相关工作及问题 |
5.2.相关计算定义 |
5.2.1.向下权值的改进计算 |
5.2.2.计算实时延迟度的计算 |
5.3.DRSA调度算法 |
5.3.1.动态重组调度策略 |
5.3.2.DRSA算法描述 |
5.3.3.算法复杂度 |
5.4.实验平台与方法 |
5.4.1.实验目的 |
5.4.2.实验平台与模型 |
5.4.3.性能指标 |
5.5.实验结果与分析 |
5.5.1.模拟器环境下实验结果分析 |
5.5.2.真实环境下实验结果分析 |
5.6.本章小结 |
第六章 面向MPSoC的独立任务动态优先级调度算法 |
6.1.基于独立任务的优先级调度算法现状 |
6.2.独立任务调度模型 |
6.3.虚拟核资源分配算法 |
6.3.1.基于行为模式的任务状态识别算法(BTSR) |
6.3.2.虚拟核资源分配算法(VPD) |
6.4.DPS-CCS调度算法 |
6.4.1.动态优先级分派策略 |
6.4.2.全局调度策略 |
6.5.实验平台与方法 |
6.5.1.实验目的 |
6.5.2.实验平台 |
6.5.3.性能指标 |
6.6.实验结果与分析 |
6.6.1.静态多核目标环境下DPS-CCS算法性能分析 |
6.6.2.MPSoC目标环境下DPS-CCS算法性能分析 |
6.6.3.系统切换次数分析 |
6.7.本章小结 |
结论与展望 |
参考文献 |
攻读博士学位期间取得的研究成果 |
致谢 |
附件 |
(4)基于可编程网卡的高性能数据中心系统(论文提纲范文)
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 研究的背景和意义 |
1.2 国内外研究现状 |
1.2.1 优化软件 |
1.2.2 利用新型商用硬件 |
1.2.3 设计新硬件 |
1.3 本文的研究内容和贡献 |
1.4 论文结构安排 |
第2章 数据中心与可编程网卡概论 |
2.1 数据中心的发展趋势 |
2.1.1 资源虚拟化 |
2.1.2 分布式计算 |
2.1.3 定制化硬件 |
2.1.4 细粒度计算 |
2.2 “数据中心税” |
2.2.1 虚拟网络 |
2.2.2 网络功能 |
2.2.3 操作系统 |
2.2.4 数据结构处理 |
2.3 可编程网卡的架构 |
2.3.1 专用芯片(ASIC) |
2.3.2 网络处理器(NP) |
2.3.3 通用处理器(SoC) |
2.3.4 可重构硬件(FPGA) |
2.4 可编程网卡在数据中心的应用 |
2.4.1 微软Azure云 |
2.4.2 亚马逊AWS云 |
2.4.3 阿里云、腾讯云、华为云、百度 |
第3章 系统架构 |
3.1 网络加速 |
3.1.1 网络虚拟化加速 |
3.1.2 网络功能加速 |
3.2 存储加速 |
3.2.1 存储虚拟化加速 |
3.2.2 数据结构处理加速 |
3.3 操作系统加速 |
3.4 可编程网卡 |
第4章 ClickNP网络功能加速 |
4.1 引言 |
4.2 背景 |
4.2.1 软件虚拟网络与网络功能的性能挑战 |
4.2.2 基于FPGA的网络功能编程 |
4.3 系统架构 |
4.3.1 ClickNP开发工具链 |
4.3.2 ClickNP编程 |
4.4 FPGA内部并行化 |
4.4.1 元件间并行化 |
4.4.2 元件内并行 |
4.5 系统实现 |
4.5.1 ClickNP工具链和硬件实现 |
4.5.2 ClickNP元件库 |
4.5.3 PCIE I/O通道 |
4.5.4 Verilog元件 |
4.6 应用与性能评估 |
4.6.1 数据包生成器和抓包工具 |
4.6.2 OpenFlow防火墙 |
4.6.3 IPSec网关 |
4.6.4 L4负载平衡器 |
4.6.5 pFabric流调度器 |
4.7 讨论: 资源利用率 |
4.8 本章小结 |
第5章 KV-Direct数据结构加速 |
5.1 引言 |
5.2 背景 |
5.2.1 键值存储的概念 |
5.2.2 键值存储的工作负载变化 |
5.2.3 现有键值存储系统的性能瓶颈 |
5.2.4 远程直接键值访问面临的挑战 |
5.3 KV-Direct操作原语 |
5.4 键值处理器 |
5.4.1 哈希表 |
5.4.2 Slab内存分配器 |
5.4.3 乱序执行引擎 |
5.4.4 DRAM负载分配器 |
5.4.5 向量操作译码器 |
5.5 系统性能评估 |
5.5.1 系统实现 |
5.5.2 测试床与评估方法 |
5.5.3 吞吐量 |
5.5.4 能耗效率 |
5.5.5 延迟 |
5.5.6 对CPU性能的影响 |
5.6 扩展 |
5.6.1 基于CPU的分散.聚集DMA |
5.6.2 单机多网卡 |
5.6.3 基于SSD的持久化存储 |
5.6.4 分布式键值存储 |
5.7 讨论 |
5.7.1 不同容量的网卡硬件 |
5.7.2 对现实世界应用的影响 |
5.7.3 可编程网卡内的有状态处理 |
5.8 相关工作 |
5.9 本章小结 |
第6章 SocksDirect通信原语加速 |
6.1 引言 |
6.2 背景 |
6.2.1 Linux套接字简介 |
6.2.2 Linux套接字中的开销 |
6.2.3 高性能套接字系统 |
6.3 架构概览 |
6.4 系统设计 |
6.4.1 无锁套接字共享 |
6.4.2 基于RDMA和共享内存的环形缓冲区 |
6.4.3 零拷贝 |
6.4.4 事件通知 |
6.4.5 连接管理 |
6.5 系统性能评估 |
6.5.1 评估方法 |
6.5.2 性能微基准测试 |
6.5.3 实际应用性能 |
6.6 讨论: 连接数可扩放性 |
6.6.1 基于可编程网卡的传输层 |
6.6.2 基于CPU的传输层 |
6.6.3 多套接字共享队列 |
6.6.4 应用、协议栈与网卡间的接口抽象 |
6.7 本章小结 |
第7章 总结与展望 |
7.1 全文总结 |
7.2 未来工作展望 |
7.2.1 基于片上系统的可编程网卡 |
7.2.2 开发工具链 |
7.2.3 操作系统 |
7.2.4 系统创新 |
参考文献 |
致谢 |
在读期间发表的学术论文与取得的研究成果 |
(6)分布式数据处理若干关键技术研究(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 课题提出的背景及意义 |
1.2 研究目标与几个主要研究问题 |
1.3 课题的研究内容和创新点 |
1.4 论文的结构安排 |
1.5 本章小结 |
第二章 研究现状与相关技术 |
2.1 引言 |
2.2 分布式数据并行计算框架的研究现状 |
2.2.1 高性能计算机的发展 |
2.2.2 商业化的计算加速器正在不断扩展它的应用 |
2.2.3 "神威·太湖之光"并行计算机 |
2.2.4 现今流行的通用分布式数据并行计算框架 |
2.3 分布式数据并行计算框架软件构建技术相关研究 |
2.3.1 模型驱动工程技术与分布式数据并行计算框架软件构建 |
2.3.2 架构模型和自适应变化 |
2.4 面向大数据应用的键值对数据存储系统技术 |
2.4.1 非关系型NoSQL数据存储 |
2.4.2 基于RDMA的键值对数据存储管理 |
2.4.3 客户端—服务器端C/S模式 |
2.4.4 数据库理论 |
2.5 在分布式环境下的大数据服务 |
2.5.1 多领域数据分析与知识挖掘 |
2.5.2 分布式大数据服务 |
2.5.3 社会关键信息基础设施的数据处理 |
2.6 本章小结 |
第三章 SunwayMR:面向神威机器的分布式数据密集型并行计算框架 |
3.1 研究背景与研究动机:“神威·太湖之光”并行计算机的诞生 |
3.2 SunwayMR框架概述 |
3.3 SunwayMR系统架构详细设计 |
3.3.1 分布式内存数据管理机制 |
3.3.2 Pthread编程 |
3.3.3 任务、调度器、执行器和框架上下文 |
3.3.4 数据处理机制 |
3.3.5 粗细粒度并行 |
3.3.6 SunwayMRHelper消息通讯组件 |
3.3.7 神威体系结构众核(1 主核+64 从核)并行设计 |
3.4 系统优化机制设计 |
3.5 易用性 |
3.5.1 层级软件架构 |
3.5.2 学习案例:Pi值计算和PageRank算法编程示例 |
3.6 实验 |
3.6.1 实验设置 |
3.6.2 性能评估 |
3.6.3 系统优化评估 |
3.6.4 国家超算无锡中心国产众核平台系统运行测试 |
3.6.5 计算加速原因分析 |
3.6.6 SunwayMR特性 |
3.7 本章小结 |
第四章 自适应的分布式数据并行计算框架软件构建技术 |
4.1 引言 |
4.2 研究背景与研究动机 |
4.2.1 分布式数据并行计算框架软件构建的挑战 |
4.2.2 领域建模的复杂性与难度 |
4.3 自适应的软件构建 |
4.3.1 总体流程 |
4.3.2 步骤一:参考性的架构建模描述 |
4.3.3 步骤二:集成动态行为分析到架构模型 |
4.3.4 步骤三:架构建模自适应规约 |
4.4 学习案例:SunwayMR软件构建实践 |
4.4.1 解决的研究问题RQs |
4.4.2 RQ1:软件构建过程 |
4.4.3 RQ2:自适应讨论 |
4.4.4 RQ3:软件构建优化 |
4.4.5 RQ4:软件构建技术对比评估 |
4.4.6 RQ5:有效性分析 |
4.5 讨论 |
4.5.1 维护现今主流的分布式并行计算框架 |
4.5.2 评估正确性与有效性风险 |
4.6 本章小结 |
第五章 RHKV:基于RDMA和 HTM的 Key-Value键值对数据存储管理 |
5.1 引言 |
5.2 背景知识 |
5.3 RHKV概述 |
5.4 RHKV详细设计 |
5.4.1 RHKV架构设计 |
5.4.2 哈希表间无限kick-out循环问题分析 |
5.4.3 改进型G-Cuckoo哈希数据管理模式 |
5.4.4 RHKV的 RDMA网络通信引擎 |
5.4.5 与哈希表的信息交互 |
5.4.6 HTM感知的强原子性保障 |
5.4.7 寻求空闲位置并预测G-Cuckoo中数据条目的无限kick-out循环 |
5.4.8 一致性机制优化 |
5.4.9 数据访问执行协议 |
5.5 关键实现和软件接口 |
5.6 分布式C/S模式环境下的RHKV性能分析 |
5.6.1 实验设置 |
5.6.2 吞吐量提升和访问延迟减少情况 |
5.6.3 与其他基于RDMA的键值对数据存储系统的性能对比 |
5.6.4 负载偏差的抵抗力 |
5.6.5 空间扩大情况 |
5.6.6 数据一致性机制评估 |
5.7 RHKV数据密集型应用场景举例 |
5.8 本章小结 |
第六章 EDAWS:社会关键信息基础设施分布式环境数据管理及大数据服务解决方案 |
6.1 引言 |
6.2 研究动机:社会关键信息基础设施建设举例 |
6.3 分布式数据集成与融合系统 |
6.4 服务器端信息处理管理 |
6.4.1 原生信息获取与抽取 |
6.4.2 信息处理与索引库构建 |
6.4.3 分布式系统并行索引构建 |
6.4.4 用户感兴趣的大数据服务挖掘 |
6.4.5 在分布式环境下处理并发请求的原理 |
6.5 大数据服务信息交互 |
6.5.1 信息交互管理 |
6.5.2 并发请求处理与资源请求限制的理论分析 |
6.6 一些关键实现细节 |
6.7 真实场景案例学习:智慧社区信息系统建设 |
6.8 实验评估 |
6.8.1 原型系统示例 |
6.8.2 实验环境与设计 |
6.8.3 实验结果与分析 |
6.9 本章小结 |
第七章 结论与展望 |
7.1 研究工作总结 |
7.2 未来展望 |
参考文献 |
简历 |
致谢 |
攻读博士学位期间参加的科研项目 |
攻读博士学位期间学术论文等科研成果目录 |
(7)协同设计中面向服务的数据交换与基于对称性的操作同步机制(论文提纲范文)
论文创新点 |
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 研究背景与意义 |
1.1.1 研究背景 |
1.1.2 研究意义 |
1.2 国内外研究现状综述 |
1.2.1 计算机辅助设计产品数据交换 |
1.2.2 面向服务与基于云的设计环境 |
1.2.3 协同设计安全保护 |
1.2.4 协同CAD一致性维护 |
1.3 本文研究内容 |
第2章 面向服务的特征数据交换 |
2.1 引言 |
2.2 云设计中的FBDE服务 |
2.2.1 FBDE的建模过程恢复 |
2.2.2 P2P FBDE架构 |
2.2.3 架构概述 |
2.3 P2P架构下的FBDE服务 |
2.3.1 P2P FBDE服务的组成 |
2.3.2 P2P FBDE的服务过程 |
2.3.3 Pre-P2P FBDE服务 |
2.3.4 Pre/post P2P FBDE间的拓扑实体匹配 |
2.3.5 Post-P2P FBDE服务 |
2.4 实验与分析 |
2.4.1 面向服务的FBDE实验 |
2.4.2 方法分析与比较 |
2.5 本章小结 |
第3章 特征CAD模型局部信息保护方法 |
3.1 引言 |
3.2 基于草绘的CAD特征模型变形 |
3.2.1 基于变形的设计信息保护 |
3.2.2 支持变形的草绘元素分类体系 |
3.2.3 草绘参数变换下的特征模型变形 |
3.2.4 协同设计中安全的模型信息共享 |
3.3 CAD模型的局部变形保护措施 |
3.3.1 局部变形保护流程 |
3.3.2 草绘控制点间过定义处理 |
3.3.3 圆形草绘深度变形处理 |
3.4 草绘控制点变换计算 |
3.4.1 基于变形矩阵的变形计算 |
3.4.2 基于自由变形的变形计算 |
3.4.3 安全性分析 |
3.5 实验与分析 |
3.5.1 CAD模型局部变形保护实验 |
3.5.2 结果分析 |
3.6 本章小结 |
第4章 云设计中的安全特征数据交换 |
4.1 引言 |
4.2 面向服务的多层次安全数据交换 |
4.2.1 模型共享的情况分析 |
4.2.2 协同设计中的敏感信息保护 |
4.2.3 传输过程中的信息保护 |
4.3 对安全服务的数据交换 |
4.4 云安全服务群组 |
4.4.1 云身份管理服务 |
4.4.2 功能权限认证服务 |
4.4.3 操作权限认证服务 |
4.4.4 云安全服务间的通信 |
4.5 面向服务的安全数据交换平台设计与实现 |
4.5.1 整体架构设计 |
4.5.2 功能设计 |
4.5.3 功能实现 |
4.5.4 应用实例 |
4.6 本章小节 |
第5章 基于对称建模过程的协同CAD同步机制 |
5.1 引言 |
5.2 相关概念 |
5.2.1 协同CAD建模中的相关概念 |
5.2.2 特征间的依赖关系 |
5.2.3 操作队列 |
5.3 总体方法 |
5.4 对称同步模型 |
5.4.1 因果关系维护 |
5.4.2 偏并发关系处理及并发操作搜索 |
5.4.3 对称并发关系控制策略 |
5.4.4 本地及异地站点上操作的执行 |
5.5 实验与分析 |
5.5.1 实例研究 |
5.5.2 比较与分析 |
5.6 本章小结 |
第6章 总结与展望 |
6.1 本文工作总结 |
6.2 未来工作展望 |
参考文献 |
攻读博士学位期间的主要科研成果 |
致谢 |
(8)Apla+语言的云服务交互机制的研究(论文提纲范文)
摘要 |
Abstract |
1 绪论 |
1.1 研究背景与选题意义 |
1.1.1 研究背景 |
1.1.2 选题意义 |
1.2 国内外研究现状 |
1.2.1 构件与服务交互机制 |
1.2.2 云计算交互机制 |
1.2.3 形式化模型 |
1.2.4 交互机制描述语言 |
1.2.5 当前研究工作的分析与比较 |
1.3 关键问题 |
1.4 研究内容与论文结构 |
1.4.1 本文研究内容 |
1.4.2 论文结构 |
2 相关基础概述 |
2.1 PAR方法与PAR平台 |
2.1.1 Radl语言 |
2.1.2 Apla语言 |
2.2 Orc语言 |
2.2.1 Orc语法结构 |
2.2.2 Orc形式化语义 |
2.3 会话类型 |
2.3.1 二元会话类型 |
2.3.2 多元会话类型 |
3 面向云服务交互的会话模型 |
3.1 云服务交互及其类型 |
3.1.1 云服务交互 |
3.1.2 云服务交互类型 |
3.2 基于会话的云服务交互设计模型 |
3.2.1 云服务会话与会话协议 |
3.2.2 角色与资源池 |
3.2.3 云服务会话的概念模型 |
3.3 相关研究比较 |
4 面向云服务交互的Apla+会话机制设计 |
4.1 会话交互机制架构 |
4.2 Apla+云服务调用机制 |
4.2.1 Apla+会话的并发模型 |
4.2.2 云服务调用协议 |
4.3 云服务会话的并发控制机制 |
4.3.1 Apla+会话管理协议 |
4.3.2 并发控制协议 |
4.3.3 容错机制 |
4.4 Apla+会话的云服务选择机制 |
4.4.1 服务选择的数学模型 |
4.4.2 资源导向分解策略 |
4.4.3 实验与讨论 |
4.5 相关研究比较 |
5 Apla+中的会话编程 |
5.1 概述 |
5.2 面向会话的Apla+编程语法 |
5.2.1 Apla+会话程序结构 |
5.2.2 组合算子 |
5.2.3 Apla+会话的异步编程模型 |
5.2.4 Apla+会话程序的容错方法 |
5.3 Apla+会话程序的形式化语义 |
5.3.1 抽象语法 |
5.3.2 操作语义 |
5.4 Apla+会话程序的类型系统 |
5.4.1 类型指派规则 |
5.4.2 Apla+会话程序的子类型与角色 |
5.4.3 Apla+会话程序的类型安全性 |
5.4.4 云服务动态绑定安全性 |
5.5 相关研究比较 |
6 Apla+会话编程的模型驱动开发与应用 |
6.1 Apla+会话程序的开发编译框架 |
6.1.1 Apla+会话程序映射Java转换框架 |
6.1.2 Apla+会话机制的实现 |
6.1.3 Apla+会话程序的转换规则 |
6.1.4 Apla+会话程序转换算法 |
6.1.5 类型检测算法 |
6.2 基于Apla+会话的云服务交互机制设计 |
6.2.1 Apla+会话编程的设计方法 |
6.2.2 Apla+会话编程案例 |
6.3 相关研究比较 |
7 总结与展望 |
7.1 本文工作总结 |
7.2 未来工作展望 |
参考文献 |
攻博期间发表的科研成果目录 |
致谢 |
(9)面向移动环境的数据存储管理方法关键技术研究(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 研究背景 |
1.2 相关技术及现状 |
1.2.1 无线网络 |
1.2.2 移动计算 |
1.2.3 移动网格 |
1.2.4 网络存储相关技术 |
1.2.5 面向服务架构 |
1.2.6 云计算与云服务 |
1.2.7 移动环境数据管理 |
1.2.8 存储服务与QoS |
1.3 论文的主要工作 |
1.4 论文的组织结构 |
第二章 移动网格体系结构及其资源选择方法 |
2.1 引言 |
2.2 相关研究 |
2.3 移动网格架构设计 |
2.3.1 移动网格体系结构 |
2.3.2 无线网格部分的体系结构 |
2.3.3 静态网格部分的体系结构 |
2.3.4 移动网格主要组件的功能 |
2.4 移动网格的逻辑构成 |
2.5 移动网格的形式化模型 |
2.6 移动网格资源选择与分配方法 |
2.7 基于移动网格的存储资源协作算法 |
2.8 移动网格的应用实例 |
2.9 移动网格的原型设计 |
2.10 模拟实验 |
2.10.1 移动网格的可用性模拟分析 |
2.10.2 移动网格的服务性能模拟分析 |
2.10.3 移动网格的传输性能测试 |
2.11 本章小结 |
第三章 基于移动环境的数据存储服务架构 |
3.1 引言 |
3.2 相关研究 |
3.3 基于移动环境的自适应的分布式存储服务架构 |
3.4 集中式存储服务算法 |
3.5 分布式存储服务算法 |
3.5.1 分布式存储服务管理算法 |
3.5.2 基于层次化分区域的多主节点协作算法 |
3.5.3 性能分析 |
3.6 自适应式存储服务算法 |
3.6.1 自适应算法概述 |
3.6.2 基于Agent的自适应协作算法 |
3.6.3 基于博弈的分布式协作算法 |
3.7 自主存储服务 |
3.7.1 自主存储 |
3.7.2 自主存储服务 |
3.7.3 数值分析 |
3.8 模拟实验 |
3.9 本章小结 |
第四章 移动数据库关键技术研究 |
4.1 引言 |
4.2 移动数据管理架构及存储管理方法 |
4.3 移动性数据管理 |
4.3.1 移动性支持 |
4.3.2 位置数据管理 |
4.4 数据副本与缓存管理 |
4.4.1 预取与复制 |
4.4.2 缓存同步管理 |
4.5 事务与并发控制 |
4.5.1 事务处理 |
4.5.2 并发控制 |
4.6 广播机制 |
4.7 数据容错与安全 |
4.7.1 恢复与容错 |
4.7.2 移动数据安全 |
4.8 复制算法设计 |
4.9 模拟实验 |
4.9.1 移动数据库系统性能分析 |
4.9.2 实验结果分析 |
4.10 本章小结 |
第五章 基于无线MESH网的层次存储系统研究 |
5.1 引言 |
5.2 相关研究 |
5.2.1 存储技术 |
5.2.2 无线Mesh网 |
5.3 基于无线MESH网的层次存储系统架构 |
5.3.1 无线Mesh网的结构 |
5.3.2 基于无线Mesh网的存储定义 |
5.3.3 HSSWMN层次存储系统组成 |
5.4 HSSWMN关键技术算法 |
5.4.1 名字空间与元数据服务 |
5.4.2 搜索与查找服务 |
5.4.3 注册与注销 |
5.4.4 存储服务系统架构及可扩展性 |
5.4.5 存储负载平衡 |
5.4.6 存储容错机制 |
5.4.7 存储数据安全 |
5.4.8 复制与缓存机制 |
5.4.9 拓扑重构 |
5.5 性能分析 |
5.6 模拟实验 |
5.7 本章小结 |
第六章 移动环境数据存储服务QoS研究 |
6.1 引言 |
6.2 相关研究 |
6.2.1 网络QoS |
6.2.2 移动计算QoS |
6.2.3 存储QoS |
6.3 存储服务QoS定义与描述 |
6.4 移动环境存储服务QoS层次模型分析 |
6.4.1 存储服务QoS层次模型的建立 |
6.4.2 基于异构通信基础设施的QoS |
6.4.3 基于代理的移动网络存储服务QoS |
6.5 移动环境存储服务QoS确保算法 |
6.5.1 存储服务QoS保障机制 |
6.5.2 全局优化的存储服务QoS保证算法 |
6.5.3 局部优化的存储服务QoS保证算法 |
6.5.4 自适应优化的存储服务QoS保证算法 |
6.6 存储系统QoS实例 |
6.6.1 对象存储系统QoS框架 |
6.6.2 基于无线接入的对象存储系统QoS |
6.6.3 一种实用的存储服务QoS保证方法 |
6.7 QoS性能模型设计 |
6.8 模拟实验 |
6.8.1 测试拓扑结构 |
6.8.2 测试系统参数定义 |
6.8.3 有线网络接入方式读写测试分析 |
6.8.4 PC磁盘本地及网络映射盘I/O性能测试系统参数 |
6.8.5 本地磁盘I/O性能 |
6.8.6 有线网络下磁盘I/O性能 |
6.8.7 无线网络下磁盘I/O性能 |
6.8.8 无线多跳接入下磁盘I/O性能 |
6.8.9 有线与无线双连接方式I/O读写性能 |
6.8.10 系统I/O预测分析 |
6.9 本章小结 |
总结与展望 |
一、论文工作总结 |
二、今后工作展望 |
参考文献 |
攻读博士学位期间取得的研究成果 |
致谢 |
附表 |
四、oodOPT: A Semantics-Based Concurrency Control Framework for Fully-Replicated Architecture(论文参考文献)
- [1]数据复制中心的设计与实现[D]. 任弘迪. 上海交通大学, 2020(01)
- [2]物联网资源管理服务关键技术研究[D]. 兰丽娜. 北京邮电大学, 2019(02)
- [3]分布式多处理器环境下任务调度方法研究[D]. 沈阳. 华南理工大学, 2019(06)
- [4]基于可编程网卡的高性能数据中心系统[D]. 李博杰. 中国科学技术大学, 2019(08)
- [5]新型数据管理系统研究进展与趋势[J]. 崔斌,高军,童咏昕,许建秋,张东祥,邹磊. 软件学报, 2019(01)
- [6]分布式数据处理若干关键技术研究[D]. 吴仁克. 上海交通大学, 2018
- [7]协同设计中面向服务的数据交换与基于对称性的操作同步机制[D]. 吴亦奇. 武汉大学, 2017(06)
- [8]Apla+语言的云服务交互机制的研究[D]. 江东明. 武汉大学, 2017(06)
- [9]面向移动环境的数据存储管理方法关键技术研究[D]. 曾文英. 华南理工大学, 2011(06)
- [10]网络行为仿真综述[J]. 符永铨,赵辉,王晓锋,刘红日,安伦. 软件学报, 2022(01)