背景

PolarDB是阿里云设计的云原生OLTP数据库，每个数据库实例由多个数据库节点和存储节点组成，节点间通过高速RDMA网络连接在一起。为了保证原子性，每个POLARDB实例同时仅允许一个数据库节点处理写请求，且通过Parallel-Raft协议在写入时同时向存储节点写入3个副本。

计算存储设备CSD是在具备基本存储功能同时具备数据处理能力的存储设备，相比使用CPU处理的模型，CSD采用的异构计算架构可以达到更好的性能和效率。但是CSD同时存在硬件成本更高、实际部署适配开发成本更高等问题。

动机

当前的POLARDB在数据库节点中处理表扫描任务，将扫操作下移到存储节点可以更好提升数据库处理分析型负载的性能、降低网络流量，而列存储需要扫描时更高的数据处理能力。

(相关资料图)

关键在于如何扩展存储节点使之支持处理额外的扫描任务。第一种方法是扩展存储节点的CPU，然而这会带来过高的成本问题；第二种方法是使用PCIe卡模式的FPGA扩展，但是这种方式同样存在：扫描作为数据密集型负载带来的数据传输流量过高导致的高功耗、负载间冲突，以及PCIe扩展卡带宽瓶颈等问题。最后一种是本文提出方式，即分布式异构架构，将表scan操作分散到每个存储设备中，由此带来的挑战包括：如何修改整个软件存储站以支持扫描操作下移；和如何降低FPGA的成本、提高FPGA并行性。

方法

本文首先解决了如何实现跨软件栈的扫描下移工作，包括了POLARDB的存储引擎、下层的分布式文件系统POLARFS以及可计算存储器CSD。

首先作者讲解了如何扩展POLARDB存储引擎，使得存储引擎可以将扫描任务传递给下层的POALRFS，并负责回收CSD返回的扫描结果，扫描任务的参数包括：被扫描数据的位置、被扫描表的结构以及扫描的条件。由于CSD难以支持所有的扫描条件（如LIKE），因此POLARDB的存储引擎在收到扫描请求时需要首先分析扫描条件，并将CSD可以处理的条件子集传递下去，并在收到CSD的结果后进行二次检查。

接着作者描述了如何扩展作为存储底层的分布式文件系统POLARFS，POLARFS负责管理所有存储节点上的数据。为了尽可能让文件的大部分数据块落在同一个CSD上，POLARFS采用了大粒度(4MB)条带，当出现极少数的一个压缩条带横跨两个CSD时，存储节点采用CPU处理对应的scan操作。在传递scan请求时，POLARDB存储引擎传递给POLARFS的是文件偏移表示的被扫描数据位置，而CSD仅能定位以LBA形式的数据位置，因此，POLARFS在收到POLARDB存储引擎的扫描请求书，会将横跨m个CSD的请求分割成m个扫描请求，并将扫描请求中的偏移转换到CSD的LBA。

之后作者描述了如何扩展CSD功能。CSD通过内核空间的驱动进行管理，每个CSD都暴露为一个块设备。驱动将收到的POLARFS转发的扫描请求分割成多个子任务，以解决大扫描任务长期占据NAND带宽，影响普通IO请求延迟性能的问题。同时，子任务有助于降低硬件资源的使用率，提高NAND访问的并行性，同时降低后台GC可能的过高延迟。

为了更好的降低成本，作者修改了POLARDB存储的数据块格式，以充分利用FPGA实现扫描功能。增加了1字节压缩类型，4字节的键值对数量和restarts键数量，这样使得CSD不需要POLARDB存储引擎传递块大小即可直接解压，同时可以高效处理restarts，并探测块结束情况。

由于FPGA难以实现多类型比较器，因此作者进一步修改POLARDB存储引擎，将所有数据都存储成同一的可比较格式，这样CSD只需要实现单一类型比较器，有助于降低FPGA资源开销。

在实现时，作者采用了终端的FPGA同时用作闪存管理和存储计算单元，集成了软LDPC编码器，因此可以使用低成本的3D TLC/QLC以降低成本。作者使用FPGA实现了2个数据解压引擎和3个数据扫描引擎，支持 支持Snappy解压和=, ≠、>、≥、<、≤、NULL和!NULL条件。

评估

为了实际可用，CSD需要在满足存储计算的同时提供一流的IO性能，因此作者使用64层3D-TLC闪存，并支持了PCIe GEN3x4接口，达到了3.0GB/s和2.2GB/s的顺序读、写带宽，并做到在满盘、GC触发时590K/160K的4K随机读、写IOPS。在解压性能上，CSD的两个解压引擎实现了在60%和30%压缩率下，2.3GB/s和2.8GB/s的总解压吞吐量。

在使用TPC-H基准测试的LINEITEM表作为测试负载测试下，作者分别对比了下移扫描任务前后整体的扫描延迟和PCIe数据流量。对比项共有4个，分别是基于CPU、不进行压缩的扫描下移；基于CSD，无压缩的扫描下移；基于CPU有Snappy压缩的扫描下移以及基于CSD、有Snappy压缩的扫描下移。测试结果表明：相对于基于CPU的扫描下移，CSD将平均扫描延迟从55s降低到39s，同时CPU占用率从514%降低到140%，收益最低的TS-6测试项中，延迟依然从65s下降到53s，同时CPU利用率从558%降低到374%。测试同时发现，基于CSD的负载中，CPU负载与数据选择性正相关，即传输到CPU的数据越少，CPU负载越低，而基于CPU的扫描则与数据选择性无关。这说明基于CSD的扫描效率更高，且效率随着CSD规模增加可以扩展。

而从PCIe流量对比中可以发现，CSD的数据移动量更少，因此额外功耗更低。

之后作者进行了系统级评估，在POLARDB的云实例上运行TPC-H负载进行测试。每个实例运行32个SQL引擎容器，分布在7个数据库节点和3个后端存储节点上，每个存储节点包括12个3.7TB的CSD。分别考虑3个场景：1. 基准场景，即所有数据由存储节点传输到数据库节点进行处理；2. 基于CPU的下移场景，即扫描任务下移到存储节点的CPU上；3. 基于CSD的下移场景，即扫描任务下移到CSD上。

测试结果表明，随着请求数量增加，基于CSD的下移相比基于CPU的下移带来更多的延迟性能提升，这是由于随着并行请求数量增长，每个存储节点有更多的并行扫描任务，更利于硬件并行化；另外，基于CSD的下移在表进行压缩时表现出更高的性能提升，这是由于基于CPU的下移需要更多资源进行解压。

流量测试结果表明，基于CSD的扫描下移相比与基于CPU的扫描下移，在7个TPC-H并行查询时可以降低50%的PCIe流量，最大PCIe传输流量降低了97%，而12个并行TPC-H查询的网络总流量降低了70%。

总结

本文报告了跨软-硬件协同的阿里云关系型数据库POLARDBDA设计优化，以更高效处理分析型负载。其基本思想是将高开销的表扫描操作分发到CSD中，核心思想简单且与当前异构计算的工业趋势吻合。测试结果表明本文的设计在查询测试中可以获得超过30%的延迟性能提升，同时减少50%的存储-内存数据移动。作者表示，希望本工作可以激励更多关于如何在云基础设施更好利用CSD的探索。

登录阅读全文  加速 数据库 免责声明： 该内容由专栏作者授权发布或作者转载，目的在于传递更多信息，并不代表本网赞同其观点，本站亦不保证或承诺内容真实性等。若内容或图片侵犯您的权益，请及时联系本站删除。侵权投诉联系： nick.zong@aspencore.com！ SSDFans AI+IOT+闪存，万物存储、万物智能、万物互联的闪存2.0时代即将到来，你，准备好了吗？ 进入专栏 评论 （0） 请登录后参与评论回复 登录 芯语 帖子 文库 下载 博文

【抽示波器】逻辑分析仪，你什么时候需要TA?

一起走进逻辑分析仪的前世今生，了解其独有的状态采集功能（心外无物），工程师还会和混合信号示波器进行联调，了解更多逻辑分析仪不可替代的功能……

突发！美光存储芯片被禁售（附事件梳理）

Display之家 2023-05-22 32285浏览

消息称华为逆势上调今年手机出货量全行业第一家

EETOP 2023-05-22 8696浏览

「电工基础知识100问」20年老电工都不一定全清楚！

技成培训 2023-05-23 2626浏览

这可能是国产光刻机的最后一个难关！

集成电路IC 2023-05-22 892浏览

计划在法国建厂？比亚迪回应：正在寻找合适地点

谈思汽车 2023-05-23 692浏览

突发！亚马逊宣布退出中国市场

WitDisplay 2023-05-23 674浏览

中国移动将入股阿里云？

悲了伤的白犀牛 2023-05-22 590浏览

巨变落地：新阿里直面新未来

极点商业 2023-05-22 524浏览

英特尔Falcon Shores为何从XPU变成了GPU？

刘于苇 2023-05-23 17:24 31浏览

日本2024财年市场规模有望突破500万台

ESMC-国际电子商情 2023-05-23 17:23 51浏览

制造商在芯片设计中受益于AI的5种方式

EmilyNewton 2023-05-23 17:04 21浏览

中国从新加坡购买芯片制造设备再创新高，同比增长9.6%

综合报道 2023-05-23 16:52 83浏览

ARHUD已成风口，将打开车载元宇宙之门

张河勋 2023-05-23 16:51 43浏览

Matter规范再度更新，行业热度席卷多个细分赛道

邵乐峰 2023-05-23 16:28 50浏览

安卓与鸿蒙系统被曝高危漏洞！

EDN China 2023-05-23 14:34 88281浏览

外媒：Microvast丧失美国2亿美元补贴机会

国际电子商情综合报道 2023-05-23 14:18 69浏览

新八代线工厂的 OLED面板可能更适合MacBook，而不是iPad

Omdia 2023-05-22 07:25 75浏览

2027年，Arm架构的PC市场份额将增加近一倍

Counterpoint Research 2023-05-21 07:16 78浏览

中微公司在TechInsights2023年客户满意度调查榜单中位列两项第一

中微半导体设备(上海)股份有限公司 2023-05-20 12:17 68浏览

2023年STM32中国峰会开启全新篇章

意法半导体 2023-05-19 17:44 31浏览

AI将触及人们生活的方方面面，为实现这一愿景终端将发生哪些改变

高通公司总裁兼CEO 安蒙 2023-05-19 11:22 25浏览

意法半导体新增两款功率转换芯片，助力提高消费电子和工业应用的能效

意法半导体 2023-05-19 11:01 20浏览

倒装恒流驱动芯片NU520应用规格书

446230017_531524612 2023-05-17 80浏览

六周年获奖晒单

逗徐坤 2023-05-13 738浏览

在给SIP封装器件画线路时为什么表层只允许画外圈的焊点

李翰麒 2023-05-09 161浏览

“一觉醒来公司没了”OPPO造芯的最后18分钟完整实录

黑钢.384 2023-05-16 2386浏览

六周年活动奖品晒图

孤独的单行者 2023-05-13 154浏览

[活动晒图]六周年活动奖品

无言的朝圣 2023-05-13 131浏览

【变废为宝第4季】电子工程师拆解/DIY大PK，赢大疆无人机！

面包板社区管理员 2023-05-18 2613浏览

单片机复位电路四种类型

KA_IX 2023-05-12 778浏览

基于单片机的宾馆电梯模拟控制系统的设计

czd886 2023-05-06 1555浏览

EMC整改的频点，RC、LC滤波器截至频率的计算

QWE4562009 2023-05-15 289浏览

表面丝印为GBEAA的芯片是什么型号？

wuliangu 2023-05-08 1707浏览

终于做了个6E2电平指示（电子管猫眼）

电源yo哥 2023-05-13 195浏览

开关型升压DC-DC电路是怎么工作的

2023-05-17 62浏览

BMS是什么？

2023-05-23 27浏览

电解电容选型有啥指标

2023-05-18 118浏览

扁形电子VS圆形电机，谁更适合新能源汽车？

2023-05-17 72浏览

详解TSV的三维封装技术

2023-05-22 63浏览

瞬态电压抑制二极管典型应用电路图分析

2023-05-20 69浏览

温度控制系统投运该做好的工作

2023-05-18 76浏览

用ChatGPT在linux环境下写脚本

2023-05-22 39浏览

制作PCB的十一条规则介绍

2023-05-23 44浏览

分析二极管的电容效应和开关特性

2023-05-18 55浏览

图解IGBT管的三个主要功耗

2023-05-18 70浏览

电路采用大电容和小电容进行并联的形式组成这样的设计目的有哪些

2023-05-17 73浏览

PCIe3.0总线有什么特点？

2023-05-23 70浏览

稳压二极管选择需要注重的几个因素

2023-05-18 61浏览

电容的作用和用途，9大点

2023-05-23 62浏览 Arm Cortex-A 编程指南 Arm Cortex-A 编程指南(ARM_cortex_a_series_PG 所需E币: 2 2023-05-23 11:26 大小: 3.38MB 上传者：电子爱好者66 Cortex-A7 技术参考手册 Cortex-A7 技术参考手册(cortex_a7_mpcore_r0p5_trm) 所需E币: 2 2023-05-23 11:26 大小: 1.97MB 上传者：电子爱好者66 基于单片机的显示温度与时间proteus仿真设计资料 基于单片机的显示温度与时间proteus仿真设计资料 所需E币: 5 2023-05-22 11:21 大小: 40KB 上传者：木头1233 STM32产品选型手册 STM32产品选型手册 所需E币: 0 2023-05-22 15:43 大小: 2.49MB 上传者：Fx 基于单片机显示仿手机键盘按键字符仿真设计资料 基于单片机显示仿手机键盘按键字符仿真设计资料 所需E币: 5 2023-05-22 11:24 大小: 35.6KB 上传者：木头1233 基于单片机电子音乐Proteus仿真设计资料 基于单片机电子音乐Proteus仿真设计资料 所需E币: 5 2023-05-22 11:22 大小: 17.63KB 上传者：木头1233 数字电子技术基础_高等教育出版社第五版 数字电子技术基础_高等教育出版社 所需E币: 0 2023-05-22 15:49 大小: 10.74MB 上传者：Fx 基于单片机显示电话拨号Proteus仿真设计资料 基于单片机显示电话拨号Proteus仿真设计资料 所需E币: 5 2023-05-22 11:23 大小: 22.79KB 上传者：木头1233 基于单片机数控云台proteus仿真设计资料 基于单片机数控云台proteus仿真设计资料 所需E币: 5 2023-05-22 11:23 大小: 205.71KB 上传者：木头1233 Git、Jenkins、Ansible实践CICD 分享课程——Git、Jenkins、Ansible实践CICD，附文档+软件+脚本。你将会学到：掌握CI/CD自动化部署Git\Jenkins\Sonar\Nexus\Ansible\shell掌握持续集成、持续交付、持续部署、自动化部署流程、容器发布流程、部署策略（蓝绿、灰度、滚动）掌握Git提交代码、回退代码、区域概念、分支模型；掌握远程仓库Gitee、Gitlab、备份、恢复掌握Jenkins基本应用、Jenkins集成Gitlab、集成Shell脚本、集成Ansible掌握Jenkins构建静态站点CI与CD，使用Shell、Ansible来实现不同环境的滚动升级策略掌握Jenkins构建Java应用（War包类型、Jar包类型），实现WebHook全自动CI流程掌握Nexus制品库，以及Jenkins如何集成制品库，实现自动拉取代码，自动编译代码，自提交制品库掌握Sonarqube质量检测，以及Jenkins集成Sonarqube进行代码质量扫描掌握Jenkins集成DingDing，实现Sonarqube质量检测结果状态通知掌握Jenkins全自动化CI流程，自动化部署测试环境CD流程，手动部署生产环境CD流程掌握JenkinsPipeline流水线CI与CD、掌握Jenkins分布式构建及RBAC权限管理 所需E币: 0 2023-05-22 15:55 大小: 879B 上传者：蝴蝶结欧恩 基于单片机输出正脉宽的方波Proteus仿真设计资料 基于单片机输出正脉宽的方波Proteus仿真设计资料 所需E币: 5 2023-05-22 11:23 大小: 27.82KB 上传者：木头1233 基于单片机数码管电子钟Proteus仿真设计 基于单片机数码管电子钟Proteus仿真设计 所需E币: 5 2023-05-22 11:23 大小: 29.38KB 上传者：木头1233 强化供应链韧性，供应商管理这3个关键点不容忽视 节奏明显加快了。景区游人如织，交通运行繁忙，各行各业都能感觉到欣欣向荣的迹象，大家积极行动，想要抢回失去的三年。全球供应链也是如此。根据纽约联储发布的数据显示，如今全球供应链压力指数已从高点回落，2022年12月的物流经理人指数达到54.6，在八个月下降后首次出现增长。全球供应链不再像三年前那样脆弱，已变得更加多元化，这要求供应链管理也需要从关注柔性即“短期应急管理”转移到强化韧性“即中长期业务连续性管理”上来，而强化供应链韧性，百望云认为供应商管理是基础。01 供应商多维度数据管理实现目标：集 科技财经汇 2023-05-22 20:28 141浏览 《硬件十万个为什么》+试读心得 硬件----我最早听到这个词语的是学校老师提到的计算机硬件，还记得老师讲计算机硬件是由电子，机械和光电元件等组成的物理装置，是给软件提供物质基础的，到后来参加工作后，慢慢接触到电子元器件后，才慢慢了解到，硬件不单单只是计算机硬件，包含生活中产品的各个方面，虽说做了这么多年的硬件设计，了解硬件电路中每个器件的使用 &功能&失效模式等，却是比较少的，所以当面包版社区有硬十这本书籍的评测后，作为硬十公众号的粉丝，果断的提出了申请，同时也很感谢能够有此次评测的机会，让我更加的了解无源器件的各个特征&功能 Awen 2023-05-23 23:28 60浏览 RK3568和RK3399有什么区别？ ▎简介RK3568和RK3399都是Rockchip公司的处理器，具有不同的特点和适用场景。以下是它们的主要区别和应用场景。▎RK3568RK3568是新一代的高性能处理器，采用了22nm工艺，具有更高的性能和更低的功耗。它支持4K视频解码和编码，支持多种接口和协议，如HDMI、USB、PCIe、GigabitEthernet等。RK3568适用于：●智能家居：可以用于智能音箱、智能门锁、智能家电等智能家居设备中，提供高效的计算和图像处理能力，支持多种音视频格式的解码和编 万象奥科 2023-05-22 17:53 146浏览 动力电池UL2580认证测试项目包括哪些？ 目前国内外已有多个针对电动车的动力电池安全标准，如UL2580、ISO12405-1、ISO12405-2、ISO12405-3、IEC 62660-1、IEC 62660-2、IEC 62660-3等，以及国内的汽车动力用电池标准GB 38031等，这些标准都分别对蓄电池单体电池，蓄电池模块、蓄电池充放电系统等的安全性做出了相应的要求。接下来我们就以UL2580标准为大家解读……动力电池UL2580-产品范围UL2580产品范围涵盖以下应用的电池：电动汽车用电池，电动汽车用电池包、电动汽车用电 陈丽莎 2023-05-23 17:25 107浏览 关于PCBA元器件布局的重要性 SMT贴片加工逐步往高密度、细间距的设计发展，元器件的最小间距设计，需考虑SMT厂家的经验和工艺完善程度。元器件最小间距的设计，除了保证SMT焊盘间安全距离外，还应考虑元器件的可维护性。器件布局时保证安全间距1、安全距离跟钢网扩口有关，钢网开孔过大、钢网厚度过大、钢网张力不够钢网变形，都会存在焊接偏位，导致元器件连锡短路。2、在工作中比如手焊、选择焊、工装、返修、检查、测试、组装等的操作空间，对距离也有要求。3、片式器件之间的间隔大小与焊盘设计有关，如果焊盘不伸出元器件封装体，则焊膏会沿元器件端 攻城狮华哥 2023-05-22 11:45 245浏览 你知道高性能的智能传感器智能在哪里？（超级全面） 智能传感器的结构及特点传感器像人的五官一样，是获取信息的重要工具。它在工业生产、国防建设和科学技术领域发挥着巨大的作用。但与飞速发展的计算机相比较，作为“五官”的传感器远远赶不上作为“大脑”的计算机的发展速度。随着测控系统自动化、智能化的发展，要求传感器准确度高、可靠性高、稳定性好，而且具备一定的数据处理能力，并能够自检、自校、自补偿。传统的传感器已不能满足这样的要求。传感器专家网https://www.sensorexpert.com.cn专注于传感器技术领域，致力于对全球前沿市场动态、技术趋 传感器专家网 2023-05-22 17:19 227浏览 锂电池MSDS是什么/锂电池MSDS有效期 GHS-MSDS要达到的目的：——通过提供一种都能理解的国际制度来表述化学品的危害，提高对人类和环境的保护；——为没有相关制度的国家提供一种公认的制度框架；——减少对化学品的测试和评估；——为国际化学品贸易提供方便。1、现在电池没有电池MSDS检测报告,是无法出口销于国外的。 欧盟新版电池指令规定从2016年12月31日起,在欧盟市场销售和使用的无线电动工具的便携式电池和蓄电池镉含量不得超过0.002%。2、2016年1月1日起实施的国际航空运输协会《危险品规则第57版修改稿》对不同类型锂电池的 陈丽莎 2023-05-23 14:48 186浏览 日本跟进美国对华限制半导体制造设备出口，商务部：坚决反对！ 据日本经济新闻报道，日本经济产业省今日（5月23日）公布了外汇法法令修正案，将先进芯片制造设备等23个品类追加列入出口管理的管制对象，上述修正案在经过2个月的公告期后，将在7月23日实行。报道指出，美国正严格限制先进芯片制造设备出口至中国，而日本此举等同跟随美国脚步。根据日本《外汇法》，对可用于军事目的的武器等民用物品的出口进行管制，出口需要事先获得经济产业省的许可。传感器专家网https://www.sensorexpert.com.cn专注于传感器技术领域，致力于对全球前沿市场动态、技术趋势 传感器专家网 2023-05-23 20:16 56浏览 蓄电池ce认证办理欧标EN61951 蓄电池ce认证办理欧标EN61951测试欧盟新的蓄电池指令2006/66/EC将电池产品分为4类：191075167751、便携式电池2、钮扣电池3、工业电池4、轿车电池。由于环保的要求，2006/66/EC含有汞和镉的电池和蓄电池禁止在市场上销售，还大力促进蓄电池和废电池的回收循环利用率，并将一切与电池和蓄电池生命周期有关的行为者，例如生产商和分销商，尤其是与废电池和蓄电池处置和收回直接相关人员归入调查之内。1.电池环保指令2006/66/EC2.电池EMC指令EN610003.电池安规规范： 陈丽莎 2023-05-22 14:28 189浏览 【瑞萨 RA2E1】+初次使用 第一次使用arm内核的瑞萨的MCU，因为之前使用的瑞萨MCU都是基于e2studio开发的，不支持keil或者不提供关于keil方面的demo，官方也只提供了关于e2studio的demo，总的来说对于习惯用keil的工程师来说，是比较不习惯的。因此，瑞萨这次推出的基于arm的CM23内核，我是比较感兴趣的，也就此机会在面包板社区进行了申请，比较幸运，可以参与RA2E1的测评，很开心，接下来就带来我对RA2E1的初体验。首先是开箱，瑞萨的包装还是比较的简单，一个快递箱，里面一个用静电袋包装的 逗徐坤 2023-05-22 23:56 185浏览 电车怎么开最省电 电车怎么开最省电电车的车主都非常在意车辆的续航，很多人误以为续航只是和车电的性能相关，实际上不止于此，今天教大家几个小技巧，无论什么电车续航都能增加30公里以上。第一点：经济时速电车的经济时速主要是动力系统差异造成的，一般为60-80公里每小时，条件允许的情况下，尽量要保持在这个区间里面。因为车速在100公里以上时为了保证车辆的动力和克服空气的阻力，车辆需要增加电流此事的电耗就会急剧的升高.第二点：调整冷胎充气压力，胎压在2.3-2.5之间都是正常的，胎压越高其实是越省电 四川英特丽科技有限公司 2023-05-23 15:36 145浏览 混动开发技术课程-盖世大学堂 汽车混动技术是指将传统的燃油发动机和电动机结合起来，通过优化控制系统，实现更加高效的动力输出和更低的能耗排放。汽车混动技术的开发需要涉及多个方面的技术，包括电机、电池、控制系统、传动系统等。以下是汽车混动技术的几个关键技术点：1.电机技术：电机是混动车的关键部件之一。电机的功率和效率对混动车的性能和能耗有着重要的影响。目前，永磁同步电机和感应电机是混动车中常用的电机类型。2.电池技术：电池是混动车的另一个重要部件。电池的性能直接影响着混动车的续航里程和能耗。目前，锂离子电池是混动车中常用的电池类 可可盖世大学堂 2023-05-23 17:38 125浏览