底层存储优化业务?五大场景看深信服EDS如何做!

作者:admin 来源:网络整理 点击数: 发布时间:2021年10月11日

  对于存储而言,性能是产品要追求的重要指标,但更关键的在于如何真正贴合用户实际场景的使用需求,为用户业务的高效运转带来切实的帮助。深信服也在探索中不断思考,对于用户而言什么才是更好的存储。基于上千家用户案例的积累,深信服分布式存储EDS从用户的业务场景痛点出发,为医疗、政府、企业、广电等行业提供性能支持。

  一、医学影像业务场景

  医院医学影像数据(主要是CT和MR)的迅速增长,对医院现有PACS系统的承载能力提出挑战,在数据重压之下,PACS系统的底层存储也成为被广泛关注的焦点。深信服EDS承载医院海量医学影像文件的同时,为医生带来更为顺畅的阅片体验。

  场景痛点:海量医学影像文件读取卡顿

  病人一次CT检查会产生几千张500KB左右大小的影像文件,放射科医生阅片时,通过阅片终端加载这些影像文件进行诊断。

  据统计,三级医院每年新增的医学影像文件数量超过1亿,大规模的小文件数量会对存储的访问效率产生极大影响,如果从存储读取某张影像时延过高,便会出现卡顿,严重时会极度影响工作效率。而在业务高峰期,上百位门诊医生、临床医生同时阅片时,效率问题会更明显。

  解决方案:双重预读模式实现高效阅片

  为了进一步提升医生的阅片效率,EDS通过智能预加载技术,内置一个预测模块,根据客户端在目录上产生的读取文件操作生成预读序列,预读线程根据预读序列将影像文件预加载到内存。为了实现更精准的预读,EDS针对不同场景推出基于目录和时间两种不同的预读机制。

  基于目录预加载:大部分场景下,一个目录仅存放一个病人的某次检测结果,若单次检测产生的文件数量不多,则将整个目录的文件都加载到内存。但由于PACS软件设计问题,存在一个目录存放了多个病人的检测结果,几十万的文件数量无法采用基于目录的预加载机制,就需要基于时间预加载。

  基于时间预加载:某个病人的检测结果,其影像创建时间是比较临近的,通过创建时间将目录内的文件进行分组,当某个组中的文件在短时间内被读取超过3个,则将整个组中的文件加载到内存。

  通过EDS两种加载机制,目前医生阅片时可实现单张读取时长不超过10ms。

  二、广电非编业务场景

  随着4K的普及,各电视台需要重构已有IT架构以实现对4K的支持,4K意味着媒资数据量更加庞大,需要“采,编,播,存,传”全流程各个环节的进行支撑,对采编效率、底层存储的吞吐能力有着更高的要求。深信服EDS让音视频素材读取更加迅速,实现广电超清4K节目高效制作。

  场景痛点:超清节目制作时延过大导致丢帧

  超清4K节目的生产制作流程由素材上载、文件收录、在线编辑、合成转码、审查等环节组成,4K场景的非编操作,视频码率大、层数多,需要存储系统提供稳定的高带宽,对时延敏感,时延过大会导致视频画面出现丢帧。同时,非编业务涉及到视频素材编辑的多个层次叠加,每一层都需要从音视频素材读取数据,层数越多,对存储吞吐的要求越高。

  4K编辑性能需求:

  解决方案:存储介质+存储网络升级降低读写时延

  EDS使用NVMe SSD作为Tier分层,数据优先写入Tier分层,并优先从分层中读取数据,并搭配RDMA低时延网络,来降低业务读写时延。

  EDS通过3节点混合盘配置存储集群提供6GB/s吞吐,以国内标准的500Mbps的4K素材为例,3节点即可满足16台4K超高清工作站同时进行6层素材编辑(或120台高清工作站同时进行4层100Mbps高清素材编辑)的性能需求,不出现丢帧和错帧。

  三、测绘航测建模业务场景

  测绘作为地理信息行业主要的数据生产方,其主要业务为倾斜摄影(即航测)和卫星遥感,无人机或有人机倾斜摄影是通过飞行平台搭载相机从多个不同视角同步采集地表影像,获取到丰富的地表信息,用于进行三维模型建模。深信服EDS可以充分满足建模过程对大文件吞吐以及小文件读写的不同性能诉求。

  场景痛点:空三解算、三维建模性能需求各异

  航测业务流程可以划分为3个主要阶段:

  1、外业采集:外业采集中外业人员通过有人机或无人机对测区进行倾斜摄影,采集大量几MB~几十MB大小的图片文件和控制点坐标文件;

  2、内业生产:外业采集的图片数据被传送到数据中心后,在三维建模软件里进行空三解算和三维建模环节:

  空三解算:空三解算过程会产生大量读原图片(MB级文件)操作,对存储的吞吐性能要求高;

  三维建模:三维建模通过多台建模工作站并发计算,这个过程会产生大量几KB-几百KB级别小文件的读写操作,对存储的小文件读写性能要求高。

  3、数据流转:建模完成后三维模型数据作为交付物交付给甲方,原片数据、过程报告等数据需要归档做长期保存。

  解决方案:软件逻辑层IO路径优化满足并发建模需求

  在大量原片数据承载上,EDS使用NVMe SSD分层并搭配RDMA低时延网络,来降低业务读写时延,满足空三解算阶段拉取原片的吞吐需求,在建模过程数据承载上,EDS使用全固态配置,并搭配一系列存储软件逻辑层IO路径优化降低小文件读写时延。

  EDS航测建模存储方案做到建模效率相比传统存储方案提高30%以上,并可满足同时200个工作站并发建模不掉速。

  四、交管海量图片场景

  随着城市安防建设推进,交管行业每天都会产生大量的人脸抓拍、车辆抓拍图片数据,这些数据往往需要长期保存,如卡口抓拍照片保存的数据不短于180天等,只有实现安全存放、快速调取这些图片数据,才能让公安、交管等行业业务平台发挥作用。深信服EDS实现交通管理场景下海量图片小文件的高效处理。

  场景痛点:海量照片小文件删除、调用处理难度大

  交通卡口抓拍图片具有以下特征:

  单个图片文件小,大部分图片数据小于1MB;

  文件数量多,一个市每天产生的图片数量超过千万张;

  存储在承载10亿以上文件规模的图片数据的同时要满足每天高速读写需求,并且需要支持每天高速删除千万张照片释放存储空间。

  解决方案:自研元数据管理+小文件合并实现轻松承载

bet36体育在线娱乐_365bet官网 (http://www.zzxfgs.com/a/ziliaoxiazai/zhengcewenjian/23451.html):底层存储优化业务?五大场景看深信服EDS如何做!

(编辑:admin)