极速同步:网关间多点协同实现数据共享最佳实践

  • 时间:
  • 浏览:0

线上网关在同另另1个多多VPC内,愿因着通过云企业网打通,通过VPC endpoint高速访问OSS,能都上能 将文件快速上传至OSS。这里的难点是如可将一些网关的上传文件信息推送给一些网关,让每个网关在最短的时间内能都上能 看得人相同的共享数据的视图。迅疾同步功能为共享的Bucket创建OSS事件通知规则,并创建对应的MNS消息主题和消息队列,当网关有文件上传到OSS时,OSS会匹配事件通知规则,将该文件的变更信息以MNS消息的最好的方法投递到MNS消息主题,消息主题会埋点消息给订阅的各个消息队列,同步组的每个共享监听和接收对应的消息队列的消息。共享解析获取到的消息,再从OSS上获取对应对象的完整篇 元数据信息,实现了增量的同步更新。愿因着MNS也在同另另1个多多区域内,网关能都上能 通过MNS VPC endpoint接收消息,速率单位很小。在批量上传的场景下,网关能都上能 多路并发接收消息,每秒能都上能 出理 上千个OSS通知消息,实现高效迅疾同步。

本文分别从同VPC多网关共享数据和线下/跨域网关通过公网共享数据这个 个多多典型的场景分析了全量扫描同步元数据的挑战以及利用云存储网关的迅疾同步功能如可有效出理 这个 间题图片,迅疾同步让多网关间秒级同步共享,高效协同成为现实。

在更加繁复的协同办公环境下,文件网关还有愿因着部署在线下机房,通过专线愿因着公网访问OSS,愿因着考虑到多地跨区域共享语录,异地的文件网关都上能 都上能 通过广域网发起访问,拓扑图如下:

愿因着线下机房有专线连接阿里云,时候配置好OSS endpoint,就能在同另另1个多多VPC内高速访问OSS;愿因着线下机房都上能 都上能 公网访问阿里云,配置网关共享的完后 都上能 都上能 选用公网OSS endpoint作为访问点。同样的,跨地域的网关要我访问OSS,创建共享的完后 时需勾选跨域选项,这完后 选用OSS所在区域的公网endpoint。愿因着公网繁复多变,有速率单位高,速率单位受限,网络抖动等诸多限制,愿因着要共享Bucket中的数据,用扫描Bucket对象的最好的方法去同步元数据,是相当低效的。迅疾同步功能的推出,将共享从公网定期扫描云上对象的泥潭中解放出来,用增量的最好的方法去及时获取云上数据的变化,无惧Bucket含有海量数据的事实,轻松在秒级获取最新的元数据。实验数据表明,在线下愿因着跨域公网访问MNS消息队列时,并发出理 OSS事件消息的数量能都上能 达到百级,除了初始的全量扫描之外,出理 了后续全量扫描文件的开销,满足了大每段广域网协同共享数据的需求,具体的拓扑图如下:

愿因着用户使用同另另1个多多区域的线上网关共享数据,时候在不同网关间进行负载均衡。如下图,而是 另另1个多多典型的同区域的多网关高效共享Bucket数据的拓扑图。

网关网关提供了从OSS到NAS协议转换,依托于OSS的稳定性和经济性,降低了用户的使用成本,又具备了传统NAS的易用性和POSIX兼容性,能都上能 与用户的已有应用无缝对接,满足了中小企业客户的需求。随着企业规模的增大,用户的分支机构也增多,多地共享数据的需求也逐渐凸显。云存储网关上线一年多的时间里,不断的在埋点用户的需求,推出新的功能,出理 用户的痛点。今天大伙儿就来看一下网关是如可出理 多地共享数据这个 间题图片的。