应对海量图片存储的分布式存储解决方案

随着互联网、云计算及     大数据   等信息技术的发展,越来越多的应用依赖于对海量数据的     存储   和处理,如智能     监控   、电子商务、地理信息等,这些应用都需要对海量图片的存储和检索。由于图片大多是小文件(80%大小在数MB以内),以GFS、HDFS为代表的适用于流式访问大文件的分布式存储系统,若直接用来存储图片,由于元数据膨胀,在扩展性和性能方面均存在严重问题。

为了解决HDFS在小文件存储方面的问题,通常的做法是先将很多小文件合并成一个大文件再保存到HDFS,同时为这些小文件建立索引,以便进行快速存取。典型技术包括Hadoop自带的Archive、SequenceFile,但均需要用户自己编写程序,实现小文件的合并。为了实现小文件合并对用户的透明,需从系统层面解决HDFS小文件问题。论文针对具体应用场景进行了探索,但不具有通用性。

SandStone MOS海量图片解决方案

对于海量图片数据的存储问题,杉岩海量对象存储(SandStone MOS)解决方案采用去中心化分布式架构,同时利用软件定义的方式实现了单一名字空间条件下数百PB级规模的容量扩展,业务可以随时随地访问而不受数据存储位置的限制。

在提升海量小文件访问性能方面,SandStone MOS利用哈希计算实现了数亿级文件的高效访问。针对文件检索困难,SandStone MOS支持标签功能,文件存储时会自动设置标签,从而更好地与业务结合,满足高效检索。

此外,SandStone MOS在易用性与可维护性方面也超越了同级别产品,其采用“x86通用服务器+存储软件”的分布式解耦架构,将底层存储空间与上层业务逻辑空间进行分离,软硬件的升级不会影响到整个系统的正常运行。

即使系统有再多应用更新,也不会影响存储空间的使用。值得一提的是,SandStone MOS首创的分布式存储数据盘漫游功能,可以帮助企业用户渐进式的进行老旧硬件设备更换,不影响业务的正常运行。

在对象存储领域的专注与持续创新,换来的是行业的高度认可。去年8月,杉岩数据成为首家通过     Intel   中国云计算创新中心     测试   并发布报告的软件定义存储厂商。

 应对海量图片存储的分布式存储解决方案_设计制作_电源/新能源

与此同时,杉岩数据作为国家信息化标准委员会云计算标准工作组成员单位及中国开源云联盟理事单位,先后参与了分布式存储国家标准的制定工作及Ceph行业白皮书的编写工作。

如今,对象存储正焕发出更大的生命力,一场存储革命也已开启。以杉岩数据为代表的创新型存储厂商,正通过不断深耕对象存储领域,帮助企业构建更加智慧的IT基础设施,推动传统存储朝着更高效、更集约、更易用的方向全面演进。

48
37
0
9

相关资讯

  1. 1、林允参加“胖哥哥”婚礼,素颜出镜,爱笑的女孩也很美571
  2. 2、错换人生案:“姚策去世将近一个月”,为何两妈会停止隔空喊话?4834
  3. 3、《巴啦啦小魔仙》中贝贝公主,今搭档王一博走红,待播剧让人期待3070
  4. 4、孔刘终于回归大银幕,出演秦始皇的御医《徐福》寻求长生不老4329
  5. 5、《太空熊猫》曝熊猫天使海报天使外表女汉心182
  6. 6、《复古神探》官宣杀青,演员海报首次曝光,阵容预定是好剧了3134
  7. 7、片酬曾高过周星驰,他如今坐拥7套房,却称:太多了,有点麻烦4102
  8. 8、《归来》定档5月16陈道明巩俐领衔全明星亮相3328
  9. 9、68岁吴孟达因患癌症不幸去世!回顾吴孟达演过的八大经典影视剧1658
  10. 10、巫迪文《幸福快递》变土豪牵手爱恋霍诗丹4821
全部评论(0)
我也有话说
0
收藏
点赞
顶部