• Complex
  • Title
  • Keyword
  • Abstract
  • Scholars
  • Journal
  • ISSN
  • Conference
成果搜索

author:

洪旭升 (洪旭升.) [1] | 林世平 (林世平.) [2] (Scholars:林世平)

Indexed by:

CQVIP

Abstract:

针对 HDFS 最初是为流式访问大文件而开发的,而对于大量小文件的存储效率不高问题,采用 MapFile设计一个HDFS中存储小文件的方案.该方案的主要思想是在上传HDFS时增加一个文件类型判断模块,建立一个小文件队列,将小文件序列化存入一个MapFile容器,合并成大文件,并建立相应的索引文件,有效降低文件数目和提高访问效率.通过和现有的Hadoop Archives(HAR files)文件归档解决小文件问题的方案对比,实验结果表明,基于MapFile的存储小文件方案可以更为有效的提高小文件存储性能和减少HDFS文件系统的节点内存消耗.

Keyword:

HDFS MapFile SequenceFile 云存储 小文件

Community:

  • [ 1 ] [洪旭升]福州大学
  • [ 2 ] [林世平]福州大学

Reprint 's Address:

Email:

Show more details

Version:

Related Keywords:

Source :

计算机系统应用

ISSN: 1003-3254

CN: 11-2854/TP

Year: 2012

Issue: 11

Page: 179-182

Cited Count:

WoS CC Cited Count:

SCOPUS Cited Count:

ESI Highly Cited Papers on the List: 0 Unfold All

WanFang Cited Count: -1

Chinese Cited Count:

30 Days PV: 1

Online/Total:65/10028396
Address:FZU Library(No.2 Xuyuan Road, Fuzhou, Fujian, PRC Post Code:350116) Contact Us:0591-22865326
Copyright:FZU Library Technical Support:Beijing Aegean Software Co., Ltd. 闽ICP备05005463号-1