设为首页|加入收藏|登陆邮箱欢迎来到国家新闻出版广电总局广播电视规划院
【63】 基于Hadoop的海量电视剧资料系统的设计

阅读次数: 730 次    信息来源: 信息研究所

作者:吴波    国家新闻出版广电总局监测数据处理中心

摘要:近年来,我国的电视剧产业得到了快速的发展,迫切需要建立电子化的电视剧资料库,统一存储、管理电视剧视频文件。本文在对电视剧视频文件的存储进行需求分析的基础上,提出了基于Hadoop开源框架、支持海量云存储的电视剧资料系统设计方案。该开源方案可将电视剧视频的存储、视频格式的转换任务部署在大规模的廉价计算机集群上,并保证系统有较好的访问速度和可靠性。

关键词:电视剧,云计算,Hadoop

 

0 引言

    我国是世界上电视剧生产量、播出量最大的国家。2011年度,全国生产完成并获得《国产电视剧发行许可证》的剧目共计469部,14942集[1]。电视剧产业的不断发展,对电视剧的管理部门提出了更高的要求。然而,当前电视剧尚没有统一的国家级电子化资料库,电视剧采用DVD盘保存,人工管理的方式,能够保存的电视剧视频数目有限。随着电视剧数量的不断增加,电视剧资料管理的运营成本在不断的上升,迫切需要建立电子化的电视剧资料库,对电视剧视频进行统一的存储管理。

    传统的电子化的存储多采用存储区域网(SAN)以及网络附加存储(NAS)的方式[2]。然而基于SAN和NAS存储方案扩展能力有限,面向企业级的SAN和NAS的设备价格非常昂贵。目前得到广泛研究的云计算技术,可以有效的解决电视剧海量存储的问题。云计算通过分布式计算、分布式文件系统等技术,将网络大量不同类型的存储设备集合起来,对外提供数据存储和业务访问的功能[3]。云计算可提供更加弹性、更加安全的存储,以及更低的成本[3]。当前国内外许多机构开展了关于云计算技术的研究,其中最为著名的是由Apache开发,基于Google文件系统设计思想的Hadoop开源框架[4]。Hadoop可部署在大规模的廉价计算机集群上,并支持TB、PB级的海量数据的存储。目前Hadoop已经广泛运用于Yahoo!(25PB)[4]、Facebook(30PB)[5]等网站的分布式存储系统中。

    本文在对电视剧视频存储需求分析的基础上,构建基于Hadoop框架的电视剧资料系统。该系统利用Hadoop框架的分布式文件系统HDFS和分布式计算MapReduce技术,实现在廉价计算机集群上,对海量电视剧资料的高性能的存储管理。

 

1 需求分析
1.1 功能需求

    电视剧资料库用于存储电视剧视频,并允许授权用户点播、下载电视剧,系统的主要功能如图1所示。

    1.电视剧上传与格式转换:当前送审的电视剧原始视频多以DVD光盘、蓝光光碟作为存储载体,为减少存储空间,用户可对上传的文件进行格式转换,保存为支持高清的文件格式。用户可以选择将重要的电视剧转为高码率的视频文件,非重要电视剧转为低码率的视频文件。由于H.264视频编码有高压缩比、高图像质量、良好的网络适应性能[6],因此视频文件可采用H.264编码。

(全文详见《广播与电视技术》2014年·第41卷·增刊2。)

 

 

发表评论 欢迎读者发表评论,请将字数限定在200字以内
姓名: 单位: 行业或职位:

还没有评论
意见反馈 法律声明 网站地图 设计支持
Copyright@ 国家新闻出版广电总局广播电视规划院010-86091273北京市西城区复兴门外大街2号