趣味科技导航网
世界科学和科技前沿资讯,报道趣味科技导航新闻,探索未知的自然科学之秘,揭秘中国神秘神奇事件真相,普及最新的科普知识!
文章98463324浏览8338728本站已运行896

数据地震!地震大数据存储管理

本论文可用于数据地震论文范文写作参考研究。

云南彝良地震遇难人数最新数据仍为80人 视频 : coc地震法术数据 1、★曝世界各国都不敢公开的月球秘密2、★维基解密曝出南极发现外星人惊天秘闻3、★地球十大秘闻:大西洋中竟存在黑洞4、★南极洲惊现UFO 海底竟藏有外星人基地

刘 坚 李盛乐 陈晓琳 康 凯 刘珠妹

(中国地震局地震研究所地震大地测量重点实验室,武汉 430071)

针对目前传统关系数据库在存储大数据时遇到的诸多挑战,提出了一种基于Hbase的地震大数据存储管理方法.Hbase表是一个分布式多维表,表中的数据通过一个行关键字(Row Key)、一个列族和一个列名(Columnfamily:column name)以及一个时间戳进行索引和查询定位.关键在设计好Row Key,以方便数据查询并进行数据分析.下面以地震观测数据为实例,讲述在Hbase的存储原理和方法.

日本大地震—最新数据 视频时长:00:21 日本大地震—最新数据 播放:29234次 评论:11522人

假设地震业务数据库中有一Obs 观测数据表,如果按照传统的RDBMS 的话,Obs 表中的列是不能随意改变的,比如schema 定义了Netid,Stationid,pointid、Intrid、Itemid、value 等属性,Obs 表的属性是不能动态增加的.如果是Hbase 列式存储数据库,在创建Obs 表时,再为它定义一个info 列族,Obs 的数据便可以表示为:info:value等于23.4,如果欲增加新的字段属性,只需要通过添加一个info:newProperty 就可以了.

表1 是关系数据库定义的Obs 表,一旦设计完投入运行,该表的列是固定的,不能动态改变,并且列值为null 值时,因占存储空间而浪费了这部分空间.表2 是在Hbase 的NoSQL 数据库,Obs 表的列可通过列族动态增加,并且空值列是不存储的,这样就节约了存储空间,因此Hbase 的基于列存储的数据模型就非常适合地震数据频繁扩展的场景.另外,选用Hbase 数据库存储管理数据,还有另外一个好处就是能自动切分数据,当Obs 表中的数据超过某一个阀值时,Hbase 就会自动切分数据,这样就使查询具有了伸缩性,再加上Hbase 的弱事务性的特性,因此Hbase 的数据写入效率非常高.

地震数据共享中心:[纪录片]7级地震 是什么决定了生死 ~尘封的数据 21年后的真相~

将两者针对结构化观测数据的存储进行效能测试,在关键代码行处添加秒表,记录执行命令时间.数据量(条)分别为50,100,1 000,10 000,100 000.每次插入保存完毕把所耗时长(单位:ms)写入日志文件.连续多次测试,取平均值.当写入记录条数小于1 000时,可以看出两者所耗时间差别并不明显;但随插入记录条数持续增加,Mysql 的插入耗时开始剧增,而Hbase耗时变化幅度相对较小,其存储性能优势也就显现出来了.

分别对Hbase-0.94.6 和Mysql-5.1.48 做10,50,100,200,500,1 000 次文件写入试验,文件大小约为30 KB/个,两者的二进制文件存储耗时(单位:ms)性能对比结果显示,当插入文件数量越来越多时,Hbase 的性能优势显而易见.

分别对Hbase-0.94.6 和Mysql-5.1.48 做数据量为1 000、2000、10 000、100 000、500 000 二者查询性能测试,结果显示,Hbase 耗时(单位:ms)很少,且幅度变化不大,而Mysql 查询耗时随数据量增长幅度上升变化快.

综上所述,该种基于Hbase的地震大数据存储方法,并与传统关系数据库Mysql在写入与读取效率作比对测试,结果表明,该方法在数据存储与查询等性能,特别是在数据量多时,具有显著优势.

更多数据地震论文范文

1、绝密档案:各国不敢公开的月球秘密

2、太阳将于2030年“休眠” 地球末日来临?

3、耶稣受难日出现诡异现象 圣经竟记载危机预言

4、美国总统终于承认51区的确藏有外星人

5、天外遨游的观察者

6、科学网

coc地震法术数据论文总结:

关于对写作数据地震论文范文与课题研究的大学硕士、相关本科毕业论文数据地震论文开题报告范文和相关文献综述及职称论文参考文献资料下载有帮助。

数据地震论文视频

视频时长:02:33 日本地震现场8.9级 地震 伤亡数据 建筑物倒塌 视频时长:01:57 关注日本大地震·专家解读核辐射:我国空气监测数据每日更新 视频时长:00:47 四川雅安7·0级地震 四川省教育厅长已赶赴灾区 受灾数据还在统计 中国教育报道0420 视频时长:00:35 日本大地震—20110318数据 视频时长:00:24 最新消息:国家地震台网统计余震最新数据 视频时长:01:54 日本大地震·关注核安全:环保部首次发布核辐射监测数据 视频时长:01:54 日本大地震特别报道:24小时实时监测数据未见异常 视频时长:00:34 聚焦日本大地震:核辐射检测数据未出现异常 视频时长:03:06 关注日本大地震·专家解读核辐射:我国空气监测数据每日更新 视频时长:00:42 《唐山大地震》首日票房惹争议 数据被改2次 视频时长:02:48 关注日本大地震:政府公布最新水检测数据 视频时长:03:42 亲爱的宝贝,如果你能活着,一定要记住我爱你(汶川大地震)www.51huifu.com易安数据恢复 服务器数据恢复( 视频时长:00:09 新京报:“地震数据差异与监测硬件有关” 视频时长:01:40 (片花) 救命大數據 - 日本 311 地震後的 Big Data 反思 视频时长:02:51 [四川地震]最新伤亡数据及其他最新消息[080520] 视频时长:02:50 投资理财-尼泊尔内政部数据:当天地震造成36人死亡1117人受伤 视频时长:00:51 雅安地震评估:上千亿经济损失数据引争议
去除边栏