设计的数据抽取测试方案测试数据模拟抽取,也就是检查数据模拟抽取后数据是否正常。
完成数据同步工具和转换方案的制作后,对数据转换的质量进行测试,针对测试成果对数据抽取工具和转换方案进行修改,直到数据转换的质量符合原样迁移和满足《广州市不动产电子登记簿数据库标准》为止。
在测试阶段,如果发现部分数据无法通过程序或者脚本进行同步的,记录这些数据和这些产生这些数据的原因,并对产生问题的原因进行分析,建立机制,确保在日常同步数据时不会出现遗漏、错误的情况。
(2)抽取准备
数据模拟抽取测试成功后,在正式实施数据抽取前还需要做好以下几个方面工作:进行完全数据备份、确定数据抽取方案、准备抽取工具等。
(3)正式抽取
按照确定的数据抽取方案,正式实施数据抽取。
首次同步:在确定数据同步能够达到原样迁移后,选择非不动产业务登记工作时间段,完成首次数据同步工作,并在此验证数据同步的数量,如果首次同步失败,则需要判断失败的原因,及时更正方法,等待下个登记业务办理的休息日再进行数据同步。
日常同步:完成首次同步工作后,数据同步工具将继续运行,每日定时或者根据各不动产业务档案数据库的变化实时同步数据。
(4)效果分析
按照数据抽取测试方案测试数据抽取效果,并对数据抽取后的数据库参数和性能进行调整,使之满足数据抽取后实际应用系统的需要。
抽取校核
为保证抽取的数据质量,抽取验证采用全库逻辑验证和抽样人工检查两种方式。需对数据逻辑关系检查和业务数据正确性检查方面提供解决方案。
通过编写的脚本进行数据查询,核对数据查询的數据量是否与实际一致,随机抽检数据的主体权利和其他权利是否与实际的数据表单一致,如果发现存在错误则需要重新调整转换方案,直到正确为止。
通过校核的数据,则交换到不动产电子登记簿数据库,同时自动删除中间数据库中的数据;未通过校核的数据,则直接生成问题响应文件,反馈给不动产登记数据抽取工具,同时删除中间库中的数据,不动产登记业务系统根据问题响应文件中的问题提示信息,对数据进行处理后,重新生成登记业务数据汇交抽取到不动产电子登记簿数据库,再次依照上述校验流程进行流转,直到抽取的数据达到《广东省不动产登记数据库标准》和《广州市不动产电子登记簿数据库标准》要求。
5、数据抽取方案
为保证现有系统数据的抽取不受影响,可针对不同的系统制定对应的数据抽取方案。抽取方案主要包含:方案名称、时间、同步内容、创建者、最后执行时间等关键信息。数据抽取平台会定时执行对应的数据抽取方案以达到数据实时的目的。
(一)完整性抽取更新
完整性抽取更新方案的数据抽取时间起点是在各现有系统的数据库中已经按照不动产现状成果库的要求建立了视图,每天晚上定时对各现有系统的数据进行查询,完全覆盖之前的记录。完整性抽取更新方案流程如下图所示:
这种更新的优点是当各现有系统处于闲时才进行数据更新,不会因为数据查询和数据写入的操作而影响登记部门的系统使用效率,缺点是写入数据库中的现状数据实时性最多有一个工作日的时间差。
(二)增量式抽取更新
系统正式上线后会对满足抽取条件的系统数据进行一次全库抽取,对于日常业务办理中产生的变化数据采用每日更新的方式;对于未满足接入条件的系统采用分步接入的方式。增量式抽取更新方案流程如下图所示:
图2 增量式抽取更新方案
为保证数据抽取的实时性,不影响各现有系统的正常运行速度以及在查询、利用本数据的效率,建议使用的数据抽取模式如下描述:
(1)在服务器上建立不动产现状成果数据库;
(2)在各现有系统的数据库中建立数据视图,便于完整性查询和完成首次数据抽取工作;
(3)在各现有系统的数据库中建立触发机制和更新表,可以将现状不动产登记成果数据的增删改情况实时反馈到数据表中,抽取系统实时或者定时将更新表的数据更新至现状数据库中。
经过研究与模拟环境测试表明,若在日常工作中数据入库的方式是单条/笔数据入库的情况下,如原数据写入时间是1秒,在各现有系统的数据库中建立触发机制后,写入数据在1.2秒左右;若在日常工作中数据入库的方式是批量导入,使用触发机制会对原数据库性能产生较大影响,所需要时间约为原来的两倍。
6、结束语
在不动产登记过程中,数据的好坏直接影响到不动产能否按照标准要求进行登记。而土地登记数据和房产登记数据是不动产登记数据的主要内容。这些数据的多源异构性导致不能满足统一利用的需求。本文以广州市不动产登记数据为例,在综合分析目前不动产登记数据现状的基础上,依据不动产电子登记簿数据库标准等要求,探索了一种多源异构不动产登记数据抽取的技术方法和思路,期望能对不动产数据整合的长效机制构建有所借鉴。
参考文献
[1] 国土资源部.不动产登记数据整合建库技术规范(试行).
[2] 王履华, 孙在宏,彭英,丁远.不动产登记信息数据整合及管理基础平台建设研究.地理信息世界, 2014,21(4):76-82.
[3]黄亮,张鹏.不动产统一登记新思路——谈以土地所有权为基础的不动产统一登记体系构建[J].中国土地,2013,32(3):47-48.
[4] 张双根.论房地关系与统一不动产登记簿册 兼及不动产物权实体法与程序法间的交织关系.中外法学,2014,04.