基于地产大数据的城市更新效果评估方法与系统

摘要

本发明公开了基于地产大数据的城市更新效果评估方法，包括：首先根据对应的构建原则分别构建IP代理池、采集渠道池和流量负载均衡，并通过IP代理池、采集渠道池和流量负载均衡将来自不同渠道的同一对象数据进行清洗、合并、更新和数据采集；以房屋测绘信息为核心基础信息，利用名称法和地址法对采集的数据进行处理并进行数据挖掘，获得城市更新绩效评估模型使用的元数据；构建的以房地产为驱动力的城市更新绩效分析评估模型，利用获得的元数据进行统计分析获得适用于城市更新绩效评估及分析的指标体系并通过数据可视化在移动终端上展现指标数据。本发明从时空上反应城市形态和治理的逐步演进和效果，可为城市的长期可持续性发展提供决策依据。

说明书

技术领域

本发明涉及城市管理技术领域，尤其涉及基于地产大数据的城市更新效果评估方法与系统。

背景技术

中国大规模城镇化进程已经经历近30年的时间，为中国人民带来了所向往的现代化城市生活，随着这种进程的不断演进和人类文明的不断发展，原有的无视自然环境和历史环境的改造开始收到人们的不断反思，当还将持续相当长时间的城镇化不再以原有的速度和规模持续进行的时候，小规模渐进式改造更加符合城市发展需要和社会的发展需要。因此近年来，在我国城镇化进程较早的中心城市，开始从全域的『城市改建』逐步过渡到内城的『城市更新』阶段，但无论如何，这都是以房地产驱动的城市变革形式，而城市更新作为国内城市可持续性发展的重要手段之一，致力于从经济、社会、物质环境等方面对处于变化的城市地区做出更长远的持续性的改善和提高。因此，在这种更加常态化的城市更新状态下，如何依据成效评估和分析工作，改进原有的城市发展模式及观念，优化城市规划理论及实施机制，提升城市管理体制和机制转型，为城市发展做好政策储备、科学施策深入思考，就成为了城市管理者和建设者较长时期内面临的新问题和新挑战。而随着数据科学、人工智能等技术的逐步成熟，数据驱动和智能决策理念也在城市更新评估工作显现需求，城市管理者越来越重视数据资源，希望通过挖掘数据背后的有效信息，让管理和决策更加高效和精确，但受部门职能和专业分工的影响，整个分析评估工作仍然偏向于传统的统计分析工作，在基础数据层面依然以内部信息化系统产生的业务数据为准，虽然较为准确，能够反映事物的真实本质，但在时效性上较差，不能及时反映事物的趋势变化，而且传统分析技术的专业深度和维度不足，分析颗粒度不够，过于粗放和宏观，缺乏洞察力和预见力。

传统评估分析方法和数据采集在以下方面的问题：

1.基于新兴技术的研究分析方法的缺失

为了解决评估分析模型的问题，目前行业中有许多咨询机构和大学院校为城市管理者提供了专业化的咨询服务，从整体上看他们工作更多是传统的咨询服务工作，对于城市更新绩效评估的研究工作更多偏向于定性研究，具有一定的主观性，并且关注焦点更多聚集在对城市传统内部局部片区(以项目和社区为单位)的规划设计、项目定位和策略策划的前期工作上，未能站在社会公共部门的视角对更新工作进行后期的跟踪评估，无法对城市整体(以区域或城市为单位)更新效果进行持续和全面的观察评估。

2.持续而长期的高质量基础数据的缺失

传统咨询分析机构虽然具有科学合理的评估分析模型，但受限于国内的信息披露程度，获取数据的渠道有效，更多通过传统互联网数据采集技术或者人工采集的方式，获取数据，虽然数据在一定程度上满足了分析的及时性需要，但从数据准确性上相较于政务数据，就难以企及。即使政府向咨询机构开发政务数据，但来自不同渠道的数据，由于相互之间的弱关联性，各渠道数据整合困难，更制约了评估分析工作的深度，难以系统性的满足数据挖掘的工作需要。

发明内容

本发明的目的在于克服现有技术的不足，提供基于地产大数据的城市更新效果评估方法与系统，更好的服务于城市管理者和决策者，从时空上反应城市形态和治理的逐步演进和效果，为城市的长期可持续性发展提供决策依据。

本发明的目的是通过以下技术方案来实现的：

基于地产大数据的城市更新效果评估方法，包括以下步骤：

步骤一：构建基于采集渠道优先级管理的数据采集子系统，首先根据对应的构建原则分别构建IP代理池、采集渠道池和流量负载均衡，并通过构建的IP代理池、采集渠道池和流量负载均衡将来自不同渠道的同一对象数据进行清洗、合并、更新，进行数据采集；

步骤二：构建基于房屋测绘信息的元数据管理子系统，以房屋测绘信息为核心基础信息，利用名称法和地址法对采集的数据进行处理并进行数据挖掘，获得城市更新绩效评估模型使用的元数据；

步骤三：构建基于地产大数据的城市更新绩效监测子系统，先构建的以房地产为驱动力的城市更新绩效分析评估模型，利用上一步骤获得的元数据进行统计分析，获得适用于城市更新绩效评估及分析的指标体系并通过数据可视化在移动终端上展现指标数据。

具体的，所述步骤一中IP代理池的构建原则为：对IP-Pool中每个IP进行定期验证，并注销IP；IP-Pool中的IP定时补入增量IP；IP-Pool中的IP使用采取随机规则，不设置既定规则。

具体的，所述步骤一中流量负载均衡的构建步骤包括以下子步骤：

S101，读取不同信息渠道配置信息，获取到每个渠道的小区信息，其中包含小区详情页面URL，将每个小区URL经过处理得到hash值后作为主键和小区URL放入URLPool；

S102，爬虫客户端从Job Pool中获取任务，根据抓取目标的URL_Hash值，向对应节点代理服务器发送请求；

S103，当请求到达代理服务器后，由主控程序根据加权轮询方法为请求分配可用的反向代理Proxy。

具体的，所述步骤二中利用名称法对采集数据进行处理的过程具体包括：首先需要将各渠道小区名称进行清洗，例如转化数字，去除符号等，然后再计算两个小区是否为互相包含的关系，若是相交的关系，则按照Levenshtein Distance算法计算相似度，最后给出最接近目标的名称及分数。

具体的，所述步骤二中利用地址法对采集的数据进行处理过程具体包括：首先通过预定义规则，需要对地址按照城市-区县-街道办-社区-街道门牌号的顺序进行拆分，对于地址缺失的部分，根据从属关系补全地址，将地址清洗后计算目标地址与比较地址的相似度，最后给出最接近目标的地址及分数。

基于地产大数据的城市更新效果评估系统，包括

数据采集子系统，用于通过IP代理池、采集渠道池和流量负载均衡将来自不同渠道的同一对象数据进行清洗、合并、更新，进行数据采集；

元数据管理子系统，用于以房屋测绘信息为核心基础信息，利用名称法和地址法对采集的数据进行处理并进行数据挖掘，获得城市更新绩效评估所需的元数据；

城市更新绩效监测子系统，用于根据获得的元数据进行统计分析，获得适用于城市更新绩效评估及分析的指标体系并通过数据可视化在移动终端上展现指标数据。

本发明的有益效果：

1、数据采集层面，通过新兴的大数据爬虫技术采集技术，改善现有评估分析工作中数据采集手段单一和采集成交较高的弱点，并在以政务数据为核心的基础数据之外，采集更多外延社会信息，改善政府评估分析工作相对依赖政务系统积累数据，评估分析机构相对依赖社会信息的情况，两者有机集合，使得在模型中前者反映本质，后者反映趋势，丰富基础数据集，为模型研究和分析奠定相对丰富的数据基础。

2、数据挖掘层面，通过专门设计的数据挖掘算法，最大程度的解决传统工作中各方渠道数据离散和关系弱耦合的难点，为提升市场分析工作深度带来支撑，并通过持续采集和更新基础数据，辅助城市管理者建立对城市更新绩效评估监测工作的长效机制，以应对系统性分析工作过程中的突出问题和主要风险点的挑战。

3、经济层面，模型从城市管理者视角出发，深度洞察城市更新活动给城市或片区带来的经济和空间边界变化，建立多维动态的城市研究基准，帮助城市管理者审视项目成果，适度把握政策力度，并提升洞察力和预见性，细心观察项目运行的苗头性和倾向性问题，前瞻感知，灵活解决，更好的在发展中平衡经济效益与社会效益，评估产业发展，做好产城融合，为健康可持续的经济发展提供保障。

附图说明

图1是本发明的方法流程图。

图2是本发明的系统架构图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。

本实施例中，如图1和图2所示，基于地产大数据的城市更新效果评估方法，包括以下步骤：

步骤一：构建基于采集渠道优先级管理的数据采集子系统，首先根据对应的构建原则分别构建IP代理池、采集渠道池和流量负载均衡，并通过构建的IP代理池、采集渠道池和流量负载均衡将来自不同渠道的同一对象数据进行清洗、合并、更新，进行数据采集。

步骤二：构建基于房屋测绘信息的元数据管理子系统，以房屋测绘信息为核心基础信息，利用名称法和地址法对采集的数据进行处理并进行数据挖掘，获得城市更新绩效评估模型使用的元数据。

步骤三：构建基于地产大数据的城市更新绩效监测子系统，先构建的以房地产为驱动力的城市更新绩效分析评估模型，利用上一步骤获得的元数据进行统计分析，获得适用于城市更新绩效评估及分析的指标体系并通过数据可视化在移动终端上展现指标数据。

本发明中，构建基于采集渠道优先级管理的数据采集子系统可实现高效的采集数据，其中，IP代理池、采集渠道池和流量负载均衡的构建过程分别如下：

IP代理池，在互联网爬虫时代，绝大部分网站都进行了规定时间内IP访问次数限制的安全策略的设置。当单个IP访问频率达到了目标网站的预警值时，就可能触发目标网站的反爬机制，而封禁访问者IP就是最常使用的简单策略，更进一步的需要通过更高层次的机器人验证策略。因此需要构建持续可用的IP代理池，保证数据采集工作的长期可持续进行。构建原则如下：1)IP-Pool中每个IP都是有生命的，都将经受定期验证，一旦失效，将被注销；2)IP-Pool中的IP会定时补入增量IP，不论来自于付费代理或免费代理；3)IP-Pool中的IP使用采取随机规则，不设置既定规则。

采集渠道池，在互联网大数据时代，针对同一采集对象，往往有不同渠道提供信息，这些信息彼此印证又彼此矛盾，例如同一个小区信息在链家和安居客上均存在的公开信息。因此，为更好的保证信息的有效性和完善性，需要建立采集渠道池，尽可能更多更好的采集所需的信息。采集渠道池的规则：同一信息项，政府采集渠道优先级高于公众互联网信息渠道；公众互联网优先级按照公司规模档次确定优先级。

流量负载均衡。以常规性获取二手房信息作为实例具体描述流量负载均衡步骤。具体包括：

1)读取不同信息渠道配置信息，获取到每个渠道的小区信息，其中包含小区详情页面URL，将每个小区URL经过处理得到hash值后作为主键和小区URL放入URLPool；

2)爬虫客户端从Job Pool中获取任务，根据抓取目标的URL_Hash值，向对应节点代理服务器发送请求；

3)请求到达代理服务器后，由主控程序根据加权轮询方法为请求分配可用的反向代理Proxy。

本发明中，基于房屋测绘信息的元数据管理子系统用于获取元数据，基于地产大数据的城市更新绩效评估模型对数据的广度和深度具有较高的要求。但这些数据依附的信息对象往往分布于各个信息渠道，这为最后评估分析工作的数据整合带来了一定的难度。其次，由于社会化数据并未在一个有效的基础数据规范下，导致数据模型的一致性和统一性不足，数据质量存在问题。因此，构建了符合分析需要的元数据管理子系统对采集数据进行进一步的数据清洗和数据挖掘工作，处理为可供模型使用的元数据。

元数据管理子系统以房屋测绘信息为核心基础信息，政务信息和社会信息为外延。从数据认知事物关系的结构来看，政务信息和社会信息都能够感知事物的本质关系和变化趋势，而核心政务数据呈现出结构化、关联度高、与决策直接相关的特点，与事务本质关系更为接近，在结果反馈上更为真实，但在时效上更为迟滞，难以辅助分析者与决策者及时掌握政策执行反馈结果，而社会信息相较于核心政务信息与事物本质关系更加外围，但能更先一步感受到事物的变化趋势。因此，本子系统主要包含两个核心功能：

1)利用数据挖掘技术整合处理多个渠道的信息。例如，小区信息散落在互联网的各个渠道，且每个渠道的信息项不但数量存在差异，信息值也存在差异，如何将采集的小区信息进行清理归集，是本模型中数据清洗面临的首要问题。从行业特征看，小区是坐落在地图上的物理对象，在房地产登记信息中，往往通过小区的项目名称或者房屋地址坐落来对一个房屋物理对象进行判断。所以，在判断不同渠道的小区是否是同一对象时，可以借鉴相应经验。本模型对小区信息的判断主要借助于特有的名称法和地址法。名称法主要是计算单个小区在不同渠道的登记名称相似度分数。首先需要将各渠道小区名称进行清洗，例如转化数字，去除符号等，然后再计算两个小区是否为互相包含的关系，如果是相交的关系，则按照Levenshtein Distance算法计算相似度，最后给出最接近目标的名称及分数。地址法则是对小区地址进行相似度分数计算，首先通过预定义规则，需要对地址按照『城市-区县-街道办-社区-街道门牌号』的顺序进行拆分，对于地址缺失的部分，程序将根据从属关系补全地址，将地址清洗后程序会计算目标地址与比较地址的相似度，最后给出最接近目标的地址及分数。最后程序会根据既定算法，综合两个方法的分值，通过程序给出清理建议。

本发明中，基于地产大数据的城市更新绩效监测子系统以城市整体或片区为研究对象，建立以城市房地产行业指标为核心，结合其他经济指标、社会福利、城市政策等，希望通过建立更贴合城市实情的城市更新绩效评估方法和监测平台，最终达成以下目标：

1)细化城市房地产行业指标，从定性的角度深入研究城市更新活动对于城市或片区房地产市场的影响因素和变化特征；

2)通过建立评估分析模型，避免城市更新内部相互作用带来的理解偏差，从定量的角度评估城市更新活动对于城市或片区房地产市场的价格、供需关系等因素的影响结果；3)从经济和政策的角度，研究城市更新过程中房地产开发中的强度控制，为后续政策制定和相关决策提供指导性意见。

1.模型及指标体系

一般来说，大部分城市更新绩效分析评估指标集主要涉及到物质环境、生活质量、社会福利、经济前景、城市治理五个方面。而本次构建的以房地产为驱动力的城市更新绩效分析评估模型则在此基础上，结合城市实际情况，基于可持续发展的考量，通过筛选和分析选取了经济、服务、环境、治理四个维度指标，具体内容如下：

2)城市更新绩效监测子系统

监测子系统主要由统计分析模块和数据可视化两大模板构成：1)统计分析模块是监测子系统核心数据挖掘构成，不同于展示历史和现有信息的静态、动态报表及查询等分析方法，更多的是按照可操作、可监测、可评价的原则，从数据库中智能地寻找线索，从海量数据中归纳出有用信息，总结出适用于城市更新绩效评估及分析的指标体系。2)数据可视化模块是监测子系统的数据展现层，提供各种能帮助人们快速理解数据内涵的可视化手段，是数据仓库的门面，包括各种报表工具、查询工具和数据分析工具以表格或图形化的手段对数据的展现，与统计分析子模块共同构成了监控子系统具有层次关系的体系结构。在整个业务过程中，随着数据指标的日积月累，以及数据模型的日益繁复，如何根据在数量空间和维度层次上都呈现出海量的结果数据，快速甄别信息，高效掌握细节就成为了用户面临难题。数据可视化模块，结合业务实际，借助关键指标的组合展示，以及灵活直接的展示方式，为分析者和决策者提供了非常清晰的沟通方式，能够更快聚焦重点，更好跟踪细节，了解问题和预测趋势。与此同时，模块具备的跨载体展示能力，还打破了数据展示的空间限制，分析者可以通过移动端、pc、大屏的等不同载体的数据展示，满足不同业务场景下的数据分析与展示需要。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由所附的权利要求书及其等效物界定。