基于Spark的农业知识智能问答系统

摘要

农业科技信息资源在启动农业信息化建设以后;得到了更大丰富。利用现有的信息资源为农民用户提供准确及时有效的服务;对发挥资源实效具有重要的意义。国内外也因此涌现出了很多农业相关网站;如农搜网和神州蔬菜网等百余家网站。但传统的农业知识咨询平台主要方式是农民用户网上提问;专家进行解答。因此;一般都存在以下问题：第一;线上农业科技资源分散;缺少整合与共享;第二;不利于农民和专家的实时交互;时效性很差;专家需要对问题进行不断地重复回答;浪费专家时间;第三;线上资源的展示没有考虑到农民时间的碎片化特点;导致资源利用率不高;发挥作用不够。第四;随着大数据时代的带来;信息爆炸、信息过载等问题;给传统农业知识咨询平台带来负荷和压力。针对以上问题;本文开展了以下研究： 第一;针对现有农业知识咨询平台的不足;分析与设计了一种基于Spark的农业知识智能问答系统。该系统面向三种用户：农民、农业专家和系统管理员;实现三种应用模式：电脑端 B/S 模式、移动端 Web 模式和微信公众号模式。整个平台由前台和后台两部分组成。前台主要功能实现智能问答;专家坐堂;后台主要功能包含：数据统计与分析、资源共享与重用。 第二;介绍了该农业知识智能问答系统的原理。系统通过对历史资源的整合;将专家回复问题整理;能把海量的互联网信息转化为知识;再经过一系列算法建立分类模型;模型能够很好理解用户的问题;并返回答案;实现系统的精准化、专业化、智能化自动问答。 第三;在以上研究的基础上;开发出基于大数据计算环境的吉农在线--农业知识智能问答系统。平台采用 Spark 大数据架构和 Hive 数据仓库以及Hadoop分布式处理框架;实现了数据的快速性访问和资源的智能化管理。

目录

第一个书签之前