本发明涉及一种基于MapReduce的数据筛选抽取方法及系统。其中，该方法包括：输入筛选抽取信息，判断筛选抽取信息是否合法，在MapReduce框架下，初始化并解析筛选抽取信息，读取待筛选数据中每一行数据记录并进入map处理阶段，根据输入分隔符分隔数据记录，并判断待筛选数据是否包含筛选条件信息，若包含则进行数据筛选并获得对应的数据字段，若不包含则不筛选；判断待筛选数据是否包含抽取字段信息，若包含则对对应数据字段进行抽取并输出至输出路径。本发明通过统一的输入格式接口，高效的实现了用户数据筛选需求，针对各种复杂多样的数据筛选需求，避免开发人员频繁的编写不同的筛选抽取程序，提高数据处理任务效率，节省开发成本。

一种基于MapReduce的数据筛选抽取方法，其特征在于，包括以下步骤：筛选抽取信息输入步骤，输入筛选抽取信息，所述筛选抽取信息包括：数据的输入路径、筛选需求信息、数据的输出路径，所述筛选需求信息包括输入分隔符、筛选条件信息、抽取字段信息和输出分隔符；合法性判断步骤，判断所述筛选需求信息是否为空，若不为空，则判断所述筛选需求信息是否为json格式，若为json格式，则判断所述筛选需求信息是否符合预设规范，若符合，则继续判断所述输入路径是否存在，若存在，则判断所述输出路径是否不存在，若不存在则说明所述筛选抽取信息是合法的；数据筛选步骤，在MapReduce框架下，初始化并解析所述筛选抽取信息，读取待筛选数据中每一行数据记录并进入map处理阶段，根据所述输入分隔符分隔所述数据记录，并判断所述待筛选数据是否包含所述筛选条件信息，若包含则进行数据筛选并获得对应的数据字段，若不包含则不筛选；数据抽取步骤，判断所述待筛选数据是否包含所述抽取字段信息，若包含则对对应所述数据字段进行抽取并输出至所述输出路径。

申请号：CN202110563545.3
申请（专利权）人：北京明略软件系统有限公司
公开日期（公开）：2021.08.03
公开日期（授权）：2024.01.12