衷心感谢您对解决以下问题的最佳方法的想法。我使用的是汽车分类 list 示例,该示例本质上类似,可以给出一个想法。

问题:从给定的文本中提取数据元组。

这是数据的一些特征。

  • 文本中的词汇(单词)仅限于特定领域。最多假设100-200个字。
  • 需要解析的文本是一个标题,例如如下所示的Car Ad数据。因此,每个记录对应一个元组(行)。
  • 在某些情况下,某些属性可能会丢失。因此,例如,缺少年份下的原始数据行#5。
  • 有些单词并存(字母组合图)。就像“低英里”。
  • 历史数据可用= 10,000条记录
  • 传入的新数据量= 1000-1500条记录/周

  • 预期的输出应为(Year,Make,Model,feature)的形式。所以输出应该看起来像

    1->(2009年,福特,Fusion,SE)
    2->(1997年,福特,金牛座,旅行车)
    3->(2000,三菱,Mirage,DE)
    4->(2007年,福特,Expedition,EL Limited)
    5->(,本田,雅阁,EX)
    ....
    ....

    原始标题数据:

    1-> 2009年福特Fusion SE-7000美元
    2-> 1997年福特金牛座旅行车-800美元(东圣何塞)
    3-> '00三菱幻影DE-$ 2499(saratoga)图片
    4-> 2007 Ford Expedition EL Limited-$ 7800(x)
    5->本田雅阁低里程-$ 2800(都柏林/普林斯顿/利莫莫)图片
    6-> 2004 HONDA ODASSEY LX 68K MILES-$ 10800(danville/san ramon)
    7-> 93 LINCOLN MARK-$ 2000(Oakland East)图片
    8-> ####### 2006雷克萨斯GS 430 BLACK ON BLACK 114KMI #######-$ 19700(San Rafael)图片
    9-> 2004 Audi A4 1.8T FWD-$ 8900(萨加门多)图片
    10-> ####### 2003 GMC C2500 HD EX-CAB 6.0 V8 EFI WHITE 4X4 #######-$ 10575(San Rafael)图片
    11-> 1990年,丰田花冠取得了不错的成绩!节省气体! 5速清洁! REG 2011 O.B.O-$ 1600(Hayward/Castro Valley)图片img
    12-> HONDA ACCORD EX 2000-$ 4900(都柏林/普莱森/利物浦)图片
    13-> 2009 Chevy Silverado LT乘员舱-$ 23900(都柏林/普莱森顿/利莫莫)图片
    14-> 2010年ura歌TSX-V6-TECH-$ 29900(都柏林/普莱森顿/利物浦)图片
    15-> 2003 Nissan Altima-$ 1830(SF)pic

    可能的选择:
  • 机器学习文本分类器(朴素贝叶斯等)
  • 正则表达式

  • 我要弄清楚的是,RegEx是否太复杂了,而文本分类器却是一个过大的杀伤力?

    如果选择使用文本分类器,那么您会认为最容易实现的分类是什么。

    在此先感谢您的帮助。

    最佳答案

    这是一个经过深入研究的问题,称为information extraction。做您想做的事情不是直截了当的,它并不像您说的那么简单(即,机器学习并不是一个过大的技巧)。有几种技术,您应该阅读研究领域的概述。

    09-27 08:59