我有一个包含商品类别和商品名称的 2 列 csv 文档。
前任:
Sl.No. Commodity Category Commodity Name
1 Stationary Pencil
2 Stationary Pen
3 Stationary Marker
4 Office Utensils Chair
5 Office Utensils Drawer
6 Hardware Monitor
7 Hardware CPU
我还有另一个 csv 文件，其中包含各种商品名称。
前任:
Sl.No. Commodity Name
1 Pancil
2 Pencil-HB 02
3 Pencil-Apsara
4 Pancil-Nataraj
5 Pen-Parker
6 Pen-Reynolds
7 Monitor-X001RL
我想要的输出是对商品名称进行标准化和分类，并将它们分类为各自的商品类别，如下所示:
Sl.No. Commodity Name Commodity Category
1 Pencil Stationary
2 Pencil Stationary
3 Pencil Stationary
4 Pancil Stationary
5 Pen Stationary
6 Pen Stationary
7 Monitor Hardware
步骤 1)我首先必须使用 NLTK(文本挖掘方法)并清理数据，以便将 "Pencil"与 "Pencil-HB 02"分开。
步骤 2) 清洁后，我必须使用近似字符串匹配技术，即 agrep() 来匹配模式“Pencil *”或将“Pancil”更正为“Pencil”。
步骤 3)一旦纠正了模式，我就必须进行分类。不知道怎么做。
这是我想过的。我从第 2 步开始，但我只停留在第 2 步。
我没有找到对此进行编码的确切方法。
有没有办法根据需要获得输出？
如果是，请建议我可以继续使用的方法。
最佳答案
您可以使用 stringdist 包。下面的 correct 函数将根据项目到不同 Commodity.Name 的距离更正 file2 中的 CName 。
然后使用 left_join 连接两个表。
我还注意到，如果我使用 stringdistmatrix 的默认选项，会有一些分类。您可以尝试更改 weight 的 stringdistmatrix 参数以获得更好的校正结果。
> library(dplyr)
> library(stringdist)
>
> file1 <- read.csv("/Users/Randy/Desktop/file1.csv")
> file2 <- read.csv("/Users/Randy/Desktop/file2.csv")
>
> head(file1)
Sl.No. Commodity.Category Commodity.Name
1 1 Stationary Pencil
2 2 Stationary Pen
3 3 Stationary Marker
4 4 Office Utensils Chair
5 5 Office Utensils Drawer
6 6 Hardware Monitor
> head(file2)
Sl.No. Commodity.Name
1 1 Pancil
2 2 Pencil-HB 02
3 3 Pencil-Apsara
4 4 Pancil-Nataraj
5 5 Pen-Parker
6 6 Pen-Reynolds
>
> CName <- levels(file1$Commodity.Name)
> correct <- function(x){
+ factor(sapply(x, function(z) CName[which.min(stringdistmatrix(z, CName, weight=c(1,0.1,1,1)))]), CName)
+ }
>
> correctedfile2 <- file2 %>%
+ transmute(Commodity.Name.Old = Commodity.Name, Commodity.Name = correct(Commodity.Name))
>
> correctedfile2 %>%
+ inner_join(file1[,-1], by="Commodity.Name")
Commodity.Name.Old Commodity.Name Commodity.Category
1 Pancil Pencil Stationary
2 Pencil-HB 02 Pencil Stationary
3 Pencil-Apsara Pencil Stationary
4 Pancil-Nataraj Pencil Stationary
5 Pen-Parker Pen Stationary
6 Pen-Reynolds Pen Stationary
7 Monitor-X001RL Monitor Hardware
如果您需要“其他”类别，您只需要使用权重。
我在文件 2 中添加了一行“柴油”。然后使用具有自定义权重的
stringdist 计算分数(您应该尝试改变值)。如果分数大于 2(该值与权重的分配方式有关)，则不会纠正任何内容。PS:因为我们不知道所有可能的标签，所以我们必须做
as.character 来对流 factor 到 character 。PS2:我还使用
tolower 进行不区分大小写的评分。> head(file2)
Sl.No. Commodity.Name
1 1 Diesel
2 2 Pancil
3 3 Pencil-HB 02
4 4 Pencil-Apsara
5 5 Pancil-Nataraj
6 6 Pen-Parker
>
> CName <- levels(file1$Commodity.Name)
> CName.lower <- tolower(CName)
> correct_1 <- function(x){
+ scores = stringdistmatrix(tolower(x), CName.lower, weight=c(1,0.001,1,0.5))
+ if (min(scores)>2) {
+ return(x)
+ } else {
+ return(as.character(CName[which.min(scores)]))
+ }
+ }
> correct <- function(x) {
+ sapply(as.character(x), correct_1)
+ }
>
> correctedfile2 <- file2 %>%
+ transmute(Commodity.Name.Old = Commodity.Name, Commodity.Name = correct(Commodity.Name))
>
> file1$Commodity.Name = as.character(file1$Commodity.Name)
> correctedfile2 %>%
+ left_join(file1[,-1], by="Commodity.Name")
Commodity.Name.Old Commodity.Name Commodity.Category
1 Diesel Diesel <NA>
2 Pancil Pencil Stationary
3 Pencil-HB 02 Pencil Stationary
4 Pencil-Apsara Pencil Stationary
5 Pancil-Nataraj Pencil Stationary
6 Pen-Parker Pen Stationary
7 Pen-Reynolds Pen Stationary
8 Monitor-X001RL Monitor Hardware
关于r - 哪个 R 函数用于文本自动更正？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/29814263/