我的目标是创建一个以字符串为键的哈希表,并将条目值作为字符串的HashSet。
输出值
这是现在的输出:
Hudson+(surname)=[Q2720681], Hudson,+Quebec=[Q141445], Hudson+(given+name)=[Q5928530], Hudson,+Colorado=[Q2272323], Hudson,+Illinois=[Q2672022], Hudson,+Indiana=[Q2710584], Hudson,+Ontario=[Q5928505], Hudson,+Buenos+Aires+Province=[Q10298710], Hudson,+Florida=[Q768903]]
根据我的想法,它应该看起来像这样:
[Hudson+(surname)=[Q2720681,Q141445,Q5928530,Q2272323,Q2672022]]
目的是将特定名称存储在Wikidata中,然后将所有与该名称相关的Q值消除歧义,因此,例如:
This是“布什”的页面。
我希望布什成为关键,然后针对所有不同的出发点,将
Bush
与Wikidata的终端页面相关联的所有不同方式,我想存储相应的“ Q值”,或者唯一的字母数字标识符。我实际上是在尝试从Wikipedia歧义词中抓取不同的名称,值,然后在Wikidata中查找与该值关联的唯一字母数字标识符。
例如,使用
Bush
,我们有:George H. W. Bush
George W. Bush
Jeb Bush
Bush family
Bush (surname)
因此,Q值为:
George H. W. Bush(Q23505)
George W. Bush(Q207)
Jeb Bush(Q221997)
Bush family(Q2743830)
Bush(Q1484464)
我的想法是数据结构应按以下方式解释
密钥:
Bush
条目集:
Q23505, Q207, Q221997, Q2743830, Q1484464
但是我现在拥有的代码无法做到这一点。
它为每个名称和Q值创建一个单独的条目。即
密钥:
Jeb Bush
条目集:
Q221997
密钥:
George W. Bush
条目集:
Q207
等等。
可以在my github page上查看完整的代码,但下面也将对其进行总结。
这就是我用来向数据结构中添加值的内容:
// add Q values to their arrayList in the hash map at the index of the appropriate entity
public static HashSet<String> put_to_hash(String key, String value)
{
if (!q_valMap.containsKey(key))
{
return q_valMap.put(key, new HashSet<String>() );
}
HashSet<String> list = q_valMap.get(key);
list.add(value);
return q_valMap.put(key, list);
}
这是我获取内容的方式:
while ((line_by_line = wiki_data_pagecontent.readLine()) != null)
{
// if we can determine it's a disambig page we need to send it off to get all
// the possible senses in which it can be used.
Pattern disambig_pattern = Pattern.compile("<div class=\"wikibase-entitytermsview-heading-description \">Wikipedia disambiguation page</div>");
Matcher disambig_indicator = disambig_pattern.matcher(line_by_line);
if (disambig_indicator.matches())
{
//off to get the different usages
Wikipedia_Disambig_Fetcher.all_possibilities( variable_entity );
}
else
{
//get the Q value off the page by matching
Pattern q_page_pattern = Pattern.compile("<!-- wikibase-toolbar --><span class=\"wikibase-toolbar-container\"><span class=\"wikibase-toolbar-item " +
"wikibase-toolbar \">\\[<span class=\"wikibase-toolbar-item wikibase-toolbar-button wikibase-toolbar-button-edit\"><a " +
"href=\"/wiki/Special:SetSiteLink/(.*?)\">edit</a></span>\\]</span></span>");
Matcher match_Q_component = q_page_pattern.matcher(line_by_line);
if ( match_Q_component.matches() )
{
String Q = match_Q_component.group(1);
// 'Q' should be appended to an array, since each entity can hold multiple
// Q values on that basis of disambig
put_to_hash( variable_entity, Q );
}
}
}
这就是我处理歧义消除页面的方式:
public static void all_possibilities( String variable_entity ) throws Exception
{
System.out.println("this is a disambig page");
//if it's a disambig page we know we can go right to the wikipedia
//get it's normal wiki disambig page
Document docx = Jsoup.connect( "https://en.wikipedia.org/wiki/" + variable_entity ).get();
//this can handle the less structured ones.
Elements linx = docx.select( "p:contains(" + variable_entity + ") ~ ul a:eq(0)" );
for (Element linq : linx)
{
System.out.println(linq.text());
String linq_nospace = linq.text().replace(' ', '+');
Wikidata_Q_Reader.getQ( linq_nospace );
}
}
我当时在想也许可以传递
Key
值,但我真的不知道。我有点卡住。也许有人可以看到我如何实现此功能。 最佳答案
我不清楚您的问题是什么不起作用,或者您是否看到实际错误。但是,虽然您的基本数据结构构想(从HashMap
到String
的Set<String>
)是正确的,但“添加”功能中存在一个错误。
public static HashSet<String> put_to_hash(String key, String value)
{
if (!q_valMap.containsKey(key))
{
return q_valMap.put(key, new HashSet<String>() );
}
HashSet<String> list = q_valMap.get(key);
list.add(value);
return q_valMap.put(key, list);
}
在第一次看到某个键(
if (!q_valMap.containsKey(key))
)的情况下,它将为该键激活一个新的HashSet
,但是在返回之前不会在其上添加value
。 (返回的值是该键的旧值,因此它将为null。)因此,您将失去每个术语的Q值之一。对于这样的多层数据结构,我通常只对中间结构的活体进行特殊处理,然后在单个代码路径中进行添加和返回。我认为这可以解决。 (我也将其称为
valSet
,因为它是一个集合而不是列表。并且不需要每次都将集合重新添加到地图上;它是一种引用类型,在您第一次遇到该集合时会被添加键。)public static HashSet<String> put_to_hash(String key, String value)
{
if (!q_valMap.containsKey(key)) {
q_valMap.put(key, new HashSet<String>());
}
HashSet<String> valSet = q_valMap.get(key);
valSet.add(value);
return valSet;
}
还请注意,返回的
Set
是对该键的实时Set
的引用,因此您需要谨慎地在调用方中对其进行修改,并且如果要执行多线程操作,则将具有并发访问权限问题。或者只是使用Guava
Multimap
,所以您不必担心自己编写实现。关于java - 用对应于HashSet的固定键创建一个HashMap。出发点,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/29814038/