FPGrowth

在挖掘关联规则的过程中，无可避免要处理海量的数据，也就是事务数据库如此之大，如果采用Apriori算法来挖掘，每次生成频繁k-项集的时候，可能都需要扫描事务数据库一遍，这是非常耗时的操作。那么，可以想尽办法来减少扫描事务数据库的次数，来改进挖掘频繁关联规则的效率。



FP-tree是频繁模式树，它是将整个事务数据库压缩到一棵频繁模式树上。而且，在构造整个事务数据库的的FP-tree的过程中，只需要扫描一次事务数据库就能生成。比AproriGen算法生成候选频繁项集要节省很多时间。



关联规则挖掘FP-growth算法，是通过遍历上面构造的整个事务数据库的频繁模式树来生成频繁项集。FP-growth算法基本思想描述如下：



第一步：构造整个事务数据库的FP-tree



关于FP-tree的构造可以参考前面的文章 FP- tree的数据结构及其构造 。这里假设已经能够构造出FP-tree，接着就是在整个事务数据库对应的FP-tree的基础上挖掘频繁项集。在下面的步骤中，需要对FP-tree的结构及其内容熟悉。



第二步：挖掘条件模式基



在构造的整个事务数据库的频繁模式树上进行条件模式基的挖掘。



条件模式基，就是选定一个基于支持计数降序排序的频繁1-项集项目，假设为Item，也就是FP-tree的头表中的频繁1-项集项目（已经知道，头表中频繁1-项集项目是按照降序排列的），此时，称该频繁1-项集项目Item为后缀。



纵向沿着头表向上，也就是按照头表中频繁1-项集支持计数的升序方向，优先遍历头表；在遍历头表的过程中同时横向遍历每个频繁1-项集对应的链表域。



通过横向遍历该频繁1-项集项目Item对应的链表域——每个链表中的FPTNode结点都具有一个直接父亲结点的nodeParent指针，纵向向上遍历直到根结点停止，就得到了一个序列（不包含Item对应的横向链表中的结点），这个序列就是条件模式基。



在遍历的过程中，每个条件模式序列中每个FPTNode结点肯定出现一次；以Item频繁1-项集项目横向遍历得到的序列，都是以Item为后缀的。



最后，整棵FP-tree遍历完毕，得到全部的条件模式基。



第三步：根据条件模式基建立局部FP-tree



对上面得到的条件模式基，对每个头表中的频繁1-项集对应的条件模式，作为数据输入源来构造局部FP-tree，也就是条件模式基的FP- tree。因为每个条件模式基的数据量与整个事务数据库相比，显得非常小，建树不会消耗太多时间；而全部的条件模式基就相当于整个事务数据库，所以大约需要扫描两次事务数据库。



建立条件模式基的局部FP-tree，分为单个分支和多个分支两种情况，大体过程是这样的：



（1）对于单个分支：



扫描每个条件模式基，统计在每个单个分支中FPTNode结点中1-项集的支持计数，如果一个头表中的项目Item对应的条件模式基扫描完成，最终的计数不能满足最小支持计数，需要将该结点删除掉，因为它与其他结点组合以后，每个含有该结点的项集一定不满足最小支持计数。



根据上面得到的满足最小支持计数的序列来构造局部FP-tree，因为得到的FPtree是单个分支的，遍历该FP-tree能够得到一个Item 的全部满足最小支持计数的序列，从而将该序列中的全部项目进行组合计算，得到全部组合序列，对于每个序列都将当前头表中Item加入到其中，就得到了包含 Item的全部频繁项集。



（2）对于多个分支：



如果存在分支的，需要递归挖掘频繁项集。因为对于多个分支，递归到出口一定是对应着单个分支的，可以类似上一种情况，处理单个分支，得到频繁项集。



第四步：挖掘频繁关联规则



在上面的步骤中，已经得到了全部的频繁项集，这时挖掘频繁关联规则与Apriori算法的频繁关联规则挖掘的步骤相同。



通过上面的步骤，就完成了频繁关联规则的挖掘。我认为，该算法的思想还是非常清晰的。在基于FP-tree的关联规则挖掘FP-growth算法中，构造整个事务数据库的FP-tree是一个难点，需要保证在构造的过程中不丢失数据结点；另一个难点就是在处理得到的条件模式基的时候，对于具有多个分支的情况，采用递归的思想挖掘，保证不漏掉任何频繁项集。

/**

* FPGrowth算法的主要思想：

* 1. 构造频繁1项集：遍历初始数据集构造频繁1项集，并作为项头表，建立将指向fpTree节点对应元素的引用

* 2. 构造FPTree：再次遍历初始数据集，对于每一条事务中的元素，根据频繁1项集中元素的顺序排序，

* 由此建立FPTree，记录每条事务的节点在同一条路径上出再的节点次数;

* 3. 逆序遍历在步骤1中构造的项头表，根据其提供的引用指针，找出fpTree中由该节点到根节点的路径，

* 即生成每个频繁元素的条件模式基

* 4.　根据每个频繁元素对应的条件模式基，生成其对应的条件fpTree，并删除树中节点记数不满足给定的最小支持度的节点

* 5.　对于每一颗条件fpTree，生成所有的从根节点到叶子节点的路径，由路径中的集合生成其所有非空子集

* 所有这些非空子集和每一个频繁1项集中的元素共同构成了原始数据集中的频繁集

*

*/

1. package com.ustc.fpGrowth;
2. import java.util.ArrayList;
3. import java.util.List;
4. public class Item implements Comparable {
5. private String value;
6. private Item preItem; // 前继节点Item
7. private List<Item> nextItem = new ArrayList<Item>(); // 后续节点Item
8. private Item sibling; // 关联节点
9. private int counter;
10. public Item() {
11. }
12. public Item(String value) {
13. this.value = value;
14. }
15. public void addCounter() {
16. this.counter += 1;
17. }
18. public Item getSibling() {
19. return sibling;
20. }
21. public void setSibling(Item sibling) {
22. this.sibling = sibling;
23. }
24. public void addNextItem(Item item) {
25. this.nextItem.add(item);
26. }
27. public List<Item> getNextItem() {
28. return this.nextItem;
29. }
30. public String getValue() {
31. return value;
32. }
33. public void setValue(String value) {
34. this.value = value;
35. }
36. public Item getPreItem() {
37. return preItem;
38. }
39. public void setPreItem(Item preItem) {
40. this.preItem = preItem;
41. }
42. public int getCounter() {
43. return counter;
44. }
45. public void setCounter(int counter) {
46. this.counter = counter;
47. }
48. public int compareTo(Object o) {
49. int value;
50. Item i = (Item) o;
51. if (this.counter > i.counter) {
52. value = -1;
53. } else if (this.counter == i.counter) {
54. value = 0;
55. } else {
56. value = 1;
57. }
58. return value;
59. }
60. }

1. package com.ustc.fpGrowth;
2. import java.io.BufferedReader;
3. import java.io.File;
4. import java.io.FileNotFoundException;
5. import java.io.FileReader;
6. import java.io.IOException;
7. import java.util.ArrayList;
8. import java.util.Arrays;
9. import java.util.HashMap;
10. import java.util.List;
11. import java.util.Map;
12. import java.util.Set;
13. public class FPGrowth {
14. private int minSup;
15. /**
16. * @param args
17. */
18. public static void main(String[] args) {
19. FPGrowth fpg = new FPGrowth();
20. fpg.setMinSup(1000);
21. List<String> data = fpg.buildData("retail.dat");
22. Item[] f1Items = fpg.buildF1Items(data);
23. Map<String, List<String>> condBase;
24. //Item fpTree = fpg.buildFPTree(data, f1Items);
25. fpg.buildFPTree(data, f1Items);
26. // fpg.fpGrowth();
27. /*
28. fpg.printFPTree(fpTree);
29. fpg.printF1Items(f1Items);*/
30. condBase = fpg.buildCondBase(f1Items);
31. //  fpg.printCondBase(condBase);
32. Map<String, Item> condFPTree = fpg.buildCondFPTree(condBase);
33. //  fpg.printCondFPTree(condFPTree);
34. //输出频繁子集
35. Map<String, List<List<String>>> fpSetMap = fpg.fpGrowth(condFPTree);
36. fpg.printFPSet(fpSetMap);
37. }
38. /**
39. * 输出频繁集
40. */
41. public void printFPSet(Map<String, List<List<String>>> fpSetMap){
42. List<List<String>> fpSet;
43. Set<String> items = fpSetMap.keySet();
44. for(String item : items){
45. System.out.println(item);
46. fpSet = fpSetMap.get(item);
47. for (int i = 0; i < fpSet.size(); i++) {
48. for (String str : fpSet.get(i)) {
49. //  if(str != null && str.length() > 0){
50. System.out.print(str + ", ");
51. //  }
52. }
53. System.out.println(item);
54. }
55. }
56. }
57. // 输出fpTree
58. public void printFPTree(Item root) {
59. System.out.print(root.getValue() + ", " + root.getCounter() + " "
60. + root.getNextItem().size() + ": ");
61. List<Item> subItems = root.getNextItem();
62. if (subItems.size() != 0) {
63. for (int i = 0; i < subItems.size(); i++) {
64. printFPTree(subItems.get(i));
65. }
66. System.out.println();
67. }
68. }
69. // 输出频繁1项集
70. public void printF1Items(Item[] f1Items) {
71. for (Item item : f1Items) {
72. while ((item = item.getSibling()) != null) {
73. System.out.print("item: " + item.getValue() + ": "
74. + item.getCounter() + " ,");
75. if (item.getPreItem() != null) {
76. System.out.println(item.getPreItem().getValue());
77. }
78. }
79. System.out.println();
80. }
81. }
82. // 输出条件模式基
83. public void printCondBase(Map<String, List<String>> condBaseMap) {
84. Set<String> items = condBaseMap.keySet();
85. List<String> conBase;
86. for (String item : items) {
87. System.out.print("Item: " + item);
88. conBase = condBaseMap.get(item);
89. System.out.println(", " + conBase.size());
90. for (String str : conBase) {
91. System.out.println(str + " ");
92. }
93. }
94. }
95. // 输出条件fp树
96. public void printCondFPTree(Map<String, Item> condFPTreeMap) {
97. Set<String> items = condFPTreeMap.keySet();
98. for (String item : items) {
99. System.out.println("Item: " + item);
100. this.printFPTree(condFPTreeMap.get(item));
101. }
102. }
103. /**
104. * 1.构造数据集
105. */
106. public List<String> buildData(String...fileName) {
107. List<String> data = new ArrayList<String>();
108. if(fileName.length !=0){
109. File file = new File(fileName[0]);
110. try {
111. BufferedReader reader = new BufferedReader(new FileReader(file));
112. String line;
113. while( (line = reader.readLine()) != null){
114. data.add(line);
115. }
116. } catch (FileNotFoundException e) {
117. e.printStackTrace();
118. } catch (IOException e) {
119. e.printStackTrace();
120. }
121. }else{
122. data.add("I1 I2 I5");
123. data.add("I2 I4");
124. data.add("I2 I3");
125. data.add("I1 I2 I4");
126. data.add("I1 I3");
127. data.add("I2 I3");
128. data.add("I1 I3");
129. data.add("I1 I2 I3 I5");
130. data.add("I1 I2 I3");
131. }
132. return data;
133. }
134. /**
135. * 2.构造频繁1项列表，同时作为树的项头表
136. */
137. public Item[] buildF1Items(List<String> data) {
138. List<Item> itemList = new ArrayList<Item>();
139. Map<String, Item> resultMap = new HashMap<String, Item>();
140. for (String trans : data) {
141. String[] items = trans.trim().split(" ");
142. int i;
143. for (String item : items) {
144. if(resultMap.get(item) == null){
145. Item newItem = new Item();
146. newItem.setValue(item);
147. newItem.setCounter(1);
148. resultMap.put(item, newItem);
149. }else{
150. resultMap.get(item).addCounter();
151. }
152. }
153. }
154. Set<String> keySet = resultMap.keySet();
155. for(String key : keySet){
156. itemList.add(resultMap.get(key));
157. }
158. List<Item> result = new ArrayList<Item>();
159. // 把支持度小于minSup的项从列表中删除
160. for (int i = 0; i < itemList.size(); i++) {
161. if (itemList.get(i).getCounter() >= this.minSup) {
162. result.add(itemList.get(i));
163. }
164. }
165. // 对列表进行排序
166. Item[] f1Items = result.toArray(new Item[0]);
167. Arrays.sort(f1Items);
168. return f1Items;
169. }
170. /**
171. * 3. 构造fpTree
172. */
173. public Item buildFPTree(List<String> data, Item[] f1Items) {
174. Item fpTree = new Item();
175. List<Item> subItems;
176. // 对每一条事务进行处理
177. for (String trans : data) {
178. // 得出每条事件中涉及的元素项
179. String[] items = trans.trim().split(" ");
180. // 对items中的元素按其在频繁1项集中出现次数排序
181. items = sortItem(items, f1Items);
182. // 把items的值加入到fpTree中
183. subItems = fpTree.getNextItem();
184. if (subItems.size() == 0) {
185. this.addLeaf(fpTree, items, f1Items);
186. } else {
187. Item temp = null;
188. for (int i = 0; i < items.length; i++) {
189. int j = 0;
190. int size = subItems.size();
191. for (; j < subItems.size(); j++) {
192. if (subItems.get(j).getValue().equals(items[i])) {
193. temp = subItems.get(j);
194. temp.addCounter();
195. subItems = temp.getNextItem();
196. break;
197. }
198. }
199. if (j == size) {
200. if (temp == null) {
201. this.addLeaf(fpTree, Arrays.copyOfRange(items, i,
202. items.length), f1Items);
203. } else {
204. this.addLeaf(temp, Arrays.copyOfRange(items, i,
205. items.length), f1Items);
206. }
207. break;
208. }
209. }
210. }
211. }
212. return fpTree;
213. }
214. /**
215. * 3.1 对元素数组根据其在f1中出面的频繁进行排序
216. *
217. * @param items
218. * @return
219. */
220. public String[] sortItem(String[] items, Item[] f1Items) {
221. String[] temp = new String[f1Items.length];
222. int i;
223. for (String item : items) {
224. for (i = 0; i < f1Items.length; i++) {
225. if (item.equals(f1Items[i].getValue())) {
226. temp[i] = item;
227. }
228. }
229. }
230. List<String> list = new ArrayList<String>();
231. int j = 0;
232. for (i = 0; i < temp.length; i++) {
233. if (temp[i] != null) {
234. list.add(temp[i]);
235. }
236. }
237. return list.toArray(new String[0]);
238. }
239. /**
240. * 3.2 给FPTree的节点添加子节点序列
241. *
242. * @param preItem
243. * @param items
244. */
245. public void addLeaf(Item preItem, String[] items, Item[] f1Items) {
246. if (items.length > 0) {
247. Item item = new Item(items[0]);
248. item.setCounter(1);
249. item.setPreItem(preItem);
250. preItem.addNextItem(item);
251. for (Item i : f1Items) {
252. if (i.getValue().equals(items[0])) {
253. Item temp = i;
254. while (temp.getSibling() != null) {
255. temp = temp.getSibling();
256. }
257. temp.setSibling(item);
258. break;
259. }
260. }
261. if (items.length > 1) {
262. addLeaf(item, Arrays.copyOfRange(items, 1, items.length),
263. f1Items);
264. }
265. }
266. }
267. // 4.生成条件模式基
268. public Map<String, List<String>> buildCondBase(Item[] f1Items) {
269. Item item = null; // 横向处理时的当前节点
270. Item preItem = null; // 横向处理的当前节点对应的纵向节点
271. int counter = 0;
272. StringBuffer data;
273. Map<String, List<String>> condBaseMap = new HashMap<String, List<String>>();
274. List<String> conditionBase; // 条件模式基
275. // 逆向遍历频繁1项集(但不需处理其第一项)
276. for (int i = f1Items.length - 1; i > 0; i--) {
277. conditionBase = new ArrayList<String>();
278. item = f1Items[i].getSibling();
279. while (item != null) { // 横向处理
280. counter = item.getCounter();
281. preItem = item.getPreItem();
282. data = new StringBuffer();
283. while (preItem.getValue() != null) { // 纵向处理
284. data.append(preItem.getValue() + " ");
285. preItem = preItem.getPreItem();
286. }
287. for (int j = 0; j < counter; j++) {
288. if (data.toString().trim() != ""
289. && data.toString().trim().length() > 0) {
290. conditionBase.add(data.toString().trim());
291. }
292. }
293. item = item.getSibling();
294. }
295. condBaseMap.put(f1Items[i].getValue(), conditionBase);
296. }
297. return condBaseMap;
298. }
299. // 5.生成条件FP树
300. public Map<String, Item> buildCondFPTree(
301. Map<String, List<String>> condBaseMap) {
302. Map<String, Item> condFPTreeMap = new HashMap<String, Item>();
303. List<String> condBase;
304. Item condFPTree;
305. Set<String> items = condBaseMap.keySet();
306. for (String item : items) {
307. condBase = condBaseMap.get(item);
308. condFPTree = this
309. .buildFPTree(condBase, this.buildF1Items(condBase));
310. // 删除condFPTree树中节点出现次数少于最小支持度的点
311. this.delLTminSup(condFPTree);
312. condFPTreeMap.put(item, condFPTree);
313. }
314. return condFPTreeMap;
315. }
316. /**
317. * 5.1  删除树中节点计数小于最小支持度的节点
318. *
319. * @param root
320. */
321. public void delLTminSup(Item root) {
322. List<Item> subItems = root.getNextItem();
323. if (subItems.size() != 0) {
324. for (int i = 0; i < subItems.size(); i++) {
325. if (subItems.get(i).getCounter() < this.minSup) {
326. subItems.remove(i);
327. } else {
328. delLTminSup(subItems.get(i));
329. }
330. }
331. }
332. }
333. /**
334. * 6.产生频繁模式 根据前面生成的条件FP树，分别产生相应元素相关的频繁模式
335. */
336. public Map<String,List<List<String>>> fpGrowth(Map<String, Item> condFPTreeMap) {
337. List<List<String>> result;
338. Map<String, List<List<String>>> resultMap = new HashMap<String, List<List<String>>>();
339. Set<String> items = condFPTreeMap.keySet();
340. Item condFPTree = null;
341. List<String> pathList; // 一个条件fp树中所有的路径
342. List<String> stack = new ArrayList<String>();
343. for (String item : items) {
344. pathList = new ArrayList<String>();
345. condFPTree = condFPTreeMap.get(item);
346. buildPath(stack, condFPTree, pathList);
347. for(String str : pathList){
348. result = new ArrayList<List<String>>();
349. if(str.trim().length() != 0){
350. String[] temp = str.trim().split(" ");
351. List<String> nodeList = new ArrayList<String>();
352. for(String t : temp){
353. nodeList.add(t);
354. }
355. buildSubSet(nodeList, result);
356. if(resultMap.get(item) == null){
357. resultMap.put(item, result);
358. }else{
359. List<List<String>> list = resultMap.get(item);
360. for( int  i = 0; i < result.size(); i++){
361. list.add(result.get(i));
362. }
363. resultMap.put(item, list);
364. }
365. }
366. }
367. }
368. return resultMap;
369. }
370. // 6.1 生成树的每一条路径
371. public void buildPath(List<String> stack, Item root, List<String> pathList) {
372. if (root != null) {
373. stack.add(root.getValue());
374. if (root.getNextItem().size() == 0) {
375. changeToPath(stack, pathList); // 把值栈中的值转化为路径
376. } else {
377. List<Item> items = root.getNextItem();
378. for (int i = 0; i < items.size(); i++) {
379. buildPath(stack, items.get(i), pathList);
380. }
381. }
382. stack.remove(stack.size() - 1);
383. }
384. }
385. /**
386. * 6.1.1 把值栈中的值转化为路径
387. *
388. * @param path
389. * @param pathList
390. */
391. public void changeToPath(List<String> path, List<String> pathList) {
392. StringBuffer sb = new StringBuffer();
393. for (int i = 0; i < path.size(); i++) {
394. if (path.get(i) != null) {
395. sb.append(path.get(i) + " ");
396. }
397. }
398. pathList.add(sb.toString().trim());
399. }
400. /**
401. * 6.2 生成子集
402. * @param sourceSet
403. * @param result
404. */
405. public void buildSubSet(List<String> sourceSet, List<List<String>> result) {
406. if (sourceSet.size() == 1) {
407. List<String> set = new ArrayList<String>();
408. set.add(sourceSet.get(0));
409. result.add(set);
410. } else if (sourceSet.size() > 1) {
411. buildSubSet(sourceSet.subList(0, sourceSet.size() - 1), result);
412. int size = result.size();
413. List<String> single = new ArrayList<String>();
414. single.add(sourceSet.get(sourceSet.size() - 1));
415. result.add(single);
416. List<String> clone;
417. for (int i = 0; i < size; i++) {
418. clone = new ArrayList<String>();
419. for (String str : result.get(i)) {
420. clone.add(str);
421. }
422. clone.add(sourceSet.get(sourceSet.size() - 1));
423. result.add(clone);
424. }
425. }
426. }
427. public void setMinSup(int minSup) {
428. this.minSup = minSup;
429. }
430. }