文本分析实例---QQ聊天记录分析

对QQ聊天记录进行分析，由于每天产生的聊天记录比較多，所以选取的是从2月份整月的聊天记录数据。分析要产生的结果有三个，聊天记录中发消息的人前top15。统计24小时时间段那个时间段发贴人最多，还有对消息中的热词进行抽取。

对QQ用户发贴次数进行统计，须要注意QQ导出的聊天记录格式。【年月日时分秒 QQ账号相关信息】，须要对聊天记录做解析。另外对聊天内容也要做解析。

详细思路不做详解，仅仅贴结果和部分代码。相信大家一看就明确。

统计24小时时间段QQ消息数量

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

能够看出每天下午3点到5点大家都非常活跃

另一个就是对讨论的话题做分析，首先要对发的消息做分词处理。去掉一个停用词，然后按词频出现的次数统计，得到例如以下结果。

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

第一个表示出现的词，第二个表示在某个时间段内出现的次数，总的来说，我们这个群还算是一个技术群吧。

相关部分代码：

def userProcess():

    userArray = []

    contentArray = LoadUserInfo.loadUser()

    for userInfo in contentArray:

        if(len(userInfo)==3):

            userArray.append(userInfo[2])

    print(len(userArray))

    #Counter(words).most_common(10)

    userGroupInof = Counter(userArray).most_common(15)

    #print(userGroupInof)

    userNameLable = []

    postMessageNum = []

    for key,value in userGroupInof:

        userNameLable.append(key)

        postMessageNum.append(value)

    #performance = 3 + 10 * np.random.rand(len(people))

    #error = np.random.rand(len(people))

    zh_font = matplotlib.font_manager.FontProperties(fname='C:\Windows\Fonts\simsun.ttc')

    plt.barh(np.arange(len(userNameLable)), postMessageNum,  align='center', alpha=0.4)

    plt.yticks(np.arange(len(userNameLable)), userNameLable,fontproperties=zh_font)

    plt.xlabel('发贴数量',fontproperties=zh_font)

    plt.title('java-Endless Space群(4881914)发贴最多的15个人',fontproperties=zh_font)

    plt.show()

def hourProcess():

    hourArray = []

    contentArray = LoadUserInfo.loadUser()

    for userInfo in contentArray:

        if(len(userInfo)==3):

            messageDate = userInfo[1]

            hourInfo = re.split('[:]',messageDate)

            hourArray.append(hourInfo[0])

    print(len(hourArray))

    #Counter(words).most_common(10)

    hour_counts = Counter(hourArray)

    #对数据进行排序

    sortByHour = sorted(hour_counts.items())

    print(sortByHour)

    postMessageLable = []

    postMessageNum = []

    for key,value in sortByHour:

        postMessageLable.append(key)

        postMessageNum.append(value)

    print(postMessageLable)

    print(postMessageNum)

    #生成发贴柱状图

    N = len(postMessageNum)

    ind = np.arange(N)+0.5  # the x locations for the groups

    #print(ind) #x轴上的数值

    width = 0.35       # the width of the bars

    fig, ax = plt.subplots()

    rects = ax.bar(ind, postMessageNum, width, color='r')

    # add some text for labels, title and axes ticks

    ax.set_ylabel('message number')

    ax.set_title('QQ message number of hour,total message ( '+ str(len(hourArray)) + ")")

    ax.set_xticks(ind+width)

    ax.set_xticklabels(postMessageLable)

    def autolabel(rects):

        # attach some text labels

        for rect in rects:

            height = rect.get_height()

            ax.text(rect.get_x()+rect.get_width()/2., height, '%d'%int(height), ha='center', va='bottom')

    autolabel(rects)

    plt.show()

#对导入的文件第四列做中文分词处理

#对用户发出的消息进行处理

def messageProcess():

    wordArray = []

    contentArray = LoadMessageInfo.loadMessage()

    print("processing original data ........")

    for messageInfo in contentArray:

        #print(messageInfo[3])

        word_list = jieba.cut(messageInfo, cut_all=False)

        for word in word_list:

            #过滤掉短词，仅仅有一个长度的词

            if(len(word)>1):

                wordArray.append(word)

    #print(wordArray)

    print("remove stop word data ........")

    jsonResource = open('./data/stopword.json','r',encoding='utf8')

    stopwords = json.load(jsonResource)

    #print(stopwords)

    for word in wordArray:

        print(word)

        if (word in stopwords):

            wordArray.remove(word)

    #print(wordArray)

    print("text is processing.......")

    word_counts = Counter(wordArray)

    print(word_counts)

    print("processing is over")