在socket的server端处理client端发来的数据

一、楔子

　　最近做了一个需求遇到一个坑，归结成一个小问题，其实就是在socket的server端处理client端发来的数据的问题，现将这个问题总结一下，本文将数据在server端以字典的形式存储。

　　 另外，由于我想做一个动图的演示，所以本文没有用MarkDown写，希望本文的干货能弥补格式带来的不适ε=(´ο｀*)))

二、基于原生UDP的实现

　　我们这里用“默认字典”去实现数据的构建，基于原生UDP的代码如下：

# -*- coding:utf-8 -*-

import socket

from collections import defaultdict

server = socket.socket(type=socket.SOCK_DGRAM)

server.bind(('127.0.0.1',9002))

print('Listening......')

client_msg = {

    '':'Naruto',

    '':'Sasuke',

}

dic_msg = defaultdict(list)

while 1:

    try:

        # 接收

        recv_msg,addr = server.recvfrom(1024)

        recv_msg = recv_msg.decode('utf-8')

        # 这里只切割一次，避免后面的数据还有|符号

        cid = recv_msg.strip().split('|',1)[0]

        msg = recv_msg.strip().split('|',1)[1]

        # 默认字典

        dic_msg[client_msg[cid]]

        dic_msg[client_msg[cid]].append(msg)

        # 回复

        server.sendto('收到了'.encode('utf-8'),addr)

        print('消息字典：%s'%(dict(dic_msg)))

    except Exception as e:

        print(e)

Server端

# -*- coding:utf-8 -*-

import socket

client = socket.socket(type=socket.SOCK_DGRAM)

server_addr = ('127.0.0.1',9002)

cid = ''

while 1:

    try:

        msg = input('>>>:').strip()

        # 发送 cid跟消息用|分割开来——具体怎么做看具体需求

        send_msg= cid+'|'+msg

        client.sendto(send_msg.encode('utf-8'),server_addr)

        # 接收

        content = client.recv(1024).decode('utf-8')

        print('server端回复：',content)

    except Exception as e:

        print(e)

        break

Client端

　　实现效果如下：

三、基于并发的TCP实现

　　socketsever模块为我们提供了并发的功能，我们这里直接用socketsever模块做。

　　另外我们考虑到TCP的粘包问题，以Client端给Server端发送数据为例：我们需要先给Server端发送一个带有”信息“的字典。这里的信息可以是我们将要发送的数据的大小，也可以是其他的必要的数据，这里我们给Server端发送Client端的标识cid以及将要发送的数据的大小。

　　同时考虑到程序的解耦，我们把包含重要信息字典的处理放在pro_trance.py文件中，两端在收发信息的时候直接import即可。里面的代码为：

# -*- coding:utf-8 -*-

import json

import struct

def pro_send(sk,dic,pro=True):

    str_dic = json.dumps(dic)

    bytes_dic = str_dic.encode('utf-8')

    # 默认选择协议发送

    if pro:

        num_dic = struct.pack('i',len(bytes_dic))

        sk.sendall(num_dic)

    sk.sendall(bytes_dic)

def pro_recv(sk,pro=True):

    # 依据协议先收到的是字典的长度

    if pro:

        num_dic = sk.recv(4)

        # 注意unpack得到的是一个元组，需要加上0索引取值

        num = struct.unpack('i',num_dic)[0]

        str_dic = sk.recv(num).decode('utf-8')

        dic = json.loads(str_dic)

    # 不根据协议接收直接用1024大小的长度来接收

    else:

        dic = json.loads(sk.recv(1024).decode('utf-8'))

    return dic

pro_trance.py

　　接下来是Client端与Sever端的代码，这里模拟不同标识的客户端能够同时访问Server端的情况：

# -*- coding:utf-8 -*-

import socket

from pro_trance import pro_send,pro_recv

cid = ''

client = socket.socket()

client.connect(('127.0.0.1',9003))

while 1:

    # 这里用msg模拟长数据，所以选择避免粘包的发送方式

    msg = input('>>>:').strip()

    bytes_msg = msg.encode('utf-8')

    len_by_msg = len(bytes_msg)

    dic = {'cid':cid,'data_size':len_by_msg}

    # 协议发送携带信息的字典

    pro_send(client,dic)

    # 再发送数据

    client.sendall(bytes_msg)

    # 接收 —— 直接收 实际是否考虑粘包视具体设计而定

    str_recv = client.recv(1024).decode('utf-8')

    print('server reply:',str_recv)

Client1端

# -*- coding:utf-8 -*-

import socket

from pro_trance import pro_send,pro_recv

cid = ''

client = socket.socket()

client.connect(('127.0.0.1',9003))

while 1:

    # 这里用msg模拟长数据，所以选择避免粘包的发送方式

    msg = input('>>>:').strip()

    bytes_msg = msg.encode('utf-8')

    len_by_msg = len(bytes_msg)

    dic = {'cid':cid,'data_size':len_by_msg}

    # 协议发送携带信息的字典

    pro_send(client,dic)

    # 再发送数据

    client.sendall(bytes_msg)

    # 接收 —— 直接收 实际是否考虑粘包视具体设计而定

    str_recv = client.recv(1024).decode('utf-8')

    print('server reply:',str_recv)

Client2端

# -*- coding:utf-8 -*-

import socketserver

from collections import defaultdict

from pro_trance import pro_send,pro_recv

# 一般这种数据都是放在settings文件中的

client_msg = {

    '':'Naruto',

    '':'Sasuke',

}

class Server(socketserver.BaseRequestHandler):

    def handle(self):

        dic_msg = defaultdict(list)

        while 1:

            # 根据协议接收信息字典

            dic = pro_recv(self.request)

            # client端的id

            cid = dic['cid']

            data_size = dic['data_size']

            # 根据数据的长度接收

            msg = self.request.recv(data_size).decode('utf-8')

            # 利用之前的默认字典构建数据

            dic_msg[client_msg[cid]]

            dic_msg[client_msg[cid]].append(msg)

            print('client %s,message:%s' % (client_msg[cid], dict(dic_msg)))

            # 回复

            self.request.sendall('received successfully!'.encode('utf-8'))

            ## 注意socketserver这里不用加close方法

            ## BaseRequestHandler有一个finish的相关的方法

if __name__ == '__main__':

    server = socketserver.ThreadingTCPServer(('127.0.0.1',9003),Server)

    server.serve_forever()

Server端

　　演示效果如下：