首页 > 代码库 > socket

socket

socket

  在网络编程中个一个基本组件就是套接字(socket)。套接字基本上是两个端点的程序之间的‘信息通道‘。程序可能分布在不同的计算机上(通过网络连接),通过套接字相互发送信息。在Python中大多数的网络编程都隐藏了socket模块的基本细节,不直接和套接字交互。

  套接字包括两个:服务器套接字和客户机套接字。在创建一个服务器套接字后,让它等待连接。这样它就在某个网络地址处(IP地址和一个端口号的组合)监听,直到有客户机套接字连接。连接完成后,两者就可以进行交互了。

 

  socket起源于Unix,而Unix/Linux基本哲学之一就是“一切皆文件”,对于文件用【打开】【读写】【关闭】模式来操作。socket就是该模式的一个实现,socket即是一种特殊的文件,一些socket函数就是对其进行的操作(读/写IO、打开、关闭)

socket和file的区别:

  • file模块是针对某个指定文件进行【打开】【读写】【关闭】
  • socket模块是针对 服务器端 和 客户端Socket 进行【打开】【读写】【关闭】

 技术分享

技术分享
import socket
server=socket.socket() #创建服务端套接字
server.bind((localhost,8888))#绑定地址

server.listen(5)#监听连接
print("我要开始等电话了")
while True:
    conn,addr=server.accept()#接收请求,等待电话打进来
    #conn 就是客户端打进来而在其服务端为其生成一个连接实例
    print(conn, addr)
    print("电话来了")
    while True:
        data=conn.recv(1024)#接收信息
        print(recv:, data)
        print(recv:, data.decode())
        if not data:
            print(client has lost)
            break
        conn.send(data.upper())
        #conn.close() 关闭客户端套接字
    continue
server.close()
socket.server
技术分享
import socket
client=socket.socket()#创建客户端套接字
client.connect((localhost,8888))#尝试连接服务器
# client.send(b‘Hello World‘)
while True:
    msg=input(">>:").strip()
    if len(msg)==0: #发不了空值,发空值会卡住
        continue
    client.send(msg.encode(utf-8))
    data=client.recv(1024)
    print("recv:",data.decode())
client.close()#关闭客户端套接字
socket.client

 

技术分享
#通过socket实现减半的ssh
import socket,os

server=socket.socket()
server.bind((localhost,9999))

server.listen()

while True:
    conn,addr=server.accept()
    print("new conn:",addr)
    while True:
        data=conn.recv(1024)#接收少于1024k的数据
        if not data:
            print(客户机已断开)
            break
        print(执行指令:,data)
        cmd_res=os.popen(data.decode()).read()#接收字符串,执行结果也是字符串
        print(before send:,len(cmd_res))
        if len(cmd_res)==0:
            cmd_res=cmd has no output
        conn.send(str(len(cmd_res.encode(utf-8))).encode(utf-8))
        conn.send(cmd_res.encode(utf-8))
        print(send done)

server.close()
通过socket实现减半的ssh
技术分享
import socket
client=socket.socket()

client.connect((localhost,9999))

while True:
    cmd=input(>>:).strip()
    if len(cmd)==0:continue
    client.send(cmd.encode(utf-8))#需要转成字节类型
    data_size=client.recv(1024)
    receive_size=0
    print(data_size)
    while receive_size<int(data_size): #直到完成接收完整才结束
        data=http://www.mamicode.com/client.recv(1024)
        receive_size+=int(len(data))#每次接收的有可能少于1024k,所以必须要用len判断
        print(receive_size)
        print(data.decode())

client.close()
socket.client

 

技术分享
#通过socket实现减半的ssh
import socket,os

server=socket.socket()
server.bind((localhost,9999))

server.listen()

while True:
    conn,addr=server.accept()
    print("new conn:",addr)
    while True:
        data=conn.recv(1024)#接收少于1024k的数据
        if not data:
            print(客户机已断开)
            break
        print(执行指令:,data)
        cmd_res=os.popen(data.decode()).read()#接收字符串,执行结果也是字符串
        print(before send:,len(cmd_res))
        if len(cmd_res)==0:
            cmd_res=cmd has no output
        # conn.send(str(len(cmd_res.encode(‘utf-8‘))).encode(‘utf-8‘))
        # conn.send(cmd_res.encode(‘utf-8‘))   #由于这两个send紧挨着,有时可能出现粘包问题,因为缓冲区可能会把这两条数据合并成一条发送给客户端
        #解决办法
        conn.send(str(len(cmd_res.encode(utf-8))).encode(utf-8))
        client_ack=conn.recv(1024) #wait client to confirm
        print(the client confirm:,client_ack.decode())
        conn.send(cmd_res.encode(utf-8))
        print(send done)

server.close()
socket粘包问题
技术分享
import socket
client=socket.socket()

client.connect((localhost,9999))

while True:
    cmd=input(>>:).strip()
    if len(cmd)==0:continue
    client.send(cmd.encode(utf-8))#需要转成字节类型
    data_size=client.recv(1024)
    client.send(准备好接收了.encode(utf-8))#接收提示
    receive_size=0
    print(data_size)
    while receive_size<int(data_size): #直到完成接收完整才结束
        data=http://www.mamicode.com/client.recv(1024)
        receive_size+=int(len(data))#每次接收的有可能少于1024k,所以必须要用len判断
        print(receive_size)
        print(data.decode())

client.close()
socket_client粘包

 

 

 

 

WEB服务应用:

技术分享
import socket
 
def handle_request(client):
    buf = client.recv(1024)
    client.send("HTTP/1.1 200 OK\r\n\r\n")
    client.send("Hello, World")
 
def main():
    sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    sock.bind((localhost,8080))
    sock.listen(5)
 
    while True:
        connection, address = sock.accept()
        handle_request(connection)
        connection.close()
 
if __name__ == __main__:
  main()
View Code

 

更多功能

sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM,0)

参数一:地址簇

  socket.AF_INET IPv4(默认)
  socket.AF_INET6 IPv6

  socket.AF_UNIX 只能够用于单一的Unix系统进程间通信

参数二:类型

  socket.SOCK_STREAM  流式socket , for TCP (默认)
  socket.SOCK_DGRAM   数据报式socket , for UDP

  socket.SOCK_RAW 原始套接字,普通的套接字无法处理ICMP、IGMP等网络报文,而SOCK_RAW可以;其次,SOCK_RAW也可以处理特殊的IPv4报文;此外,利用原始套接字,可以通过IP_HDRINCL套接字选项由用户构造IP头。
  socket.SOCK_RDM 是一种可靠的UDP形式,即保证交付数据报但不保证顺序。SOCK_RAM用来提供对原始协议的低级访问,在需要执行某些特殊操作时使用,如发送ICMP报文。SOCK_RAM通常仅限于高级用户或管理员运行的程序使用。
  socket.SOCK_SEQPACKET 可靠的连续数据包服务

参数三:协议

  0  (默认)与特定的地址家族相关的协议,如果是 0 ,则系统就会根据地址格式和套接类别,自动选择一个合适的协议

技术分享
import socket
ip_port = (127.0.0.1,9999)
sk = socket.socket(socket.AF_INET,socket.SOCK_DGRAM,0)
sk.bind(ip_port)

while True:
    data = sk.recv(1024)
    print data




import socket
ip_port = (127.0.0.1,9999)

sk = socket.socket(socket.AF_INET,socket.SOCK_DGRAM,0)
while True:
    inp = raw_input(数据:).strip()
    if inp == exit:
        break
    sk.sendto(inp,ip_port)

sk.close()
UDP Demo

 

常见的套接字对象方法和属性
服务器套接字方法
s.bind() 将地址(主机名、端口号对)邦定到套接字上
s.listen() 设置并启动TCP监听器
s.accept() 被动接受TCP客户端连接,一直等待连接到达(阻塞)
客户端套接字方法
s.connect() 主动发起TCP服务器连接
s.connect_ex() connect()的扩展版本,此时会一以错误码的形式返回问题,而不是抛出一个异常
普通套接字方法
s.recv() 接收TCP消息
s.recv_into 接收TCP消息到指定的缓冲区
s.send() 发送TCP消息
s.sendall() 完整地发送TCP消息
s.recvfrom() 接收UDP消息
s.recvfrom_into() 接收UDP消息到指定的缓冲区
s.sendto() 发送UDP消息
s.getpeername() l连接到套接字(TCP)的远程地址
s.getsocketname() 当前套接字地址
s.getsockopt() 返回给定的套接字选项的值
s.setsockopt() 设置给定套接字的值
s.shutdown() 关闭连接
s.close() 关闭套接字
s.detach() 在未关闭文件描述符的情况下关闭套接字,返回文件描述符
s.ioctl() 控制套接字的模式(仅支持Windows)
面向阻塞的套接字方法
s.setblocking() 设置套接字的阻塞或费阻塞模式
s.settimeout() 设置阻塞套接字操作的超时时间
s.gettimeout() 获取阻塞套接字的操作的超时时间
面向文件的套接字方法
s.fileno() 套接字的文件描述符
s.makefile() 创建与套接字关联的文件对象
数据属性
s.family() 套接字家族
s.type() 套接字类型
s.proto() 套接字协议
   

部分常用套接字详解:

sk.bind(address)

  s.bind(address) 将套接字绑定到地址。address地址的格式取决于地址族。在AF_INET下,以元组(host,port)的形式表示地址。

sk.listen(backlog)

  开始监听传入连接。backlog指定在拒绝连接之前,可以挂起的最大连接数量。

      backlog等于5,表示内核已经接到了连接请求,但服务器还没有调用accept进行处理的连接个数最大为5
      这个值不能无限大,因为要在内核中维护连接队列

sk.setblocking(bool)

  是否阻塞(默认True),如果设置False,那么accept和recv时一旦无数据,则报错。

sk.accept()

  接受连接并返回(conn,address),其中conn是新的套接字对象,可以用来接收和发送数据。address是连接客户端的地址。

  接收TCP 客户的连接(阻塞式)等待连接的到来

sk.connect(address)

  连接到address处的套接字。一般,address的格式为元组(hostname,port),如果连接出错,返回socket.error错误。

sk.connect_ex(address)

  同上,只不过会有返回值,连接成功时返回 0 ,连接失败时候返回编码,例如:10061

sk.close()

  关闭套接字

sk.recv(bufsize[,flag])

  接受套接字的数据。数据以字符串形式返回,bufsize指定最多可以接收的数量。flag提供有关消息的其他信息,通常可以忽略。

sk.recvfrom(bufsize[.flag])

  与recv()类似,但返回值是(data,address)。其中data是包含接收数据的字符串,address是发送数据的套接字地址。

sk.send(string[,flag])

  将string中的数据发送到连接的套接字。返回值是要发送的字节数量,该数量可能小于string的字节大小。即:可能未将指定内容全部发送。

sk.sendall(string[,flag])

  将string中的数据发送到连接的套接字,但在返回之前会尝试发送所有数据。成功返回None,失败则抛出异常。

      内部通过递归调用send,将所有内容发送出去。

sk.sendto(string[,flag],address)

  将数据发送到套接字,address是形式为(ipaddr,port)的元组,指定远程地址。返回值是发送的字节数。该函数主要用于UDP协议。

sk.settimeout(timeout)

  设置套接字操作的超时期,timeout是一个浮点数,单位是秒。值为None表示没有超时期。一般,超时期应该在刚创建套接字时设置,因为它们可能用于连接的操作(如 client 连接最多等待5s )

sk.getpeername()

  返回连接套接字的远程地址。返回值通常是元组(ipaddr,port)。

sk.getsockname()

  返回套接字自己的地址。通常是一个元组(ipaddr,port)

sk.fileno()

  套接字的文件描述符

技术分享
sk.bind(address)

  s.bind(address) 将套接字绑定到地址。address地址的格式取决于地址族。在AF_INET下,以元组(host,port)的形式表示地址。

sk.listen(backlog)

  开始监听传入连接。backlog指定在拒绝连接之前,可以挂起的最大连接数量。

      backlog等于5,表示内核已经接到了连接请求,但服务器还没有调用accept进行处理的连接个数最大为5
      这个值不能无限大,因为要在内核中维护连接队列

sk.setblocking(bool)

  是否阻塞(默认True),如果设置False,那么accept和recv时一旦无数据,则报错。

sk.accept()

  接受连接并返回(conn,address),其中conn是新的套接字对象,可以用来接收和发送数据。address是连接客户端的地址。

  接收TCP 客户的连接(阻塞式)等待连接的到来

sk.connect(address)

  连接到address处的套接字。一般,address的格式为元组(hostname,port),如果连接出错,返回socket.error错误。

sk.connect_ex(address)

  同上,只不过会有返回值,连接成功时返回 0 ,连接失败时候返回编码,例如:10061

sk.close()

  关闭套接字

sk.recv(bufsize[,flag])

  接受套接字的数据。数据以字符串形式返回,bufsize指定最多可以接收的数量。flag提供有关消息的其他信息,通常可以忽略。

sk.recvfrom(bufsize[.flag])

  与recv()类似,但返回值是(data,address)。其中data是包含接收数据的字符串,address是发送数据的套接字地址。

sk.send(string[,flag])

  将string中的数据发送到连接的套接字。返回值是要发送的字节数量,该数量可能小于string的字节大小。即:可能未将指定内容全部发送。

sk.sendall(string[,flag])

  将string中的数据发送到连接的套接字,但在返回之前会尝试发送所有数据。成功返回None,失败则抛出异常。

      内部通过递归调用send,将所有内容发送出去。

sk.sendto(string[,flag],address)

  将数据发送到套接字,address是形式为(ipaddr,port)的元组,指定远程地址。返回值是发送的字节数。该函数主要用于UDP协议。

sk.settimeout(timeout)

  设置套接字操作的超时期,timeout是一个浮点数,单位是秒。值为None表示没有超时期。一般,超时期应该在刚创建套接字时设置,因为它们可能用于连接的操作(如 client 连接最多等待5s )

sk.getpeername()

  返回连接套接字的远程地址。返回值通常是元组(ipaddr,port)。

sk.getsockname()

  返回套接字自己的地址。通常是一个元组(ipaddr,port)

sk.fileno()

  套接字的文件描述符
UDP

 

socket模块属性

  除了socket.socket()函数之外,socket模块还提供了更多用于网络应用开发的属性,下面列出一些比较受欢迎的属性

socket的模块属性
属性名称 描述
数据属性

AF_UNIX、AF_INET、AF_INET6

AF_NETLINK、AF_TIPC

Python中支持的套接字地址家族

SO_STREAM、SO_DGRAM

套接字类型(TCP=流,UDP=数据报)
has_ipv6 指示是否支持IPv6的布尔标记
异常
error 套接字相关错误
heror 主机和地址相关错误
gaierror 地址相关错误
timeout 超时时间
函数
socket() 以给定的地址家族、套接字类型和协议类型(可选)创建一个套接字对象
socketpair() 以给定的地址家族、套接字类型和协议类型(可选)创建一对套接字对象
create_connection() 常规函数,它接收一个地址(主机名,端口号)对,返回套接字对象
fromfd() 以一个打开的文件描述符创建一个套接字对象
ssl() 通过套接字启动一个安全套接字层连接;不执行证书验证
getaddrinfo()

获取一个五元组序列形式的地址信息

getnameinfo() 给定一个套接字地址,返回(主机名,端口号)二元组
getfqdn() 返回完整的域名
getostname() 返回当前主机名
getostbyname() 将一个主机名映射到它的IP地址
getostbyname_ex() getostbyname()的扩展版本,它返回主机名、别主机集合和IP地址列表
getostbyaddr() 将一个IP地址映射到DNS信息,返回与getostbyname_ex()相同的3元组
getprotobyname() 将一个协议名(如‘tcp’)映射到一个数字

getservbyname()/

getservbyport()

将一个服务名映射到一个端口号,或者反过来;对于任何一个函数来说,协议名多事可选的
ntohl()/ntohs() 将来自2网络的整数转换为主机字节顺序
htonl()/htons() 将来自主机的整数转换为网络字节顺序
inet_aton()/inet_ntoa() 将IP地址八进制字符串转换为32位的包格式,或者反过来(仅用于IPv4地址)

inet_pton()/inet+ntop()

将iP地址字符串转换成打包的二进制格式,或者反过来(同时适用于IPv4和IPv6地址)
getdefaulttimeout()/setdefaulttimeout() 以秒(浮点数)为单位返回默认套接字超时时间,以秒(浮点数)为单位设置默认套接字超时时间
   
   

 

IO多路复用

I/O多路复用指:通过一种机制,可以监视多个描述符,一旦某个描述符就绪(一般是读就绪或者写就绪),能够通知程序进行相应的读写操作。

Linux

Linux中的 select,poll,epoll 都是IO多路复用的机制。

技术分享
select
 
select最早于1983年出现在4.2BSD中,它通过一个select()系统调用来监视多个文件描述符的数组,当select()返回后,该数组中就绪的文件描述符便会被内核修改标志位,使得进程可以获得这些文件描述符从而进行后续的读写操作。
select目前几乎在所有的平台上支持,其良好跨平台支持也是它的一个优点,事实上从现在看来,这也是它所剩不多的优点之一。
select的一个缺点在于单个进程能够监视的文件描述符的数量存在最大限制,在Linux上一般为1024,不过可以通过修改宏定义甚至重新编译内核的方式提升这一限制。
另外,select()所维护的存储大量文件描述符的数据结构,随着文件描述符数量的增大,其复制的开销也线性增长。同时,由于网络响应时间的延迟使得大量TCP连接处于非活跃状态,但调用select()会对所有socket进行一次线性扫描,所以这也浪费了一定的开销。
 
poll
 
poll在1986年诞生于System V Release 3,它和select在本质上没有多大差别,但是poll没有最大文件描述符数量的限制。
poll和select同样存在一个缺点就是,包含大量文件描述符的数组被整体复制于用户态和内核的地址空间之间,而不论这些文件描述符是否就绪,它的开销随着文件描述符数量的增加而线性增大。
另外,select()和poll()将就绪的文件描述符告诉进程后,如果进程没有对其进行IO操作,那么下次调用select()和poll()的时候将再次报告这些文件描述符,所以它们一般不会丢失就绪的消息,这种方式称为水平触发(Level Triggered)。
 
epoll
 
直到Linux2.6才出现了由内核直接支持的实现方法,那就是epoll,它几乎具备了之前所说的一切优点,被公认为Linux2.6下性能最好的多路I/O就绪通知方法。
epoll可以同时支持水平触发和边缘触发(Edge Triggered,只告诉进程哪些文件描述符刚刚变为就绪状态,它只说一遍,如果我们没有采取行动,那么它将不会再次告知,这种方式称为边缘触发),理论上边缘触发的性能要更高一些,但是代码实现相当复杂。
epoll同样只告知那些就绪的文件描述符,而且当我们调用epoll_wait()获得就绪文件描述符时,返回的不是实际的描述符,而是一个代表就绪描述符数量的值,你只需要去epoll指定的一个数组中依次取得相应数量的文件描述符即可,这里也使用了内存映射(mmap)技术,这样便彻底省掉了这些文件描述符在系统调用时复制的开销。
另一个本质的改进在于epoll采用基于事件的就绪通知方式。在select/poll中,进程只有在调用一定的方法后,内核才对所有监视的文件描述符进行扫描,而epoll事先通过epoll_ctl()来注册一个文件描述符,一旦基于某个文件描述符就绪时,内核会采用类似callback的回调机制,迅速激活这个文件描述符,当进程调用epoll_wait()时便得到通知。
View Code

Python

Python中有一个select模块,其中提供了:select、poll、epoll三个方法,分别调用系统的 select,poll,epoll 从而实现IO多路复用。

Windows Python:
    提供: select
Mac Python:
    提供: select
Linux Python:
    提供: select、poll、epoll

注意:网络操作、文件操作、终端操作等均属于IO操作,对于windows只支持Socket操作,其他系统支持其他IO操作,但是无法检测 普通文件操作 自动上次读取是否已经变化。

对于select方法:

句柄列表11, 句柄列表22, 句柄列表33 = select.select(句柄序列1, 句柄序列2, 句柄序列3, 超时时间)
 
参数: 可接受四个参数(前三个必须)
返回值:三个列表
 
select方法用来监视文件句柄,如果句柄发生变化,则获取该句柄。
1、当 参数1 序列中的句柄发生可读时(accetp和read),则获取发生变化的句柄并添加到 返回值1 序列中
2、当 参数2 序列中含有句柄时,则将该序列中所有的句柄添加到 返回值2 序列中
3、当 参数3 序列中的句柄发生错误时,则将该发生错误的句柄添加到 返回值3 序列中
4、当 超时时间 未设置,则select会一直阻塞,直到监听的句柄发生变化
   当 超时时间 = 1时,那么如果监听的句柄均无任何变化,则select会阻塞 1 秒,之后返回三个空列表,如果监听的句柄有变化,则直接执行。

 

socket