浏览器与Web服务器的通信原理
1. 基本交互模式
浏览器向Web服务器发送请求，Web服务器向浏览器返回响应。这种应用程序之间的通信类似于人与人之间的对话,能够彼此响应。
2. 网络通信的基础
- 网络由多种通信设备组成
- 通信前需确定双方位置
- 进行请求和响应的交互
3. 数据传输的挑战
- 传输过程中可能存在数据丢失
- 需要确保数据的准确性
- 请求和响应由0和1构成的数字信息组成
- 需要一种可靠的数字信息传递方式
4. 信号传播
- 请求和响应通过光信号和电信号进行传播
- 传播过程中可能受到干扰
5. 数据传输机制
- 由操作系统中的网络控制数据负责
- 结合转换机和路由器等设备进行转接
- 数据被分割成小块,放入"包"中
- 包类似于快递包裹,包含目的地等信息
- 通过转换器、路由器(类似中转站)进行分拣和传送
6. 网络组成
前面描述的信息传递机制,再加上Web服务器和浏览器,共同构成了完整的网络通信系统。
深入了解浏览器与网络通信的工作原理
浏览器工作原理概述
当我们使用浏览器访问网页时，通常会输入一个网址。浏览器接收到这个网址后，会对其进行解析，并向相应的服务器发送请求。例如，输入 http://www.example.com/page.html，浏览器会解析这个网址并向服务器请求 page.html 的内容。
需要注意的是，浏览器本身并不直接进行数据传输，这项工作由数据传输机制完成。浏览器处理的数据会交由操作系统的网络控制软件进行发送。
数据传输机制与协议栈
在理解数据传输机制之前，首先需要介绍协议栈（网络控制软件）。当协议栈收到来自浏览器的数据后，会将其打包，就像信封上写着收件人地址一样，然后交由网卡（网络设备）发送。协议栈负责管理数据的发送，例如重新发送丢失的数据包，调节数据发送速率等，可以看作是浏览器数据管理的“小秘书”。
从网卡到互联网
协议栈将打包好的数据传送到网卡，网卡再将这些数据转化为电信号，通过网线进行传输。在家庭或企业的局域网中，网卡会将数据包发送到交换机，然后通过交换机传递到路由器。路由器之后便是互联网的世界，网络运营商会将数据包继续传递到目标服务器。
这就像我们把信件放进邮箱，邮递员将信件取走并送达目的地。
接入网与互联网骨干网
数据从路由器出发，进入互联网的接入网。接入网是用户连接互联网的入口，通常使用电话线或光纤等线路与互联网连接。接入网连接到用户签约的网络运营商，再通过接入点设备接入互联网。
接入点可以比作附近的邮局，它汇集各处的信件，并将它们发送到世界各地。数据包通过接入网进入接入点，再从接入点通往全球各地的互联网骨干网。
互联网的骨干部分由多个运营商的路由器组成，形成了密集的网络结构。数据包在这些路由器之间不断传递，最终到达目标服务器。
数据包的返回与展示
当网络包抵达目标服务器后，服务器解析请求，并通过协议栈进行处理。服务器根据请求构建响应数据，并按照与请求相反的路径，将数据返回客户端。
最后，浏览器接收到服务器的响应后，处理并展示数据，整个过程就此完成。
HTTP 请求和 DNS 查询的流程
1. 生成 HTTP 请求消息
用户在输入网址时，浏览器会对网址进行解析，以确定用户需要的具体数据。浏览器通过生成一个 HTTP 请求消息来告知服务器所需的数据。
2. 向 DNS 服务器查询 Web 服务器的 IP 地址
在解析完网址后，浏览器需要知道 Web 服务器的 IP 地址，以便发送请求。由于操作系统需要通过 IP 地址来发送请求，浏览器会向 DNS 服务器查询域名对应的 IP 地址。
3. 全世界 DNS 服务器的大接力
全球的 DNS 服务器通过相互协作来完成 IP 地址的查询。当本地 DNS 服务器无法直接找到所需的 IP 地址时，它会向其他 DNS 服务器请求帮助，直到找到正确的 IP 地址为止。
4. 委托协议栈发送请求
一旦获得了 IP 地址，浏览器会通过操作系统的协议栈来发送请求。操作系统负责将浏览器生成的请求消息发送到目标 Web 服务器。
URL和浏览器的工作原理
URL的基本概念
浏览器输入网址,网址也就是URL(统一资源定位符)。大家通常见到的URL会以"http://"为开头,但不仅限于此,也可以以"file:"等为开头。
浏览器的多功能性
之所以有各种各样的客户端,是因为虽然网址主要使用浏览器进行访问,但是浏览器的功能不仅限于访问网页:
- 可以进行文件的上传下载
- 具备电子邮件客户端的作用
- 其他综合功能
Web浏览器是集成了很多功能的综合性客户端。当输入网址的时候,要判断使用哪些功能就需要使用http、ftp等协议来进行区分。
URL的结构
URL虽然存在多种写法,但都遵循一定的结构:
- 开头使用http、ftp等协议名称进行修饰
- 用于区分网址所使用的功能
- 可以理解为指定使用的协议类型
浏览器处理URL的过程
浏览器第一步就是对URL进行解析,然后构成请求发送给web服务器。
例如:
http://xxx.yyy/a/b/c/d.html
根据http的规则:
xxx.yyy是服务器的名字/a/b/c/是向服务器访问的文件的位置d.html是访问的具体文件
URL的特殊情况
http://xxx.yyy/a/b/c/- 没有指定具体文件名
- 服务器通常设置默认访问文件,如default.html、index.html等
http://xxx.yyy/或http://xxx.yyy- 省略了访问文件
- 调用系统的默认文件
http://xxx.yyy/file- 如果存在file文件就访问file文件
- 如果没有file文件就会访问file目录
解析完URL, 浏览器就知道服务器的位置在哪里. 接下来, 浏览器就使用 Http协议来进行Web服务器的访问
HTTP协议详解:客户端与服务器的交互过程
1. HTTP请求-响应模型
HTTP协议定义了客户端和服务器之间的交互内容和步骤。这个过程主要包括:
- 客户端向服务器发送请求消息
- 服务器处理请求
- 服务器向客户端发送响应消息
1.1 请求消息的组成
- 对象(URI):指定要访问的资源
- 操作(方法):告诉服务器要执行的动作
- 头字段:包含附加信息
- 消息体:可选,包含额外数据(如POST请求中的表单数据)
1.2 响应消息的组成
- 状态码:表示请求的执行结果(如200成功,404未找到等)
- 头字段:包含附加信息
- 响应内容:返回的数据(如HTML页面内容)
2. HTTP请求方法
不同的请求方法用于不同的操作目的。例如:
- GET:获取资源
- POST:提交数据(如表单提交)
2.1 POST方法的特点
- URI通常指向应用程序文件
- 请求包含表单数据
- 服务器接收数据并交给应用程序处理
3. HTTP请求的细节
3.1 请求行
请求消息的第一行,包含:
- 方法
- URI
- HTTP版本
3.2 请求头
包含额外信息,如:
- 浏览器版本
- 接受的内容类型等
3.3 请求体
- GET方法通常不需要请求体
- POST等方法在请求体中包含数据
4. 触发HTTP请求的场景
- 在地址栏输入URL
- 点击超链接
- 提交表单
- 其他页面交互操作
HTTP响应详解及浏览器渲染过程
1. HTTP响应的结构
HTTP响应的格式与请求类似,主要包含:
- 状态码
- 响应短语
- 响应头
- 响应体
1.1 状态码及其含义
状态码是一个三位数字,用于描述响应的结果:
- 1XX: 信息性状态码,表示请求正在处理
- 2XX: 成功状态码,表示请求成功处理
- 3XX: 重定向状态码,表示需要进一步操作
- 4XX: 客户端错误状态码
- 5XX: 服务器错误状态码
2. 浏览器渲染过程
2.1 文本内容渲染
浏览器接收到响应后,会提取数据并在网页中展示。对于纯文本内容,直接展示即可。
2.2 图片渲染过程
当网页包含图片时:
- 浏览器解析HTML,遇到图片标签
- 为图片预留空间
- 向服务器发送单独的请求获取图片
- 将获取的图片显示在预留位置
注意:每个URI对应一个单独的请求。例如,一个包含三张图片的网页通常需要发送四次请求(一次网页请求,三次图片请求)。
3. Web服务器的工作方式
- Web服务器不关心请求之间的关联
- 服务器只负责处理每个独立的请求并返回相应的响应
- 不区分请求来自同一网页还是不同网页
4. 浏览器的调度任务
浏览器负责:
- 发送必要的请求以获取所有资源(HTML、图片等)
- 管理这些请求之间的关系
- 将获取的资源正确地展示在页面上
网络通信基础:从HTTP请求到TCP/IP
1. 发送HTTP请求
生成HTTP消息后,浏览器需要委托操作系统将请求发送给服务端。尽管浏览器可以解析网址并生成HTTP请求,但它本身并不具备将请求发送到网络的能力,需要借助操作系统来完成这一任务。
在这个过程中,我们还需要查询服务器域名对应的IP地址。委托操作系统发送请求时,我们提供的不是接收方的域名,而是其对应的IP地址。
2. TCP/IP网络结构
互联网和公司的局域网都是基于TCP/IP的思路设计的。TCP/IP的基本结构是由一些小的子网通过路由器连接形成的网络。
- 子网:可以理解为使用集线器连接在一起的电脑,形成一个小的单位。
- 网络:子网通过路由器连接形成更大的网络。
3. IP地址的组成
在网络中,每个通信设备都有一个地址,类似于家庭住址中的楼号和房间号:
- 网络号:相当于楼号,分配给整个子网。
- 主机号:相当于房间号,标记具体的设备。
- IP地址:网络号和主机号的组合。
通过IP地址,我们可以确定服务器的位置并发送请求。
4. 数据包传输路径
发送者的消息传输路径:
- 经过集线器
- 到达最近的路由器
- 路由器根据服务器位置判断下一个路由器
- 通过子网内的集线器到达下一个路由器
- 重复上述过程,最终到达目的地
5. IP地址的表示方法
IP地址是一串32比特的数字:
- 按8比特为一组(一个字节)
- 每组使用十进制表示
- 用"."分隔各组
这种格式虽然常见,但不能直接区分网络号和主机号。
6. 子网掩码
为了清晰区分网络号和主机号,我们需要使用子网掩码作为附加信息:
- 左边全是1的部分对应IP地址中的网络号
- 右边全是0的部分对应IP地址中的主机号
子网掩码的表示方法:
- 与IP地址相同的表示方式
- 直接用数字表示网络号对应的1的个数
特殊情况:
- 主机部分全为0:表示整个子网
- 主机部分全为1:表示向整个子网广播
DNS解析过程及其在网络通信中的作用
1. IP地址vs域名:为什么网络通信prefer IP地址
TCP/IP协议是通过IP地址来确定通信设备的位置。我们把请求交给操作系统,但是操作系统要知道他的位置,就像你打电话要知道对方的电话号码一样。因此委托操作系统发送消息的时候,必须先查询好对方的IP地址,可以直接使用服务器的IP来进行访问。
为什么不直接使用域名来进行锚定通信设备的位置呢?主要有以下几个原因:
- 域名长度问题:一般而言,域名的长度一般要比IP地址的4个字节要多很多,所以在运输过程中使用域名来直接作为通信位置就会加重路由器的负担。
- 路由器负载:现在而言,路由器本身已经疲于转载数据,而且随着路由器的发展,数据本身也会增长,所以对于多余的空间而言就会加重运载的成本,并不是一个明智的方法。
- 长度不固定:域名并不只是长而已,它本身的长度不固定会导致更加复杂的处理方法。
2. DNS系统:人性化与效率的平衡
现在的方案是人使用名称,路由器使用IP地址,我们需要使用一套体系(DNS)来对网址名称对应的IP地址来进行查询,并且尽量减少彼此之间的资源浪费。
查询IP地址也非常简单,只需要向最近的DNS服务器进行访问,来询问对应网址的IP就可以了。
3. DNS解析过程详解
3.1 DNS客户端(解析器)
向DNS服务器发起询问,也就是发起询问的请求,并接受响应。我们向DNS服务器发起请求,那么我们的计算机设备就具备DNS客户端,DNS客户端的部分也叫做DNS解析器,简称作解析器。通过DNS来进行域名解析,因此负责进行解析这一操作就叫做解析器。
解析器实际上是一段程序,包含在操作系统的Socket库。库是一堆通用程序组件的集合,其他应用程序都需要使用到程序组件。库有很多好处:
- 首先使用现成的库可以节省工作代码量;
- 其次多个程序使用同一个组件可以使得代码标准化。
Socket库也是一种库,它可以使应用程序进行调用操作系统的网络功能,而解析器就是其中的一个程序组件。Socket库中包含了很多发送和接收数据的组件。
3.2 解析器的工作流程
解析器的用法非常简单,Socket库中的都是标准程序组件,只要从应用程序进行调用就可以了。
- 调用解析器后,解析器会向DNS服务器发送请求,然后DNS服务器返回响应。
- 响应中包含IP地址,解析器会把IP地址存在到浏览器的一块内存中。
- 接下来,浏览器在向Web服务器发送请求的时候,先向对应的内存地址拿取IP地址,然后把IP地址和请求一起给操作系统。
一般而言,应用程序编写的操作内容是从上往下按照顺序执行的。当到达需要调用解析器的部分,对应那一行的程序就会被执行,当前的应用程序会暂停,然后Socket库里面的解析器开始执行,完成应用程序委托的操作。由于调用其他程序,原来运行的程序停止,被调用的程序开始执行,这就是控制流程转移。
3.3 解析器生成查询消息
当控制流程转移到解析器后,解析器会生成要发送给DNS服务器的查询消息。这个过程和浏览器发送给Web服务器请求一样,解析器会根据DNS的规格,生成获取对应网站IP地址的请求,发送给DNS服务器。
发送消息这个操作并不是由解析器本身发送的,而是委托操作系统的协议栈。这是因为和浏览器一样,解析器并不具有网络收发数据的功能。解析器调用协议栈后,控制流程再次被转移,协议栈会执行发送消息的操作,再通过网卡把消息发送给DNS服务器。
需要注意的是:
- HTTP的消息是用文本编写的,但DNS的消息是二进制数据。
- 协议栈是操作系统的网络控制软件,又叫TCP/IP驱动、协议驱动等。
3.4 DNS服务器的响应处理
当DNS服务器接收到请求后,会根据请求的内容来查询对应的IP地址。总之,如果要访问的服务器在DNS已经注册了,那么这条记录消息就可以被找到,然后把IP地址存放到响应中,返回给客户端。
接下来消息返回到客户端,协议栈再转移给解析器,然后解析器读取出IP地址,然后传给应用程序。实际上,解析器会把取出的IP地址存放到应用程序指定的内存里面,在代码中是写的是对应内存地址的名称。
解析器的工作完成,控制流程再次转移回之前暂停的地方继续执行,应用程序已经去取出对应的IP地址。
4. DNS服务器的IP地址
我们向DNS服务器发送消息,当然需要知道DNS服务器的IP地址,只不过这已经在TCP/IP的设置中已经提前设置好了。
DNS工作原理与域名解析过程详解
1. DNS的基本工作原理
DNS（域名系统）的基本工作就是接收客户端的请求信息，然后把对应的IP地址存放到响应中返回给客户端。在这个过程中，涉及以下几个关键概念：
- 域名：用于标识服务器或邮件服务器（即邮件地址@后面的部分）。
- Class：最初设计DNS时考虑到了其他网络应用，Class用来识别网络信息。如今，由于互联网的主导地位，Class的值一直都是IN（表示Internet）。
- 记录类型：表示域名对应何种类型的记录。例如：
- A类型：域名对应的是IP地址
- MX类型：域名对应的是邮箱服务器
对于不同的记录类型，DNS服务器返回的消息类型也不同。
2. DNS记录匹配过程
DNS服务器会从已有的记录中匹配域名、记录类型和Class都一致的记录，并返回对应的值。值得注意的是：
- 许多域名以"www"开头（如www.a.b.c.com），这源于早期Web服务器设计的习惯。
- 任何服务器只要注册了A类型的记录，都可以作为服务器的域名使用。
- 当记录类型是MX时，记录中会保存域名、优先级数字，以及邮件服务器的IP地址。
3. DNS服务器的分布式结构
在小型环境（如公司内部网络）中，所有信息可以存放在一台DNS服务器内。但在互联网这样庞大的环境下，需要将信息分布到多台DNS服务器中，并通过服务器间的相互配合来完成查询。
3.1 DNS的层次结构
- DNS信息按照域名使用分层次的结构保存。
- 域名中的句点用来划分不同的层次，越往右的层级越高。
- 每个层级的部分叫作"域"。
3.2 域名注册与存储
- 具备层次的域名会被注册到DNS服务器。
- 每个域的信息作为整体存储在DNS服务器内，不能被拆分到多个服务器。
- 一个DNS服务器可以存储多个域的信息（为简化讨论，本文假设一个域对应一个DNS服务器）。
4. DNS信息查找过程
- 将负责管理下级域的服务器的IP在上级域中注册。
- 上级服务器再注册到更上一级的服务器，以此类推。
- 在最顶层有一个"根域"，通常省略不写（如www.a.b.c.com后面的点）。
- 根域存储着顶级域（如.com）的DNS服务器信息。
- 所有DNS服务器中都存储有根域的信息，使得任何DNS服务器都能找到并访问根域DNS服务器。
4.1 根域DNS服务器
- 全世界只有13个根域DNS服务器的IP地址。
- 这些地址通常包含在DNS服务器程序的配置信息中。
5. DNS查询示例：www.a.b.c.com
- 客户端首先查询最近的DNS服务器。
- 如果没有找到，会根据根域的DNS服务器IP地址访问根域DNS服务器。
- 根域DNS服务器指引到.com域的DNS服务器。
- 依此类推，直到找到目标的DNS服务器。
- 最后向目标DNS服务器发送请求，获取www.a.b.c.com的IP地址。