我一直想弄清楚为什么在某些字符串中出现空字节。下面的例子。
{"gender":"fema\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000le"}
我实质上是从HTTP请求包装io.Reader并将其解码为结构。见下文
func bodyToStruct(res *http.Request, v gojay.UnmarshalerJSONObject) error {
var reader io.ReadCloser
var err error
switch res.Header.Get("Content-Encoding") {
case "gzip":
reader, err = pool.Gzip.GetReader(res.Body)
if err != nil {
return err
}
defer pool.Gzip.PutReader(reader)
case "deflate":
reader = flate.NewReader(res.Body)
defer reader.Close()
default:
reader = res.Body
}
decoder := gojay.BorrowDecoder(streams.NewNullByteRemoverStream(reader)) //wrapped in NewNullByteRemoverStream
defer decoder.Release()
return decoder.DecodeObject(v)
}
我尝试了多种方法来尝试删除空字节，我认为它们是来自Android客户端的请求。
通过早期堆栈线程的帮助，我能够将以下实现部署到生产环境中，从而也尝试删除了空字节。
package streams
import (
"io"
)
// NullByte is a stream wrapper that should remove null bytes from the byte stream as well as reject any and all control bytes
type NullByte struct {
Reader io.Reader
}
// NewNullByteRemoverStream creates a new NullByte reader which passes passes the parent stream through and remove null bytes
func NewNullByteRemoverStream(reader io.ReadCloser) *NullByte {
return &NullByte{
Reader: reader,
}
}
func (s *NullByte) Read(p []byte) (n int, err error) {
n, err = s.Reader.Read(p)
var nn int
for i := 0; i < n; i++ {
if p[i] >= 32 && p[i] <= 126 {
p[nn] = p[i]
nn++
}
}
return nn, err
}
我什至尝试删除\u0000的字符串文字(如此处所示)(也在生产环境中进行了一些测试)
package streams
import (
"io"
)
const _unicodeCodePointLength = 6
var (
_sControlByte = byte(92)
_sNullByteBlock = []byte{92, 117, 48, 48, 48, 48}
)
// NullByte is a stream wrapper that should remove null bytes from the byte stream as well as reject any and all control bytes
type NullByte struct {
Reader io.Reader
state int
}
// NewNullByteRemoverStream creates a new NullByte reader which passes passes the parent stream through and remove null bytes
// as well as \u0000 as a string representation
func NewNullByteRemoverStream(reader io.ReadCloser) *NullByte {
return &NullByte{
Reader: reader,
}
}
func (s *NullByte) Read(p []byte) (n int, err error) {
n, err = s.Reader.Read(p)
var nn, i int
for i < n {
if p[i] == _sControlByte {
s.state = 0
}
if p[i] == _sControlByte || s.state > 0 {
var broke bool
if p[i] == _sControlByte {
stop := 0
for j := i; j < n; j++ {
if stop == _unicodeCodePointLength {
break
}
if p[j] != _sNullByteBlock[stop] {
broke = true
break
}
stop++
}
if broke {
p[nn] = p[i]
i++
nn++
s.state = 0
continue
}
}
if s.state < _unicodeCodePointLength {
i++
s.state++
continue
}
}
if p[i] != 0 {
p[nn] = p[i]
nn++
}
i++
}
return nn, err
}
不幸的是，这两个版本都无法解决该问题。我可以在生产日志中看到\u0000出现在一定百分比的日志中。我认为通过将io.Reader响应包装在上面的Sanitizers中，该问题将停止。从测试中可以看出，空字节0和\u0000被删除了……但是问题在生产中仍然存在。我怀疑问题仍然出在客户的请求上。这是因为该问题仅在特定的客户端版本中出现。其他应用程序版本和平台不会触发空字节出现在字符串中，并且所有客户端都与同一台集中式服务器进行通信。我没主意了。我不知道为什么上面的清理程序在JSON解码器将数据加载到Strut之前不删除空字节。有人有见识吗？
最佳答案
编辑:这是不正确的，即使它可能恰好解决了问题。无论是否使用缓冲区，都应删除空字节。
很难说为什么出现空字节。但是流读取器不丢弃空值的问题可能是因为它们缺乏自己的缓冲区。这是一个带有自己的缓冲区(playground)的空读取器示例:
type DropReader struct {
buf []byte
reader io.Reader
nulls int
reads int
}
func (dr *DropReader) Read(data []byte) (int, error) {
n, err := dr.reader.Read(dr.buf)
dr.reads++
j := 0
for i := 0; i < n; i++ {
c := dr.buf[i]
if c == 0 {
dr.nulls++
continue
}
data[j] = c
j++
}
return j, err
}
关于go - 为什么出现空字节？即使在 "sanitizing"之后，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/62207934/