dotnet高性能buffer

1 前言

我曾经写过《杂谈.netcore的Buffer相关新类型》的博客，简单介绍过BinaryPrimitives、Span<>，Memory<>，ArrayPool<>，Memorypool<>这些基础类型，在实际项目中，我们更需要的是更上层的高效缓冲区申请、buffer写入、buffer读取功能。本文将介绍如何利用这些基础类型，封装成易于使用的buffer相关操作类，这些类的源代码在MemoryExtensions库里。

2 buffer知识

buffer的申请

通过经验与实验数据，根据不同场景与buffer大小，选择合适的申请方式。

IBufferWriter 接口

此接口支持获取缓冲区的写入Span或GetMemory给外部直接写入数据，写入完成之后调用Advance(int)方法，告诉writer实际的写入大小。

我们来对比一下MemoryStream的Write()方法，比如要写一个int类型的值，我们不得不将int转为4字节的byte[]，然后传byte[]到Write()方法。这个4字节的byte[]是一个副作用，它的存在原于外部无法获取和扩大MemoryStream的缓冲区。

3 BufferWriter的实现

根据“buffer的申请”几种方式，我们实现多种不同的BufferWriter。

RecyclableBufferWriter

可回收的自动扩容BufferWriter，适合于大的缓冲区的场景。它的缓冲区通过ArrayPool来租赁，用完之后，要Dispose()归还到ArrayPool。优点是内存分配少，缺点是租赁比直接创建小的缓冲区还要慢。

var writer = new RecyclableBufferWriter<byte>(4);
writer.Write((byte)1);
writer.Write(new byte[] { 2, 3, 4 });
writer.WriteBigEndian(int.MaxValue);           
var writtern = writer.WrittenSpan; // 1,2,3,4,127,255,255,255

// return the buffer to pool
writer.Dispose();

ResizableBufferWriter

自动扩容的BufferWriter，适合小的动态缓冲区的场景。它的冲区通过new Array来创建，通过Array.Resize扩容。优点是cpu性能好，缺点是内存分配高。

var writer = new ResizableBufferWriter<byte>(4);
writer.Write((byte)1);
writer.Write(new byte[] { 2, 3, 4 });
writer.WriteBigEndian(int.MaxValue);           
var writtern = writer.WrittenSpan; // 1,2,3,4,127,255,255,255

FixedBufferWriter

固定大小缓冲区，就是我们自己new的Array，包装为IBufferWriter对象。

var array = new byte[16];

var writer = array.CreateWriter();
writer.WriteBigEndian(18);
writer.WriteBigEndian(2.01f);

4 IBufferWriter 的扩展

经常会遇到将int、double等诸多数字类型写入IBufferWriter的场景，期间还涉及平台的BigEndian或LittleEndian，我们给IBufferWriter<byte>编写重载的扩展方法。

5 ref BufferReader

同样的，我们也经常遇到从缓冲区中读取为int、double等诸多数字类型的场景，所以也需要设计一个高效的BufferReader。

public ref struct BufferReader
{
    /// <summary>
    /// 未读取的数据
    /// </summary>
    private ReadOnlySpan<byte> span;
}

给它设计ReadLittleEndian和ReadBigEndian相关Api

6 关于MemoryExtensions库

本文提到的这些类或结构体，在MemoryExtensions库里都有实现，可以直接使用，其中BufferWriter技术已经在WebApiClient里大量应用。