您现在的位置是：网站首页 > Buffer的创建与操作文章详情
Buffer的创建与操作
陈川
【
Node.js
】
43281人已围观
7951字
在Node.js中，Buffer类用于处理二进制数据流，尤其在文件操作、网络通信等场景中至关重要。它提供了一种直接操作内存的方式，能够高效地处理原始数据。
Buffer的创建方式
Buffer可以通过多种方式创建，每种方式适用于不同的场景。以下是常见的创建方法：
1. 分配固定大小的Buffer
// 创建一个长度为10的未初始化的Buffer
const buf1 = Buffer.alloc(10);
console.log(buf1); // <Buffer 00 00 00 00 00 00 00 00 00 00>
// 创建一个长度为5的Buffer，并用1填充
const buf2 = Buffer.alloc(5, 1);
console.log(buf2); // <Buffer 01 01 01 01 01>
2. 创建未初始化的Buffer（更快但可能包含旧数据）
const buf3 = Buffer.allocUnsafe(10);
console.log(buf3); // 内容不确定，可能包含旧数据
3. 从数组创建Buffer
const buf4 = Buffer.from([0x62, 0x75, 0x66, 0x66, 0x65, 0x72]);
console.log(buf4.toString()); // "buffer"
4. 从字符串创建Buffer
const buf5 = Buffer.from('Hello World', 'utf8');
console.log(buf5); // <Buffer 48 65 6c 6c 6f 20 57 6f 72 6c 64>
Buffer的编码与解码
Buffer支持多种编码格式，常见的有：
1. 字符串编码/解码
const buf = Buffer.from('你好', 'utf8');
console.log(buf.toString('hex')); // e4bda0e5a5bd
console.log(buf.toString('base64')); // 5L2g5aW9
2. 支持的编码类型
- 'utf8'（默认）
- 'ascii'
- 'utf16le'
- 'ucs2'（'utf16le'的别名）
- 'base64'
- 'base64url'
- 'latin1'
- 'binary'（'latin1'的别名）
- 'hex'
Buffer的读写操作
1. 写入数据
const buf = Buffer.alloc(10);
buf.write('Hello', 0, 5, 'utf8');
console.log(buf.toString()); // Hello
2. 读取数据
const buf = Buffer.from([0x48, 0x65, 0x6c, 0x6c, 0x6f]);
console.log(buf[0]); // 72 (0x48的十进制)
console.log(buf.toString('utf8', 0, 5)); // "Hello"
3. 修改数据
const buf = Buffer.from('Hello');
buf[1] = 0x61; // 修改第二个字节为'a'的ASCII码
console.log(buf.toString()); // "Hallo"
Buffer的常用方法
1. 复制Buffer
const buf1 = Buffer.from('Hello');
const buf2 = Buffer.alloc(5);
buf1.copy(buf2);
console.log(buf2.toString()); // "Hello"
2. 比较Buffer
const buf1 = Buffer.from('1234');
const buf2 = Buffer.from('0123');
console.log(Buffer.compare(buf1, buf2)); // 1 (buf1 > buf2)
3. 合并Buffer
const buf1 = Buffer.from('Hello');
const buf2 = Buffer.from(' ');
const buf3 = Buffer.from('World');
const combined = Buffer.concat([buf1, buf2, buf3]);
console.log(combined.toString()); // "Hello World"
Buffer与TypedArray
Buffer实例也是Uint8Array实例，可以与JavaScript的TypedArray互操作：
const buf = Buffer.from([1, 2, 3, 4]);
const uint32array = new Uint32Array(buf.buffer, buf.byteOffset, buf.byteLength / 4);
console.log(uint32array); // Uint32Array [ 67305985 ] (0x04030201的小端表示)
Buffer的性能考虑
1. 内存分配策略
Buffer.alloc()：安全但稍慢Buffer.allocUnsafe()：快速但可能包含敏感数据Buffer.allocUnsafeSlow()：不从共享内存池分配
2. 大Buffer处理
// 处理大文件时使用流式API
const fs = require('fs');
const readStream = fs.createReadStream('largefile.txt');
readStream.on('data', (chunk) => {
// 处理每个Buffer块
});
Buffer的安全注意事项
1. 内存泄漏风险
// 错误示例：将Buffer存储在全局变量中
global.bigBuffer = Buffer.alloc(1024 * 1024 * 100); // 100MB
2. 敏感数据处理
// 安全处理密码等敏感数据
const sensitiveData = Buffer.from('myPassword123');
// 使用后立即清除
sensitiveData.fill(0);
Buffer与Stream的结合使用
Buffer在流处理中扮演重要角色：
const fs = require('fs');
const zlib = require('zlib');
// 文件压缩示例
const input = fs.createReadStream('input.txt');
const output = fs.createWriteStream('input.txt.gz');
const gzip = zlib.createGzip();
input.pipe(gzip).pipe(output);
Buffer在现代Node.js中的变化
从Node.js v6开始，Buffer构造函数已被弃用，推荐使用Buffer.from()、Buffer.alloc()和Buffer.allocUnsafe()方法。这种变化主要是出于安全考虑：
// 不推荐（已废弃）
const deprecatedBuf = new Buffer('abc');
// 推荐
const safeBuf = Buffer.from('abc');
Buffer的实用技巧
1. 快速转换十六进制字符串
const hexString = '68656c6c6f';
const buf = Buffer.from(hexString, 'hex');
console.log(buf.toString()); // "hello"
2. 创建JSON兼容的Buffer表示
const buf = Buffer.from('test');
const json = JSON.stringify(buf);
console.log(json); // {"type":"Buffer","data":[116,101,115,116]}
const parsed = JSON.parse(json);
const newBuf = Buffer.from(parsed.data);
console.log(newBuf.toString()); // "test"
3. 检查对象是否为Buffer
const buf = Buffer.from('test');
console.log(Buffer.isBuffer(buf)); // true
console.log(Buffer.isBuffer({})); // false
Buffer与文件系统操作
Buffer常用于文件读写操作：
const fs = require('fs');
// 读取文件到Buffer
fs.readFile('example.txt', (err, data) => {
if (err) throw err;
console.log(data); // <Buffer ...>
// 修改Buffer内容
data[0] = 0x41; // 改为'A'的ASCII码
// 写回文件
fs.writeFile('modified.txt', data, (err) => {
if (err) throw err;
});
});
Buffer在网络编程中的应用
在网络通信中，Buffer用于处理TCP流、HTTP请求体等：
const net = require('net');
const server = net.createServer((socket) => {
socket.on('data', (data) => {
// data是一个Buffer
console.log(`Received ${data.length} bytes`);
// 处理Buffer数据
const upper = data.toString().toUpperCase();
socket.write(Buffer.from(upper));
});
});
server.listen(3000);
Buffer与加密模块
加密操作通常需要Buffer作为输入输出：
const crypto = require('crypto');
const hash = crypto.createHash('sha256');
hash.update(Buffer.from('secret data'));
const digest = hash.digest('hex');
console.log(digest); // 64位十六进制哈希值
Buffer的迭代与遍历
可以像数组一样遍历Buffer：
const buf = Buffer.from('ABC');
// 使用for...of
for (const byte of buf) {
console.log(byte); // 65, 66, 67
}
// 使用forEach
buf.forEach((byte) => {
console.log(byte); // 65, 66, 67
});
Buffer的切片操作
可以使用slice()方法创建Buffer的视图：
const buf1 = Buffer.from('Hello World');
const buf2 = buf1.slice(0, 5);
console.log(buf2.toString()); // "Hello"
// 注意：切片与原Buffer共享内存
buf2[0] = 0x4a;
console.log(buf1.toString()); // "Jello World"
Buffer的填充操作
fill()方法可以填充Buffer：
const buf = Buffer.alloc(10);
buf.fill('a', 2, 6);
console.log(buf.toString()); // "\x00\x00aaaa\x00\x00\x00\x00"
Buffer的查找操作
可以在Buffer中搜索特定值：
const buf = Buffer.from('This is a buffer');
console.log(buf.indexOf('is')); // 2
console.log(buf.indexOf(Buffer.from('a'))); // 8
console.log(buf.includes('buffer')); // true
Buffer的字节序处理
Buffer默认使用小端字节序，但可以显式处理：
const buf = Buffer.allocUnsafe(4);
// 写入32位无符号整数（小端）
buf.writeUInt32LE(0x12345678, 0);
console.log(buf); // <Buffer 78 56 34 12>
// 写入32位无符号整数（大端）
buf.writeUInt32BE(0x12345678, 0);
console.log(buf); // <Buffer 12 34 56 78>
Buffer与ES6迭代器
Buffer实现了迭代器协议：
const buf = Buffer.from([1, 2, 3]);
// 使用展开运算符
const arr = [...buf];
console.log(arr); // [1, 2, 3]
// 使用Array.from
const arr2 = Array.from(buf);
console.log(arr2); // [1, 2, 3]
Buffer的交换方法
swap16()、swap32()和swap64()方法可以交换字节序：
const buf = Buffer.from([0x1, 0x2, 0x3, 0x4]);
buf.swap16();
console.log(buf); // <Buffer 02 01 04 03>
Buffer的内存管理
理解Buffer的内存分配机制很重要：
// 小Buffer从预分配的池中获取内存
const smallBuf = Buffer.alloc(10);
// 大Buffer直接分配内存
const bigBuf = Buffer.alloc(1024 * 1024); // 1MB
// 查看Buffer池大小
console.log(Buffer.poolSize); // 8192 (默认值)
Buffer与异步操作
Buffer常用于异步I/O操作：
const fs = require('fs').promises;
async function readFile() {
try {
const data = await fs.readFile('example.txt');
console.log(data.toString());
} catch (err) {
console.error(err);
}
}
readFile();
Buffer的实用工具方法
Node.js提供了一些Buffer相关的工具方法：
// 检查编码是否有效
console.log(Buffer.isEncoding('utf8')); // true
console.log(Buffer.isEncoding('invalid')); // false
// 获取字符串的字节长度
console.log(Buffer.byteLength('你好')); // 6 (UTF-8编码)
Buffer与Blob的互操作
在现代Node.js版本中，Buffer可以与Blob互转：
const { Blob } = require('buffer');
const buf = Buffer.from('hello');
const blob = new Blob([buf]);
console.log(blob.size); // 5
// 从Blob读取为Buffer
blob.arrayBuffer().then((ab) => {
const newBuf = Buffer.from(ab);
console.log(newBuf.toString()); // "hello"
});
上一篇： Buffer的设计初衷
下一篇： 字符编码处理
