学无先后达者为师!
不忘初心,砥砺前行。

使用 SQLite 时,应该用内部 BLOB 还是外部 BLOB ?

当需要存储一些 BLOB 信息时,可以将完整的文件内容直接存储在数据库中,也可以将其存储在单独的文件中并仅将相应的文件名存储在数据库中。这两种方式里,哪个的读取速度更快呢?

为了尝试回答这个问题,我运行了 49 个测试案例,其中有各种 BLOB 大小和 SQLite 页面大小。对于每个测试案例,我创建了一个包含 100MB BLOB 内容的数据库。BLOB 的大小从 10KB 到 1MB 不等。BLOB 的数量是不同的,以保持总的 BLOB 内容在100MB左右(因此,1MB 大小的 BLOB 为100 个,10K 大小的 BLOB为 10000 个,以此类推)。使用了 SQLite 3.7.8 版本。

下面的表格显示了读取存储在独立文件中的 BLOB 所需的时间除以读取完全存储在数据库中的 BLOB 所需的时间。因此,对于大于 1.0 的数字,直接将 BLOB 存储在数据库中会更快。对于小于 1.0 的数字,将 BLOB 存储在单独的文件中会更快。

在每一种情况下,都会对页缓存的大小进行调整,使缓存内存的数量保持在 2MB 左右。BLOB 值是以随机顺序读取的。

数据库页大小BLOB 大小
10k20k50k100k200k500k1m
10241.5351.0200.6080.4560.3300.2470.233
20482.0041.4370.8700.6360.4830.3720.340
40962.2611.8861.1730.8900.7010.5260.487
81922.2401.8661.3341.0350.8300.6250.720
163842.4391.7571.2921.0230.8290.8200.598
327681.8781.8431.2960.9810.9760.6750.613
655361.2561.2551.3390.9830.7690.6870.609

从上面的矩阵中可以得出以下结论:

  • 数据库页面大小为 8192 或 16384 时,大型 BLOB 的 I/O 性能最好。
  • 对于小于 100KB 的 BLOB,当 BLOB 直接存储在数据库文件中时,读取速度会更快。
  • 对于大于 100KB 的 BLOB,从一个单独的文件中读取会更快。
赞(1) 打赏
未经允许不得转载:码农很忙 » 使用 SQLite 时,应该用内部 BLOB 还是外部 BLOB ?

评论 1

  1. #1

    与使用 fread() 或 fwrite() 从磁盘上读取或写入单个文件相比,SQLite 读取和写入小型 BLOB (例如,缩略图)的速度快 35%。

    此外,一个包含 10KB BLOB 的 SQLite 数据库所使用的磁盘空间比将这些 BLOB 存储在单个文件中要少大约 20%。

    性能差异的产生(我认为)是因为当使用 SQLite 数据库时,open() 和 close() 只被调用一次。而当使用存储在单个文件中的 BLOB 时,open() 和 close() 对每个 BLOB 均需调用。看来,调用 open() 和 close() 的开销要比使用数据库的开销大。

    大小的减少是由于单个文件被填充到文件系统块大小的下一个倍数,而 BLOB 则被更紧密地包装在 SQLite 数据库中。

    Soar、毅2年前 (2022-12-16)

给作者买杯咖啡

非常感谢你的打赏,我们将继续给力更多优质内容,让我们一起创建更加美好的网络世界!

支付宝扫一扫

微信扫一扫

登录

找回密码

注册