sqlite-vec：谁说SQLite不是向量数据库？

sqlite-vec 是一个 SQLite 向量搜索插件，具有以零依赖、轻量级、跨平台和高效 KNN 搜索等优势，是本地化向量检索（例如 RAG）、轻量级 AI 应用以及边缘计算等场景的理想工具。

sqlite-vec 使用纯 C 语言实现，零外部依赖，体积小巧，适用于各种 SQLite 运行环境（Linux、MacOS、Windows、WASM、Android、iOS、Raspberry Pi 等）。

sqlite-vec 基于 vec0 虚拟表实现了 float、int8 以及二进制向量的存储与相似查询，所有操作都基于 SQL 完成。

sqlite-vec 提供了多种编程语言（Python、Ruby、Node.js、Deno、Bun、Go、Rust 等）驱动，以下命令用于安装 Python 模块：

pip install sqlite-vec

接下来是一个在 Python 代码中使用 sqlite-vec 的简单示例：

import sqlite3
import sqlite_vec

from typing import List
import struct


def serialize_f32(vector: List[float]) -> bytes:
    """serializes a list of floats into a compact "raw bytes" format"""
    return struct.pack("%sf" % len(vector), *vector)


db = sqlite3.connect(":memory:")
db.enable_load_extension(True)
sqlite_vec.load(db)
db.enable_load_extension(False)

sqlite_version, vec_version = db.execute(
    "select sqlite_version(), vec_version()"
).fetchone()
print(f"sqlite_version={sqlite_version}, vec_version={vec_version}")

items = [
    (1, [0.1, 0.1, 0.1, 0.1]),
    (2, [0.2, 0.2, 0.2, 0.2]),
    (3, [0.3, 0.3, 0.3, 0.3]),
    (4, [0.4, 0.4, 0.4, 0.4]),
    (5, [0.5, 0.5, 0.5, 0.5]),
]
query = [0.3, 0.3, 0.3, 0.3]

db.execute("CREATE VIRTUAL TABLE vec_items USING vec0(embedding float[4])")

with db:
    for item in items:
        db.execute(
            "INSERT INTO vec_items(rowid, embedding) VALUES (?, ?)",
            [item[0], serialize_f32(item[1])],
        )

rows = db.execute(
    """
      SELECT
        rowid,
        distance
      FROM vec_items
      WHERE embedding MATCH ?
      ORDER BY distance
      LIMIT 3
    """,
    [serialize_f32(query)],
).fetchall()

print(rows)

代码运行的结果如下：

sqlite_version=3.45.3, vec_version=v0.1.6
[(3, 0.0), (4, 0.19999998807907104), (2, 0.20000001788139343)]

更多的介绍和示例可以参考网址：

https://alexgarcia.xyz/sqlite-vec/

另外，这个开源项目的作者还提供了两个用于生成文本嵌入（Text Embedding）的项目，配合 sqlite-vec 使用更加方便：

• sqlite-rembed，基于远程 API（OpenAI、Nomic、Ollama 等）生成文本嵌入；
• sqlite-lembed，基于 .gguf 格式的本地嵌入模型生成文本嵌入。