详细介绍
Tichy 是一个用 Go 实现的自包含、以隐私为中心的检索增强生成（RAG）系统，旨在在本地部署完整的向量化检索与推理流程。项目将 PostgreSQL + pgvector 用作向量存储，并通过 llama.cpp 提供本地嵌入与推理服务，从而避免将数据发送到外部 LLM 服务，适合对数据隐私与可控性有较高要求的应用场景。
主要特性
- 本地化部署：所有数据与模型在本地运行，不依赖外部 LLM 提供商。
- 完整 RAG 流程：文档分片、嵌入、向量索引、检索与基于 llama.cpp 的推理。
- 支持模型与服务容器化（Docker Compose）便于工程化部署与扩展。
- 提供命令行工具用于数据摄取、对话与评估。
使用场景
- 隐私敏感的问答系统与聊天助手，在本地保存用户数据并进行上下文检索。
- 企业或研究环境下的知识库构建与离线评估 RAG 性能。
- 边缘或受限网络环境中，使用本地 GGUF 模型完成嵌入与推理。
技术特点
- 基于语义嵌入的检索，结合
pgvector提供高效向量查询。 - 以工程化为导向的轻量 Go 实现，支持与现有服务通过 HTTP 接口集成。
- 可选的 GPU 加速（llama.cpp + CUDA）或 CPU 模式，兼顾性能与可移植性。