【RAG】内部外挂知识库搭建-本地GPT

搭建local GPT：https://github.com/PromtEngineer/localGPT
==》本地版的 GPT，可以下載 source code

学习视频：https://www.youtube.com/watch?v=MlyoObdIHyo

1、Clone code

git clone https://github.com/PromtEngineer/localGPT.git

2、安装 conda：https://www.anaconda.com/download-success
3、安装pip依赖：pip install -r requirements.txt
4、安装 LLAMA-CPP ：
LocalGPT 使用 LlamaCpp-Python 进行 GGML（需要 llama-cpp-python <=0.1.76）和 GGUF（llama-cpp-python >=0.1.83）模型。

苹果芯片用：

# Example: METAL
CMAKE_ARGS="-DLLAMA_METAL=on"  FORCE_CMAKE=1 pip install llama-cpp-python==0.1.83 --no-cache-dir

NVIDIA芯片用：

# Example: cuBLAS
CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install llama-cpp-python==0.1.83 --no-cache-dir

docker官方文档：https://www.dockerdocs.cn/engine/index.html

基本概念
https://ithelp.ithome.com.tw/users/20120030/ironman/5515

效果
https://docs.google.com/presentation/d/1dkfd9cAwsHfM2jdKtn6RHixecoD6X1lF2Mby60YxmT4/edit#slide=id.g201e72434cd_0_245

参考学习：https://blog.csdn.net/u013010473/category_11657660.html?spm=1001.2014.3001.5482

将文件放入 SOURCE_DOCUMENTS 文件夹中。在 SOURCE_DOCUMENTS 文件夹中放置多个文件夹，代码将递归读取文件。

LocalGPT 目前支持以下文件格式。 LocalGPT 使用 LangChain 来加载这些文件格式。 Constants.py 中的代码使用 DOCUMENT_MAP 字典将文件格式映射到相应的加载器。为了添加对其他文件格式的支持，只需添加该字典以及该文件格式和来自 LangChain 的相应加载器即可。

DOCUMENT_MAP = {
    ".txt": TextLoader,
    ".md": TextLoader,
    ".py": TextLoader,
    ".pdf": PDFMinerLoader,
    ".csv": CSVLoader,
    ".xls": UnstructuredExcelLoader,
    ".xlsx": UnstructuredExcelLoader,
    ".docx": Docx2txtLoader,
    ".doc": Docx2txtLoader,
}

Lotay_天天

【RAG】内部外挂知识库搭建-本地GPT