推广项目网站黑马程序员线上课程

推广项目网站,黑马程序员线上课程,婚庆公司排名,视频素材库AI大模型Conda 使用指南1. Conda 基本介绍1.1 什么是Conda、MiniConda、Anaconda1.2 Anaconda 和 Miniconda 区别#xff1f;1.3 为什么要使用 Conda#xff1f;2 Conda 安装2.1 Miniconda 下载安装3. Conda 常用命令3.1 基本命令3.2 环境管理语法3.3 包管理1 什么是检索增强…AI大模型Conda 使用指南1. Conda 基本介绍1.1 什么是Conda、MiniConda、Anaconda1.2 Anaconda 和 Miniconda 区别1.3 为什么要使用 Conda2 Conda 安装2.1 Miniconda 下载安装3. Conda 常用命令3.1 基本命令3.2 环境管理语法3.3 包管理1 什么是检索增强的生成模型RAGConda 使用指南参考: https://blog.csdn.net/qq_41242500/article/details/1461349001. Conda 基本介绍1.1 什么是Conda、MiniConda、AnacondaConda是一个包和环境管理的工具。支持Windows、macOS和Linux。Conda可以快速的安装、运行和更新包和相关的依赖。Conda也可以轻易地创建、保存、加载和转换环境。Anaconda 是一个用于科学计算的 Python 发行版支持 Linux, Mac, Windows,包含了conda、conda-build、Python和众多科学计算的包及其依赖。Miniconda 是一个 Anaconda 的轻量级替代默认只包含了 condaPython 和一些它们所以依赖的包。1.2 Anaconda 和 Miniconda 区别Miniconda 是 Anaconda的精简版本同样也是一个开源环境两者都是conda系统的一部分。不同之处在于Anaconda会预先安装许多常用的Python套件因此占用较多的硬盘空间。相比之下Miniconda 因为名为 ”Mini”因此仅安装运行所需的基本套件对于有多个不同Python 版本共存的情況可以节省大量空间。Miniconda可以依据自己需求建立自己的Python环境想要的套件自行安装。1.3 为什么要使用 Conda一个典型的Python 项目会使用多个包来完成其功能。其中一些包也可能被其他项目所使用共享。 项目之间共享的包可能会引起冲突。比如我们有两个项目P1和P2P1使用NumPy 1.2版本而P2需要NumPy 1.3版本一个环境中存在两个版本就可能导致冲突。解决这个问题的办法就是使用虚拟环境。我们可以为每个项目分别创建一个独立的虚拟环境来隔离包冲突。常用的Python虚拟环境管理工具有Virtualenv Conda pipenv venv通过使用这些工具我们可以很容易的创建虚拟环境。2 Conda 安装2.1 Miniconda 下载安装官网下载地址 https://www.anaconda.com/download/successAnaconda Installers vs Miniconda Installers下载后依据指引进行 Miniconda 安装。2.2 使用 Anaconda Powershell Prompt 终端安装完成后打开终端 Anaconda Powershell Prompt 如果有看到命令列提示中的base那表示安装成功。我们可以输入 Python --version 确认 Python版本。3. Conda 常用命令3.1 基本命令conda –help# 查看帮助conda info# 查看 conda 信息conda --version# 查看 conda 版本conda update conda# 更新Conda慎用conda clean –all# 清理不再需要的包conda指令--help# 查看某一个指令的详细帮助conda config --show#查看 conda 的环境配置conda clean -p# 清理没有用没有安装的包conda clean -t# 清理 tarballconda clean --all# 清理所有包和 conda 的缓存文件3.2 环境管理3.2.1 创建 Conda 环境使用 conda 可以在电脑上创建很多套相互隔离的Python环境命令如下语法# 语法conda create --nameenv_namepythonversion[package_name1][package_name2][...]# 样例创建一个名为 learn 的环境python版本为3.10conda create --name learnpython3.10# name 可以简写为 -n3.2.2 切换 Conda 环境前面说到Conda可以创建多套相互隔离的Python环境使用 conda activate env_name 可以切换不同的环境。# 语法conda activate env_name# 样例切换到 learn 环境conda activate learn如果要退出此环境回到基础环境可以使用如下命令# 退出当前环境conda deactivate3.2.3 查看 Conda 环境当电脑上安装了很多台Conda环境的时候可以使用 conda env list 命令查看所有已创建的Conda环境。# 查看当前电脑上所有的conda环境condaenvlist3.2.4 删除某个 Conda 环境# 语法conda remove --nameenv_name--all# 样例conda remove --name learn --all3.2.5 克隆环境# 语法conda create --namenew_evn_name--cloneold_env_name# 样例conda create --name myclone --clone myenv3.3 包管理一旦激活了环境你就可以使用 conda 和 pip 在当前环境下安装你所需要的包。在conda环境中不建议使用 pip。3.3.1 安装包在激活的环境中安装包例如安装NumPycondainstallnumpy可以使用以下命令安装特定版本的包condainstallnumpy1.183.3.2 更新包#更新某个包到最新版本conda update numpy# 更新所有包到最新版本慎用conda update all执行命令后conda将会对版本进行比较并列出可以升级的版本。同时也会告知用户其他相关包也会升级到相应版本。当较新的版本可以用于升级时终端会显示Proceed ([y]/n)? 此时输入 y 即可进行升级。3.3.3 卸载包如果不再需要某个包可以将其卸载conda remove numpy3.3.4 列出环境中的所有包查看当前环境中已安装的所有包conda list查看当前虚拟环境中已安装的某个包的信息conda list pip3.3.5 搜索包搜索可用的包及其版本信息conda search package-name3.4 使用通道Conda通道Channel是Conda用来查找和下载软件包的源。通道就像是软件仓库用户可以从这些通道中获取需要的软件包。理解和有效管理Conda通道可以帮助用户更好地控制软件包的来源、版本以及稳定性。主要通道默认通道这是Conda自带的官方通道由Anaconda维护包含了常用的数据科学和机器学习包。默认通道提供的包经过测试和优化通常是稳定且值得信赖的。Conda-ForgeConda-Forge是一个社区驱动的通道拥有数量庞大的软件包和活跃的维护者社区。通常情况下Conda-Forge提供更多的最新软件包版本对于一些在默认通道中没有的包来说尤为重要。由于是社区维护更新速度快适合需要最新特性和支持的用户。Bioconda专为生物信息学和生物数据分析设计的通道。包含很多用于生物数据处理和分析的工具。查看已配置的通道你可以使用以下命令查看当前配置的通道列表conda config --show channels添加新的通道如果需要从其他通道安装包可以将其添加到Conda配置中。例如添加Conda-Forgeconda config --add channels conda-forge设置通道顺序通道是按顺序搜索的优先使用在前面的通道。可以通过以下命令调整顺序conda config --set channel_priority strict使用strict优先级时Conda会严格按照通道顺序来选择包。删除通道如果不需要某个通道可以将其移除conda config --remove channels channel-name临时使用特定通道你可以在安装包时临时指定通道而不改变全局配置。例如condainstallpackage-name -c conda-forge这样做会从Conda-Forge通道安装指定的包。通道优先级Conda允许设置通道优先级以决定从哪个通道下载软件包。默认情况下Conda会根据通道列表的顺序依次查找包。你可以通过以下命令启用或禁用通道优先级# 启用优先级conda config --set channel_prioritytrue# 禁用优先级conda config --set channel_priorityfalse启用优先级后Conda会严格根据通道顺序来选择包确保从首选通道安装。创建自定义通道如果你需要在团队中共享包或者需要托管私有包可以创建自己的Conda通道。自定义通道可以通过简单的HTTP服务器如NGINX或Apache托管或者使用Anaconda的企业解决方案。3.5 设置镜像为了提高Conda包的下载速度特别是在网络连接到默认的Conda服务器速度较慢的情况下设置国内镜像或其他更接近你的地理位置的镜像是一个常见且有效的方法。以下是如何设置Conda镜像的步骤方法一通过命令行配置你可以使用 conda config 命令来添加镜像。例如使用清华大学的Anaconda镜像。打开命令提示符或终端。添加镜像URLconda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2 conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/menpo conda config --set show_channel_urlsyes默认情况下conda config添加的通道会排在列表的头部但你可以通过以下命令来确认顺序conda config --show channels方法二通过修改配置文件你也可以直接修改Conda的配置文件来设置镜像找到并编辑Conda的配置文件~/.condarcLinux和macOS或 C:\Users用户名.condarcWindows。TUNA 提供了 Anaconda 仓库与第三方源conda-forge、msys2、pytorch等各系统都可以通过修改用户目录下的 .condarc 文件来使用 TUNA 镜像源。Windows 用户无法直接创建名为 .condarc 的文件可先执行 conda config –-set show_channel_urls yes 生成该文件之后再修改。添加或修改如下内容channels: - defaults show_channel_urls:truedefault_channels: - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r - https:// mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2 custom_channels: conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud deepmodeling: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/运行 conda clean -i 清除索引缓存保证用的是镜像站提供的索引。验证和测试在设置完镜像后你可以通过安装软件包来测试镜像是否工作正常。例如condainstallnumpy查看输出的信息确保包是从你设置的镜像URL下载的。3.6 环境导入与导出导出环境将当前环境导出为一个YAML文件方便共享condaenvexportenvironment.yml从文件创建环境使用YAML文件创建一个新环境condaenvcreate -f environment.yml4 Mamba 使用Mamba是一个用于管理Conda环境和包的开源工具旨在解决Conda在处理大型环境时的速度和性能问题。它与Conda兼容但提供更快的依赖解析和包安装这使得它在处理复杂环境时更加高效。Mamba的关键特点快速的依赖解析Mamba使用一个高效的C库进行依赖解析这使得在面对复杂的包依赖时能更快地找到解决方案。并行下载Mamba可以并行下载和安装包这大大减少了安装时间特别是在需要下载大量包的情况下。与Conda兼容Mamba可以无缝替代Conda的命令你可以在几乎所有Conda命令中直接使用mamba来替换conda。更好的用户体验提供更直观的输出信息和进度条让用户可以更清晰地了解安装进度和过程。安装Mamba要安装Mamba你首先需要一个Conda环境。以下是在已有Conda环境中安装Mamba的步骤如果你希望在特定环境中安装Mamba可以先激活该环境conda activate myenv你可以通过Conda-Forge通道安装Mamba因为Mamba在该通道上维护得很好condainstallmamba -n base -c conda-forge这里 -n base 表示将Mamba安装在base环境中这样你可以在任何环境中使用Mamba。使用MambaMamba可以直接替代Conda的命令。以下是一些常见的Conda命令及其Mamba等效用法创建环境mamba create –name myenvpython3.8激活环境conda activate myenv Mamba不改变环境激活命令你仍然使用Conda的激活命令 安装包mambainstallnumpy 更新包mamba update numpy 删除包mamba remove numpy 更新环境中的所有包mamba update –all优势速度Mamba在处理包管理和环境解决时速度快得多这对大环境尤其有用。效率并行下载和安装机制使得整体过程更加高效。兼容性能够无缝替代Conda并与其生态系统兼容。局限性新兴工具作为一个较新的工具Mamba可能在某些边缘情况下不如Conda稳定。社区支持虽然Mamba的社区在快速增长但它仍然没有Conda那么成熟。Jupyter Lab 使用5.1 Jupyter 介绍JupyterLab 是最新的基于 Web 的交互式开发环境适用于notebooks、代码和数据。其灵活的界面允许用户配置和安排数据科学、科学计算、计算新闻和机器学习中的工作流程。模块化设计允许扩展来扩展和丰富功能。5.2 Jupyter 安装使用使用 安装 JupyterLab pippipinstalljupyterlab注意如果您使用 conda 或 mamba 安装 JupyterLab我们建议使用 conda-forge 通道。安装后使用以下命令启动 JupyterLabjupyter labPyCharm 中使用 Conda 环境1创建项目所需要的虚拟环境conda create -n llamaindex-ragpython3.102创建项目选择 自定义环境 类型选择 Conda 环境选择 llamaindex-rag点击 创建 即可3查看项目环境配置注意项目中需要另外的依赖库直接到 Conda Powershell Prompt 终端下激活 llamaindex-rag 环境使用 pip 安装依赖库即可1 什么是检索增强的生成模型RAG1.1 大模型目前固有的局限性LLM的知识不是实时的LLM可能不知道你私有的领域/业务知识1.2 检索增强生成RAGRetrieval Augemented Generation顾名思义通过检索的方法来增强生成模型的能力。你可以把这个过程想象成开卷考试。让LLM先翻书再回答问题。