省网站建设用asp做网站

省网站建设,用asp做网站,做异地送花网站,女装标题优化关键词当文档库规模扩张时向量数据库肯定会跟着膨胀。百万级甚至千万级的 embedding 存储#xff0c;float32 格式下的内存开销相当可观。 好在有个经过生产环境验证的方案#xff0c;在保证检索性能的前提下大幅削减内存占用#xff0c;它就是Binary Quantization#xff08;二…当文档库规模扩张时向量数据库肯定会跟着膨胀。百万级甚至千万级的 embedding 存储float32 格式下的内存开销相当可观。好在有个经过生产环境验证的方案在保证检索性能的前提下大幅削减内存占用它就是Binary Quantization二值化量化本文会逐步展示如何搭建一个能在 30ms 内查询 3600 万向量的 RAG 系统用的就是二值化 embedding。二值化量化解决什么问题常规 embedding 用 float32 存储单个 embedding1024 维占 4 KB 左右3600 万个 embedding 就是 144 GB二值化量化把每个维度压缩成 1 bit同样的 embedding 只需 128 bytes3600 万个 embedding 降到 4.5 GB内存直接减少约 32 倍而且位运算做相似度搜索更快。精度损失与应对策略二值化量化确实会带来精度损失这点不能回避。从 float32 直接压缩到 1 bit信息丢失不可避免根据测试数据显示纯二值检索的准确度会下降到 92.5% 左右。不过这个问题有成熟的解决方案。Oversampling过采样检索时多拿一些候选结果。比如本来只需要 top-5可以先检索 top-20 或 top-50用数量换精度抵消量化造成的分辨率损失。Rescoring重排序先用二值向量快速筛选候选集然后用原始的 float32 向量重新计算相似度并排序。具体做法是把全精度向量存在磁盘、二值向量和索引放内存检索时先用内存里的二值索引快速找到候选再从磁盘加载原始向量做精确评分。这两个技术组合使用能把准确度拉回到 95%-96%对大多数 RAG 应用来说够用了。使用限制维度小于 1024 的 embedding 不建议用二值化。维度太小时1 bit 能保留的信息不足准确度会掉得比较厉害。所以这个技术更适合高维向量≥1024 维和大规模数据集。相比之下float8 这类低位浮点格式在 4 倍压缩下性能损失不到 0.3%但内存节省远不如二值化激进。32 倍的压缩率带来的精度代价需要根据具体场景权衡。数据加载先用 LlamaIndex 的 directory reader 读取文档。支持的格式挺全PDF、Word、Markdown、PowerPoint、图片、音频、视频都行。LLM 配置from llama_index.llms.groq import Groq from llama_index.core.base.llms.types import ( ChatMessage, MessageRole ) llm Groq( modelMiniMaxAI/MiniMax-M2.1, api_keygroq_api_key, temperature0.5, max_tokens1000 ) Moonshot Al prompt_template ( Context information is below.\n -----\n CONTEXT: {context}\n Given the context information above think step by step to answer the users query in a crisp and concise manner. In case you dont know the answer say I dont know!.\n QUERY: {query}\n ANSWER: ) query Provide concise breakdown of the document prompt prompt_template.format(contextfull_context, queryquery) user_msg ChatMessage(roleMessageRole.USER, contentprompt) # Stream response from LLM streaming_response llm.stream_complete(user_msg.content)LLM 配置完成下一步开始对文件进行索引二值 Embedding 生成我们先生成标准 float32 embedding然后用简单阈值转成二值向量。每个维度的转换规则值 0 →1否则 →0Query Embedding 和二值化# Generate float32 query embedding query_embedding embed_model.get_query_embedding(query) # Apply binary quantization to query binary_query binary_quantize(query_embedding) # Perform similarity search using Milvus search_results client.search( ) collection_namefastest-rag, data[binary_query], Similarity search anns_fieldbinary_vector, search_params{metric_type: HAMMING}, output_fields[context], limit5 # Retrieve top 5 similar chunks # Store retrieved context full_context [] for res in search_results: context res [payload][context] full_context.append(context)为什么用 Hamming distance 它是二值向量的天然相似度度量计算速度极快。Milvus Schema 和索引设置from pymilvus import MilvusClient, DataType # Initialize client and schema client MilvusClient(milvus_binary_quantized.db) schema client.create_schema (auto_idTrue, enable_dynamic_fieldsTrue) # Add fields to schema schema.add_field(field_namecontext, datatypeDataType. VARCHAR) schema.add_field(field_namebinary_vector, datatypeDataType.BINARY_VECTOR) # Create index parameters for binary vectors index_params client.prepare_index_params() index_params.add_index( Specify index params field_namebinary_vector, index_namebinary_vector_index, index_typeBIN_FLAT, # Exact search for binary vectors metric_typeHAMMING # Hamming distance for binary vectors ) # Create collection with schema and index client.create_collection( collection_namefastest-rag, schemaschema, ) index_paramsindex_params Create collection # Insert data to index client.insert( collection_namefastest-rag, Insert data data[ {context: context, binary_vector: binary_embedding} for context, binary_embedding in zip(batch_context, binary_embeddings) ] )这套配置能让 Milvus 高效处理数千万级别的向量。检索流程检索时的数据流用户 query 转 embeddingembedding 转二值向量用 Hamming distance 做二值检索返回 top-k 相关文本块文档 Embedding 的二值化处理import numpy as np from llama_index.embeddings.huggingface import HuggingFaceEmbedding embed_model HuggingFaceEmbedding( model_nameBAAI/bge-large-en-v1.5, trust_remote_codeTrue, cache_folder./hf_cache ) for context in batch_iterate(documents, batch_size512): # Generate float32 vector embeddings batch_embeds embed_model.get_text_embedding_batch(context) # Convert float32 vectors to binary vectors embeds_array np.array(batch_embeds) binary_embeds np.where(embeds_array 0, 1, 0).astype(np.uint8) # Convert to bytes array packed_embeds np.packbits(binary_embeds, axis1) byte_embeds [vec.tobytes() for vec in packed_embeds] binary_embeddings.extend(byte_embeds)这个转换过程快、简单、效果好。LLM 生成环节检索到 top-k 文本块后用结构化 prompt 喂给 LLM。# Combine retrieved contexts full_context \n\n.join(full_context) # Format prompt with context and query prompt prompt_template.format(contextfull_context, queryquery) # Create chat message user_msg ChatMessage(roleMessageRole.USER, contentprompt) # Stream response from LLM streaming_response llm.stream_complete(user_msg.content) # Display streaming response for chunk in streaming_response: print(chunk.delta, end, flushTrue)这里把检索到的多个文本块拼接起来填充到 prompt template 里。LLM 会基于这些上下文生成回答。如果检索内容里没有答案LLM 会直接回复 “I don’t know!”。总结二值化量化在大规模 RAG 系统中的价值已经得到验证。32 倍的内存压缩率配合 Hamming distance 的计算效率使得在资源受限环境下部署千万级向量检索成为可能。精度损失是这个方案的代价但 oversampling rescoring 的组合能将准确度维持在 95% 以上这对多数应用场景足够。Perplexity、Azure、HubSpot 的生产实践说明这套方案已经过大规模验证。不过具体部署时还是要根据数据特征做测试尤其是 rescoring 的候选集大小oversampling factor需要根据实际召回率调整。https://avoid.overfit.cn/post/3a922ea4c69b4e2883a63da1d314dadb作者Algo Insights