网站备案多久通过网站怎么上传ftp

网站备案多久通过,网站怎么上传ftp,python语言是什么,杭州设计公司老总Doris 调优核心围绕资源利用率#xff08;内存 / CPU/I/O#xff09;、查询性能、导入效率和集群稳定性展开#xff0c;需结合硬件环境#xff08;CPU / 内存 / 磁盘类型#xff09;、业务场景#xff08;高并发点查 / 大数据量分析 / 高吞吐导入#xff09;和数据特征内存 / CPU/I/O、查询性能、导入效率和集群稳定性展开需结合硬件环境CPU / 内存 / 磁盘类型、业务场景高并发点查 / 大数据量分析 / 高吞吐导入和数据特征数据量 / 分区粒度 / 查询模式定制配置。以下是分维度的调优方案包含参数说明、适用场景和推荐值。一、调优前置基础环境优化调优前需确保底层环境适配 Doris 运行特性避免系统层瓶颈掩盖参数调优效果。1. 操作系统核心参数所有节点# 1. 调整文件描述符避免打开文件数不足 echo * soft nofile 1048576 /etc/security/limits.conf echo * hard nofile 1048576 /etc/security/limits.conf # 2. 虚拟内存避免OOM和内存映射限制 echo vm.max_map_count2000000 /etc/sysctl.conf echo vm.overcommit_memory1 /etc/sysctl.conf # 允许内存超分配分析场景友好 echo vm.swappiness0 /etc/sysctl.conf # 禁用swap优先使用物理内存 # 3. 网络优化高并发查询/导入 echo net.core.somaxconn65535 /etc/sysctl.conf # 监听队列上限 echo net.ipv4.tcp_tw_reuse1 /etc/sysctl.conf # 复用TIME_WAIT连接 echo net.ipv4.tcp_keepalive_time60 /etc/sysctl.conf # 缩短保活时间 sysctl -p2. 硬件适配建议组件硬件配置建议说明FE 节点8 核 32G推荐 16 核 64G、SSD元数据和查询调度依赖内存BE 节点16 核 64G、SSD分析场景/NVMe高吞吐I/O 是核心瓶颈磁盘单节点挂载多块磁盘做 RAID0 / 条带化分散 I/O 压力二、FEFrontend调优FE 负责元数据管理、查询解析 / 调度调优核心是内存控制、JVM 性能和调度效率。1. JVM 内存调优fe.confFE 基于 JVM 运行内存不足会导致 GC 频繁、查询超时需根据节点规格调整# 基础配置生产环境推荐值 # 8核16G节点-Xmx8g -Xms8g # 16核32G节点-Xmx16g -Xms16g # 32核64G节点-Xmx32g -Xms32g JAVA_OPTS-Xmx16g -Xms16g -XX:MetaspaceSize512m -XX:MaxMetaspaceSize1024m -XX:UseG1GC -XX:G1HeapRegionSize16m -XX:MaxGCPauseMillis200 # 关键说明 # -Xmx/-Xms堆内存设为相同值避免动态扩容触发GC # UseG1GC低延迟GC收集器适合查询调度场景 # MaxGCPauseMillis控制GC最大停顿时间200ms内2. 元数据与调度调优fe.conf# 1. 元数据缓存避免频繁读取磁盘 meta_memory_limit8589934592 # 8GB建议为JVM堆内存的50% metadata_cache_ttl_seconds3600 # 元数据缓存过期时间1小时 # 2. 查询调度优化 qe_max_concurrent_queries1000 # 最大并发查询数根据业务QPS调整默认500 qe_slow_log_ms2000 # 慢查询阈值2秒便于定位慢查 schedule_pool_size100 # 查询调度线程池大小默认50高并发场景调大 # 3. 导入调度高吞吐导入场景 max_load_default_timeout_second86400 # 导入超时时间24小时避免大导入被中断 load_queue_max_size1000 # 导入队列最大长度默认100调大避免导入排队失败3. FE 高可用调优# Raft 协议调优多FE节点场景 raft_heartbeat_interval_ms500 # 心跳间隔默认1000ms缩短提高故障切换速度 raft_election_timeout_ms3000 # 选举超时默认5000ms缩短故障恢复时间 edit_log_storage_typeshared_storage # 元数据日志存储NFS/S3避免单点三、BEBackend调优BE 是数据存储和计算核心调优覆盖内存分配、I/O 效率、计算并行度需区分磁盘类型HDD/SSD和业务场景查询 / 导入。1. 内存核心配置be.conf内存是 BE 调优的核心需合理分配 “计算内存”“导入内存”“缓存内存”避免 OOM# 1. 总内存限制建议为物理内存的80-85% # 64G物理内存节点max_memory_limit50g # 128G物理内存节点max_memory_limit100g max_memory_limit50g # 2. 计算内存分配 max_query_memory10g # 单个查询最大内存避免单查询占满内存 exec_mem_limit8g # 单个查询计划节点内存默认2G分析场景调大 # 3. 导入/合并内存避免Compaction抢占查询资源 max_compaction_memory8g # 最大合并内存默认4G大数据量调大 compaction_pool_thread_num16 # 合并线程数SSD建议16HDD建议8 max_load_memory10g # 导入内存上限高吞吐导入调大 # 4. 缓存内存点查/高频查询场景 enable_row_cachetrue # 开启行级缓存点查场景必开 row_cache_size16106127360 # 16GB根据内存剩余调整 enable_column_cachetrue # 开启列缓存分析场景 column_cache_size8589934592 # 8GB2. I/O 性能调优be.confI/O 是 BE 最大瓶颈需根据磁盘类型HDD/SSD调整并行度和缓冲区# 1. SSD 专属配置高并发/高吞吐 base_compaction_num_threads_per_disk16 # 基础合并线程/磁盘HDD8SSD16 cumulative_compaction_num_threads_per_disk8 # 累积合并线程/磁盘 write_buffer_size2048mb # 写入缓冲区默认1GBSSD调大 file_descriptor_cache_capacity100000 # 文件描述符缓存避免频繁打开文件 # 2. HDD 专属配置减少随机I/O enable_prefetchtrue # 开启预读取 prefetch_page_count100 # 预读取页数 min_bytes_for_seek1048576 # 超过1MB则跳过减少小范围读取 # 3. 通用I/O优化 disk_read_write_modeO_DIRECT # 绕过系统页缓存SSD推荐HDD可选 batch_size1024000 # 批量读取行数默认10万调大提高吞吐3. 计算并行度调优be.conf根据 CPU 核心数调整并行度避免过载或资源浪费# 1. 扫描并行度 doris_scan_range_row_count2097152 # 每个扫描分片行数默认100万调大减少分片数 scan_thread_pool_size128 # 扫描线程池CPU核心数*2 # 2. 聚合/排序并行度 aggregation_thread_pool_size64 # 聚合线程池CPU核心数 sort_thread_pool_size64 # 排序线程池CPU核心数 # 3. JOIN 优化 hash_join_partitions64 # Hash JOIN分区数CPU核心数 nested_loop_join_threshold1000000 # 嵌套循环JOIN阈值小表阈值调大减少Hash JOIN4. 导入性能调优be.conf针对 Stream Load/Broker Load/Routine Load 优化导入吞吐load_process_pool_thread_num64 # 导入处理线程数默认32高吞吐调大 load_buffer_pool_size42949672960 # 40GB导入缓冲区 enable_chunk_queue_pipelinetrue # 开启导入流水线提高吞吐 min_load_sink_batch_size104857600 # 导入批大小100MB调大减少刷盘次数四、表设计调优基础且关键表结构设计的合理性远大于参数调优需结合查询模式优化1. 数据模型选择模型类型适用场景调优点Aggregate Key报表分析、聚合查询预聚合SUM/MAX/MIN减少计算量Unique Key精准去重、更新如用户画像开启批量更新batch_deletetrueDuplicate Key原始日志、全量查询按查询维度排序sort key2. 分区与分桶优化# 1. 分区策略按时间/高频过滤维度 CREATE TABLE log_table ( dt DATE, user_id BIGINT, pv INT ) PARTITION BY RANGE (dt) ( PARTITION p202501 VALUES LESS THAN (2025-02-01), PARTITION p202502 VALUES LESS THAN (2025-03-01) ) # 2. 分桶策略核心分桶数BE节点数*2~4避免数据倾斜 DISTRIBUTED BY HASH(user_id) BUCKETS 24; # 8个BE节点 → 24个桶 # 关键原则 # - 分区粒度按天/小时查询常用过滤条件单分区大小5-10GB避免过大 # - 分桶键选择高频JOIN/过滤字段如user_id/order_id避免单一值如常量3. 列类型与索引优化# 1. 列类型精简减少内存占用 CREATE TABLE order_table ( order_id BIGINT, # 避免用STRING存ID amount DECIMAL(10,2), # 精准存储金额比FLOAT省空间 create_time DATETIME, # 时间类型比STRING省空间且支持函数 status TINYINT # 用TINYINT替代STRING如1待支付2已支付 ) ...; # 2. 索引优化点查/过滤场景 # - 前缀索引默认前36字节覆盖高频过滤字段 ALTER TABLE order_table SET PROPERTIES (prefix_index_columns order_id,create_time); # - Bloom Filter高基数列如user_id加速等值过滤 ALTER TABLE order_table MODIFY COLUMN user_id SET BloomFilter true; # - ZOrder索引多维过滤场景如user_iddt ALTER TABLE order_table ADD INDEX z_idx (user_id, dt) USING ZORDER;五、查询性能调优1. SQL 层面优化技巧优化场景优化方案大表 JOIN小表放左表Doris 自动广播小表、开启 Bucket Shuffle JOIN大表 JOIN聚合查询提前预聚合Aggregate Key 模型、使用 ROLLUP聚合维度物化分页查询用 LIMIT 排序键避免 OFFSET 大偏移、预计算分页结果多表关联优先过滤再 JOINWHERE 条件下推、避免笛卡尔积2. 查询执行参数调优会话级 / 全局# 1. 会话级调优针对慢查询 SET exec_mem_limit 10G; # 临时提高单查询内存 SET parallel_fragment_exec_instance_num 16; # 提高并行度 SET enable_vectorized_engine true; # 开启向量化引擎必开提速50% # 2. 全局调优fe.conf enable_vectorized_enginetrue # 全局开启向量化 enable_runtime_filtertrue # 开启运行时过滤大表JOIN提速 runtime_filter_typeBLOOM_FILTER # 过滤类型BLOOM/IN六、集群级调优1. 负载均衡# 1. 数据均衡避免单BE节点负载过高 ADMIN SET FRONTEND CONFIG (balance_load_interval_seconds 300); # 5分钟检测一次 ADMIN SET FRONTEND CONFIG (balance_load_score_threshold 50); # 负载差超过50触发均衡 # 2. 查询均衡避免单FE节点调度压力大 SET GLOBAL fe_schedule_random true; # 随机分配查询到FE节点2. Compaction 调优避免小文件小文件会导致 I/O 随机读增加需优化 Compaction 策略# be.conf cumulative_compaction_checker_interval_seconds60 # 检查间隔默认180s cumulative_compaction_budget_bytes107374182400 # 累积合并预算100GB base_compaction_checker_interval_seconds300 # 基础合并检查间隔# 手动触发Compaction紧急场景 ADMIN COMPACT TABLE order_table; # 全表合并 ADMIN COMPACT TABLE order_table PARTITION p202501; # 分区合并3. 副本策略调优# 1. 副本数平衡可用性和存储成本 ALTER SYSTEM SET CONFIG (default_replica_num 3); # 生产环境建议3副本 # 2. 冷热数据分离降低存储成本 ALTER TABLE log_table MODIFY PARTITION p202401 SET (storage_medium HDD); # 冷数据放HDD ALTER TABLE log_table MODIFY PARTITION p202501 SET (storage_medium SSD); # 热数据放SSD七、不同场景调优模板1. 高并发点查场景QPS 10 万 # BE 配置 enable_row_cachetrue row_cache_size32212254720 # 32GB doris_scan_range_row_count4194304 # 400万行/分片 min_bytes_for_seek4194304 # 4MB跳过 enable_bloom_filtertrue # 开启Bloom Filter # 表设计 DISTRIBUTED BY HASH(primary_key) BUCKETS 64; # 更多分桶提高并行度 ADD INDEX bloom_idx (primary_key) USING BLOOM_FILTER;2. 大数据量分析场景TB 级数据# BE 配置 max_query_memory20g enable_column_cachetrue column_cache_size16106127360 # 16GB base_compaction_num_threads_per_disk16 enable_vectorized_enginetrue # 表设计 AGGREGATE KEY 模型 ROLLUP多维度预聚合 PARTITION BY RANGE (dt) # 按天分区 DISTRIBUTED BY HASH(dim_key) BUCKETS 48;3. 高吞吐导入场景TPS 10 万 # BE 配置 load_process_pool_thread_num128 load_buffer_pool_size64424509440 # 60GB write_buffer_size4096mb enable_chunk_queue_pipelinetrue # 导入参数 STREAM LOAD 时设置 formatcsv max_filter_ratio0.01 send_batch_parallelism16八、调优验证与监控关键指标监控FEJVM GC 次数 / 耗时、查询并发数、慢查询数BE内存使用率、I/O 利用率、Compaction 完成率、导入吞吐集群副本健康度、数据均衡率、查询延迟 P99工具验证EXPLAIN ANALYZE查看查询执行计划和耗时分布SHOW BACKENDS检查 BE 节点负载ADMIN SHOW TABLET检查分桶数据倾斜doris-advisorDoris 官方调优工具自动检测配置和表结构问题调优总结优先级表设计优化 系统层优化 FE/BE 参数调优 SQL 优化循序渐进先基准测试压测定位瓶颈再针对性调优避免盲目改参数动态调整业务变化数据量 / 查询模式后需重新评估配置如分桶数、内存分配核心原则资源隔离导入 / 查询 / Compaction 内存分开、避免单点多副本 / 多 FE、适配硬件SSD/HDD 差异化配置。