如何选择网站营销公司wordpress主题放在哪

张小明 2025/12/29 3:48:08
如何选择网站营销公司,wordpress主题放在哪,做网站用小公司还是大公司,wordpress管理邮件后端程序员平时除了接触业务代码、中间件、存储等#xff0c;也难免会跟数仓有交集。下面结合笔者的经验和思考#xff0c;从后端程序员的视角看数仓、做个总结#xff0c;后续再跟数仓/BI argue的时候就不虚了#x1f603; 分成两部分介绍#xff1a;离线数仓、实时数仓…后端程序员平时除了接触业务代码、中间件、存储等也难免会跟数仓有交集。下面结合笔者的经验和思考从后端程序员的视角看数仓、做个总结后续再跟数仓/BI argue的时候就不虚了分成两部分介绍离线数仓、实时数仓。离线数仓离线数仓是最典型的数仓应用场景。后端服务产生了业务数据、监控埋点、日志等如果要做统计分析就要先离线采集到数仓再通过SQL做聚合查询。 离线数仓的重点在于统计分析历史存量数据做合理的业务域划分、数据分层、数据分区。数据采集需要采集的数据包括业务数据、监控埋点、日志等。业务数据一般存储在DB、或HBase可一次性把存量数据导入hive表后续定时扫描一段时间范围内的增量数据导入hive表监控埋点后端服务发出埋点消息采集程序消费消息、解析、最终导入到hive表日志可通过filebeat采集日志采集程序解析后、导入到hive表数据分层逻辑层面的水平数据分层ODS (Operational Data Store)原始数据一般不做任何加工DWD (Data Warehouse Detail)数仓明细数据在ODS的基础上做一些简单加工如数据清洗解析json格式字段、打平后存储DWS (Data WareHouse Summary)数仓汇总数据在DWD的基础上按维度做聚合宽表方便业务方使用ADS (Application Data Service)直接可用的报表应用数据离线数仓的数据分层类似于后端代码结构的分层设计比如分为接口层interface、逻辑层service、数据访问层repository。 数据分层可以隔离每层之间的依赖每层的变更只限于本层。比如mysql拆库迁移只需要更换ods表但无需改dwd表这样数据使用方不用感知数据源变更。 数据分层可以在DW层聚合数据提高数据使用方的效率、降低开发成本。后端程序员接触最多的是ods和dwd表ods表涉及到数据采集并且是归档删在线数据的前提dwd表可以用来排查历史数据因为json格式字段已打平所以方便做筛选查询数据分区按时间维度做垂直分区一般是日级或小时级分区取决于调度频率天级增量表包含某一天有变更的数据记录天级全量表包含某一天完整的数据记录相当于快照小时级增量表包含某一小时有变更的数据记录因为数据量较大所以不是所有的离线表都会永久保留。比如ods天级增量表可能仅保留最近n天、或最近n个分区而dwd天级全量表会merge增量数据可查到历史上的所有数据记录。离线数仓使用场景离线统计通过hive sql做复杂的关联查询、聚合查询底层会转成MapReduce任务查询HDFS里的hive表比如把多张事实表、维度表join起来做某个维度的数量加总、金额加总。事实表是业务活动的事件记录可以做聚合查询统计。维度表是元数据按维度做聚合分析max、countgroup by维度。事实表一般包含多个维度表的外键。后端刷历史存量数据需要先在离线统计符合条件的数据再导出id消息作为后端刷数据的输入依据后端归档删除在线数据后端在线数据不断膨胀当业务层面不再访问时需要做归档删除。一定要确保业务数据先被离线采集到、再删除在线数据否则就可能丢数据、找不回来了。 比如新增一个archive_status字段代表归档状态而非有业务含义的deleted字段初始值是0被软删后改成1那么如果hive表里记录的归档状态是1则代表该记录已被离线采集到可放心地删除对应在线记录。实时数仓有了离线数仓为什么还需要实时数仓呢主要还是为了时效性离线数仓最快是小时级如果需要秒级延迟就需要上实时数仓了实时数仓跑出来的结果可以被后端服务查询用于在线业务实时数仓的重点在于低延迟计算、exactly-once处理与后端应用结合可以实现很多功能。实时数仓构建流程使用flink把数据采集、数据计算、数据导出的流程串起来。这里引用一张某云厂商的实践教程图里面的数仓存储可替代为其它。 参考实时数仓搭建实时入仓mysql binlog、或业务事件触发实时数据流通过flink实时入仓数据计算通过flink关联join多个ods表得到dwd表再实时计算得到按维度聚合的dws表数据导出、对外提供接口查询计算结果可导出到实时数仓如Doris、Hologres等也可以导出到mysql、hbase、或redis并封装成RPC接口。这样后端服务可以查询实时数仓接口对外提供高qps查询实时数仓使用场景内部报表查询外部统计类查询典型的例如用户看到的 排行榜、多少人看过/加购/收藏/买过 等用户个性化推荐以上就是后端程序员需要了解的数仓知识了欢迎关注、转发、点赞。
版权声明:本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!

建设网站需要展示什么网站开发的软 硬件环境标准

第一章:国产AI代理新突破,Open-AutoGLM 桌面代理为何突然引爆开发者圈?近期,一款名为 Open-AutoGLM 的开源桌面 AI 代理在 GitHub 上迅速走红,短短两周内获得超 15,000 星标,成为国产 AI 工具生态中的现象级…

张小明 2025/12/29 10:34:40 网站建设

丰镇网站建设如何把自己做的网站发布到网上

西门子S7-1500暖通空调制药厂洁净空调PLC程序案例,硬件采用西门子1500CPUET200SP接口IO模块,HMI采用西门子触摸屏。具体为制药厂BMS(洁净空调自控系统)医药洁净室程序,程序结构采用SCL编程。 有详细注释,很…

张小明 2025/12/29 10:34:38 网站建设

中英繁网站源码网站开发程序排名

目录1,事件的概念2,事件循环3,父子控件之间事件的传递处理4,事件过滤器1,事件的概念 定义: 事件是应用程序内部发生的事情或应用程序需要知道的外部事件的结果。 事件和信号的区别: 事件是由外…

张小明 2025/12/29 10:34:46 网站建设

做相亲网站 一年赚千万网站怎么搬家到快云vps里面去啊

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围:&am…

张小明 2025/12/29 10:34:42 网站建设

中小企业建站的方法企业网站模板源码起名

Kotaemon支持冷启动方案,新系统也能快速见效在智能硬件产品竞争日益激烈的今天,用户对“开箱即用”的体验要求越来越高。尤其是部署在边缘端的AI设备——比如语音助手、工业终端或车载交互模块——一旦首次上电后需要等待十几秒甚至更久才能响应&#xf…

张小明 2025/12/29 10:34:39 网站建设

深圳网站建设电话本科自考多少钱

第一章:智谱清言Open-AutoGLM沉思的API对接概述智谱清言Open-AutoGLM是基于AutoGLM大模型推出的智能对话服务接口,支持开发者通过标准化API实现自然语言理解与生成能力的集成。该API适用于智能客服、内容生成、知识问答等多种场景,具备高并发…

张小明 2025/12/29 10:34:37 网站建设