上传了网站标志 功能链接对门户网站建设情况的报告

上传了网站标志 功能链接,对门户网站建设情况的报告,北京网站建设有哪些公司,陕煤建设集团网站问题#xff1a; 有一千二百万条url #xff0c;还有1亿1千万的关键词#xff0c;关键词一定出现在某条url的名字里#xff0c;但是关键词不完全和名字相等#xff0c;并且可能一个关键词同时出现在多个url中#xff0c;所有和关键词匹配的url都要列出来 背景#xff1a…问题有一千二百万条url 还有1亿1千万的关键词关键词一定出现在某条url的名字里但是关键词不完全和名字相等并且可能一个关键词同时出现在多个url中所有和关键词匹配的url都要列出来背景最开始没有想到会处理这么多数据果断采用以下最省力的方案半小时测试数据顺利通过果断收钱完工客户拿到脚本跑一下午都没出结果来售后了一顿排查脚本没问题再问数据谁成想有上亿的数据要处理欧麦嘎的要了老命了方案1运行完估计要将近36小时收人家票子了没办法改吧……然后就有了灵关一现的方案2没有任何经验可谈纯纯被逼出来的想法不得不说Gemini 是真好用ql_query就是它给我改出来的顺便夹带点私货我这有Gemini成品号绑定教育机构的50大洋一个售后30天前几天的大规模封号事件我们这一个都没封售后期内封号包换不限制次数方案1第一反映直接把url 拆成map keyurl的name valueurl 然后遍历 关键词遍历map关键词在key里就记录value解析1小批量数据能用但是太慢了每条关键词都要扫描一遍map太TMD蠢了而且对内存占用极大 多线程OOM方案2把url 拆开 name 和url 导入mysql 中并且把name字段建立全文索引CREATETABLEIFNOTEXISTSall_urls(idINTNOTNULLAUTO_INCREMENTPRIMARYKEY,nameVARCHAR(255)NOTNULL,urlTEXTNOTNULL,FULLTEXTINDEXidx_name_ft(name)-- 在这里直接定义全文索引)ENGINEInnoDB;查询语句# 重要的是这里不要使用 select url from all_urls where name like %% 这种会导致全文索引直接失效了效率及其低ql_query SELECT url FROM all_urls WHERE MATCH(name) AGAINST(:search_term IN BOOLEAN MODE) # source_name 就是要查询的关键字search_termf{source_name}params{search_term:search_term}# with db_pool.get_session() as session: 这使用sqlalchemy实现的自己写就的了withdb_pool.get_session()assession:ressession.execute(text(sql_query),params)解析2使用此方案处理时间从方案1 的5个线程运行天级别降低到了单线程运行分钟级别