python 中多数据 list in 非常慢的问题

 一个数据分析的小脚本,刚开始一切正常,越往后数据越大的情况下,发现速度缓慢,最初怀疑文件读取和正则,加了日志输出发现卡在in这里. 这里使用的 list 来存放数据,因为要去重,所以使用了 in 来判断是否存在列表中.现在将list换为dict后解 …

python 中多数据 list in 非常慢的问题 阅读完整内容