python 中多数据 list in 非常慢的问题

 一个数据分析的小脚本,刚开始一切正常,越往后数据越大的情况下,发现速度缓慢,最初怀疑文件读取和正则,加了日志输出发现卡在in这里.

这里使用的 list 来存放数据,因为要去重,所以使用了 in 来判断是否存在列表中.现在将list换为dict后解决.

只贴主要代码把.

getinfo = {}  #声明 dict

if not str in getinfo: #in这里不变
    getinfo[str] = ”

"\n".join(getinfo.keys()) #最后合并文本