背景介绍
本项目用于本地化查询、导出 HMDB 中的代谢物的信息。原始数据来自于：https://hmdb.ca/downloads (版本5.0，Data Set of All Metabolites)，原始文件非常大，大约在 6G，先使用 Python 将原始代谢物的数据导入到 Mongo DB 中，然后再在Java项目中提供查询和导出。
解析代码
先要解决的一个问题就是如何读取一份超级大的XML文件，一次性读取到内存里显然不适合，虽然这次文件不大，只有6G,在生信分析的服务器动辄512G的内存前面来说就是弟弟，但必定开发还是在本地，而且保不齐后面文件还是会有更新
Python解析XML的库很多，用了 xml.etree.ElementTree 来处理，使用 iterparse 方法来迭代每一个标签，当遇到你需要处理的标签的时候，就来处理，并且使用了一个生成器（这里完全为了体验一下Python语法，也可以不用）
#!/usr/bin/python3
import xml.etree.ElementTree as ET
import psutil
import os
import xmltodict, json
from MongoDBUtil import MongoDBUtil
#这是原始xml里的namespace
namespace = '{http://www.hmdb.ca}';
def hmdbParse(filename, groupTag):
'''
增量解析 filename ，并且按groupTag作为一组，其实这里就是 metabolite 了
使用了生成器，并且使用
'''
ET.register_namespace("xmlns","http://www.hmdb.ca")
#迭代文件，增量
doc = ET.iterparse(filename, ('start', 'end'))
# Skip the root element
next(doc)
#循环读取解析器得到的结果
for event, elem in doc:
if event == 'end':
#一旦是结束标签，并且是你想要的标签，就return出去
if namespace+groupTag == elem.tag:
yield elem
#这里是把上一次的标签清空掉，这样就不会占用太多内存
elem.clear()
if __name__ == "__main__":
#xml文件地址，和需要解析的标签
data = hmdbParse('hmdb_l30000.xml', 'metabolite')
mongoUtil = MongoDBUtil(ip="127.0.0.1", db_name="bio_db", port="27017")
insertBatch = []
idx = 0
for meta in data:
#使用自带方法转换成xml字符串的字节流
xmlstr_byte = ET.tostring(meta, encoding='utf8', method='xml')
#转换成UTF8的xml字符
xmlstr = str( xmlstr_byte,encoding = "utf8" ).replace("xmlns:","");
#转成字典
xmldict = xmltodict.parse(xmlstr)
accessionId = meta.findtext(namespace+"accession")
#批量插入
insertBatch.append(xmldict)
idx+=1
if(idx % 500 == 0):
#500条插入一次
mongoUtil.insert_many(collect_name="hmdb2210", documents=insertBatch)
#插入后清理一下
insertBatch.clear()
print("insert 500 data, clear")
#如果循环执行完了，insertbatch中还有小于500的，那就执行完，因为我也不知道
#怎么判断生成器是不是执行到了最后一个行
if(len(insertBatch) < 500):
mongoUtil.insert_many(collect_name="hmdb2210", documents=insertBatch)
print('all data done.')
[……]
继续阅读
