简单说明
京东，淘宝，天猫，，淘特，拼多多，阿里巴巴，168抖音，苏宁，亚马逊中国，lazada，速卖通等全球50多个知名平台抓取数据，存储到database并进行分析
抓取的DIC
the_basic_info = {
"search_keyword": self.keyword, "使用的keyword"
"last_crawling_timestamp": datetime.now(), "当前抓取时间"
"platform": "JD", "抓取平台"
"product_name": product_name, "产品名称"
"seller_name": seller_name, "商家名称"
"sku_id": _data_pid, "产品Id"
"default_price": float(final_price), "最终价格"
"final_price": 0,
"item_url": _http, "商品网页地址"
"comments_ave_score": float(score_avg), "商品评分"
"comments_count": comment_count, "商品评论数量"
"images": img, "商品图片地址"
"current_stock": location_list, "商品存储地址"
"search_rank": rank, "在当前搜索索引下的排名"
"search_order": order, "当前索引（按销量，价格，热度等）"
"seller_url": seller_url, "商家网页地址"
"comments_list": comment_list "具体评论，支持抓取100条评论"
}一个例子：
测试？
if __name__ == "__main__":
j = JDMonitoringEngine()
j.set_searching_url(_keyword="dell", _page_limit=1, _order=["sales"])
url_list = j.url_list
for _index, url_dict in enumerate(url_list):
logger.info("Sending {0}/{1} url dict to basic info extraction".format(
(_index + 1), len(url_list)))
results = list(map(lambda x: j.get_basic_info(x), url_dict))将jd_monitoring_enginemain方法里面的_keyword,_page_limit,_order改成你想测试的例子。三个参数分别是关键字,搜索页数和搜索索引。
接口封装代码
请求方式：HTTPSGETPOST
公共参数：
| key | String | 是 | 调用key（必须以GET方式拼接在URL中） |
| secret | String | 是 | 调用密钥 （复制vxin:Taobaoapi2014 ) |
| api_name | String | 是 | API接口名称（包括在请求地址中）[item_search,item_get,item_search_shop等] |
| cache | String | 否 | [yes,no]默认yes，将调用缓存的数据，速度比较快 |
| result_type | String | 否 | [json,jsonu,xml,serialize,var_export]返回数据格式，默认为json，jsonu输出的内容中文可以直接阅读 |
| lang | String | 否 | [cn,en,ru]翻译语言，默认cn简体中文 |
| version | String | 否 | API版本 |
请求参数：
请求代码示例，支持高并发请求
文章为作者独立观点，不代表 股票程序化软件自动交易接口观点