搜狐新闻小爬虫，解析数据接口并插入mysql数据库( 二 ) _爬虫

html = requests.get(url,headers= headers).text#获取内容etree.HTML(str(html)).xpath(“”//article[@class = 'article']//p//text()')

获取数据之后将其组装成sql语句，以便直接插入到数据库中。

sql = " sql_insert = 'insert into information (`type`, url,author,title,content,postTime,addtime,`unique`) values (%s,%s,%s,%s,%s,%s,%s,%s)'"

通过pymysql获取mysql的连接信息执行sql语句

conn = pymysql.connect(host=“xxxxxxx”, port=3306, user="xxxx", passwd="xxxxxx", db="news", charset="utf8")cursor = conn.cursor()cursor.execute(sql_insert)完整代码请转我的csdn连接！

搜狐新闻小爬虫，解析数据接口并插入mysql数据库( 二 )

推荐阅读

雷神之锤|坚持在高原修建野战机场，宁可让坠机惨案频发，印军无视血泪教训

持有西班牙签证能不能在迪拜停留几天

『多视点眼科小知识』发热眼罩别乱用，不小心结膜炎就会找上你

猪扒的做法

中新经纬|天音控股大涨9.86%，领涨专业零售板块

信科技正式加入联合国国际电信联盟（ITU）

老抽、生抽、豉油、蚝油到底怎么用？做菜高手可能都不知道……

山药最近火了，教你好吃做法，比包子简单，老婆天天想吃，太香了

上升星座|6/20-6/26 星座周運(參考星座: 上升星座)

1000块钱可有创业的可能（有闲置门面），都有哪些

飞翔数码科技|彩屏配置，随时随地打理精致面容，须眉科技上新小钢鲨

红茶茶具的介绍,红茶玻璃茶具简介

石油|伊朗与美元作出正式了断后，两国经济或将由穷转富，8国或将效仿

如何锻炼上腹肌肉呢

舒服|韩国小个子欧尼超舒服的气质搭配，显高时髦，简约不挑人！

[平安商丹]【全警大练兵】高新公安分局开展全警大练兵警体达标测试

狗能不能吃榴莲狗能吃榴莲吗

“有偿删帖”“软色情”问题专项整治今天启动

小儿健康|低层次父母就是不断地给孩子讲道理，而高层次父母，则用3种方法

九曲桥湖面变身水景秀场 “夜豫园”点睛“夜上海”