zhp521163
发表于 2017-7-9 14:30:13
"
simdht_worker.py里面DBPASS要确认正确
東華
发表于 2017-7-9 14:29:00
wenguonideshou 发表于 2017-7-9 21:38
下载最新版的按照命令一行一行执行就可以了
今天上午上传的有一点点小bug ...
已经搞定了 pip要9.0
Mancy
发表于 2017-7-9 14:43:51
抽时间配置下试试,谢谢
莫桑比特
发表于 2017-7-9 17:03:24
本帖最后由 東華 于 2017-7-9 22:27 编辑
但搜索不大好使。
速度与ji情8,搜索 速度 ji情8 /速度 8是没有结果的。
wenguonideshou
发表于 2017-7-9 17:22:39
013.gif
弄好了 爬了半天咋就几个
莫桑比特
发表于 2017-7-9 18:33:43
Mancy 发表于 2017-7-9 22:31
弄好了 爬了半天咋就几个
好像爬一会就不爬了。。重启机器又继续
wenguonideshou
发表于 2017-7-9 18:37:37
東華 发表于 2017-7-9 22:26
但搜索不大好使。
速度与ji情8,搜索 速度 ji情8 /速度 8是没有结果的。 ...
使用的jieba分词, 应该比ssbc分词效果好一点但是也没有更好的办法了"
和pip应该没什么关系 我本机上pip没升级
结束爬虫进程,运行 nohup python simdht_worker.py2>&1&
不入库的时候看看nohup.out有没有什么报错
東華
发表于 2017-7-9 20:17:57
"
结束爬虫进程,运行 nohup python simdht_worker.py2>&1&
不入库的时候看看nohup.out有没有什么报错。
爬虫修改过,只爬取电影、音乐、电子书。
mslxd
发表于 2017-7-9 20:18:36
exceptions must be old-style classes or derived from BaseException, not NoneType
exceptions must be old-style classes or derived from BaseException, not NoneType
Thread-1 started
Traceback (most recent call last):
File "simdht_worker.py", line 395, in
dht = DHTServer(master, "0.0.0.0", 6881, max_node_qsize=200)
File "simdht_worker.py", line 188, in __init__
self.ufd.bind((self.bind_ip, self.bind_port))
File "/usr/lib64/python2.7/socket.py", line 224, in meth
return getattr(self._sock,name)(*args)
socket.error: Address already in use
Exception in thread Thread-2 (most likely raised during interpreter shutdown):
hanyu5176
发表于 2017-7-9 20:17:00
莫桑比特 发表于 2017-7-10 00:07
exceptions must be old-style classes or derived from BaseException, not NoneType
exceptions must be...
爬虫正在运行 需要先结束他
ps,-ef|grep simdht
找到ID
kill -9 上面的ID
再运行爬虫