搜索结果
查询Tags标签： url，共有 2151条记录-
爬虫（14） - Scrapy-Redis分布式爬虫(1) | 详解
1.什么是Scrapy-RedisScrapy-Redis是scrapy框架基于redis的分布式组件，是scrapy的扩展；分布式爬虫将多台主机组合起来，共同完成一个爬取任务，快速高效地提高爬取效率。 原先scrapy的请求是放在内存中，从内存中获取。scrapy-redisr将请求统一放在redis里面，各个主机查…
2022/7/7 2:21:35 人评论 次浏览 -
盲注python脚本
#导入库 import requests#设定环境URL，由于每次开启环境得到的URL都不同，需要修改！ url = http://challenge-4917924317cea4ec.sandbox.ctfhub.com:10800/ #作为盲注成功的标记，成功页面会显示query_success success_mark = "query_success" #把字母表转化成…
2022/7/6 14:25:19 人评论 次浏览 -
Python 批量下载图片简单代码
简单代码 # 导入函数库 import requests import os import time# 创建目录 goalPath = "D:\\test" if not os.path.exists(goalPath):os.mkdir(goalPath)# url 变化部分独立 countL = "" countR = "" imgFormat = ".jpg" startIn…
2022/7/5 1:21:52 人评论 次浏览 -
Python 简单获取知轩藏书仙草毒草榜
从起始id到15000逐条爬取知轩藏书的书籍信息（目前网站上书的id尚未超过15000），存为csv文件，可以用excel打开或者导入数据库。可以设置interval，让一次爬取的数目小一点。 代码如下：from urllib import request, parse import time import random from ua_info impor…
2022/7/5 1:21:51 人评论 次浏览 -
Java封装Get/Post类
封装的类: package pers.hmi.translate;import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.io.PrintWriter; import java.net.URL; import java.net.URLConnection; import java.util.List; import java.util.M…
2022/7/5 1:20:06 人评论 次浏览 -
增量聚合和全窗口函数的结合使用
增量聚合和全窗口函数的对比 已经了解了Window API中两类窗口函数的用法，下面先来做个简单的总结。增量聚合函数处理计算会更高效。举一个最简单的例子，对一组数据求和。大量的数据连续不断到来，全窗口函数只是把它们收集缓存起来，并没有处理；到了窗口要关闭、输出结…
2022/7/5 0:00:29 人评论 次浏览 -
用replace/substr/substring_index提取博客URL中的用户名
1.替换法 replace 2.截取方式1 substring_index substring_index(字段，符号，第几个符号) SUBSTRING_INDEX(str,delim,count) 返回字符串 str 中在第 count 个出现的分隔符 delim 之前的子串。 正数：从左往右数，返回从最后的(从左边开始计数)分隔符到左边所有字符。 负…
2022/7/3 23:20:42 人评论 次浏览 -
python并发编程实战（四）：使用多线程，python爬虫被加速10倍
python创建多线程的方法单线程、多线程爬取博客园速度对比 tmp/blog_spider.py import requestsurls = [f"https://www.cnblogs.com/#p{page}"for page in range(1, 50+1) ]def craw(url):r = requests.get(url)print(url, len(r.text))craw(urls[0])01.multi_t…
2022/7/3 14:22:54 人评论 次浏览 -
python并发编程实战（五）：python实现生产者、消费者爬虫
多组建的pipline技术架构生产者消费者爬虫的架构多进程数据通信的queue.Queue线程安全：指的是多个线程不会冲突 get和put方法是阻塞的：当里面没有数据的时候，q.get()会卡住，直到里面有了数据把它取出来，q.put()当队列满了以后会卡住，直到有一个空闲的位置才能put进去…
2022/7/3 14:21:18 人评论 次浏览 -
我用python代码把舞蹈区的精华下载下来慢慢欣赏~
前言 嗨喽，大家好吖，这里是魔王呐~ 今天的我偶然间点开了一个网址，看见了其舞蹈区的精华MP4， 一看不可收拾，但其太大胆了，我怕它下架，连忙打开了我的python 写出了这个代码把它们通通下载了下来，慢慢欣赏~ 环境使用:Python 3.8 Pycharm代码 导入模块import reques…
2022/7/2 1:21:09 人评论 次浏览 -
主子路由配置后不生效
操作：在 router.js 里面配置主子路由后，在浏览器访问子路由的url，没有显示出对应的页面组件。 bug重现： 解决： 在主路由对应的页面组件中，添加 <router-view></router-view>
2022/7/1 23:25:55 人评论 次浏览 -
Jenkins构建项目连接Repository URL的填坑之路
提示Unable to access the repository。点击构建后，构建失败提示：org.tmatesoft.svn.core.SVNException: svn: E175002: SSL handshake failed: The server selected protocol version TLS10 is not accepted by client preferences [TLS13, TLS12] JDK安装低于291的版本…
2022/7/1 23:20:45 人评论 次浏览 -
python bottle小记
# coding=utf-8import bottle@bottle.route(/url/url, method=[GET,POST])def big_data():# 获取请求参数trans_user_type = bottle.request.GET.get(trans_user_type)return #正则url：匹配任意值@bottle.route(/url/url/：##, method=GET)def big_data():url = bottle.r…
2022/6/30 14:19:45 人评论 次浏览 -
使用 python 下载 https://unpkg.com/ 中的资源
使用方法将代码复制到本地 python 的 ide 中， 修改 第五行的mod 为要下载的包 修改 第六行version 为包的版本 运行即可 环境说明 需要 requests 依赖包 如果没有 pip install requests 代码import requests, re, os, time, shutilurl = "https://unpkg…
2022/6/30 14:19:38 人评论 次浏览 -
python requests模块http请求
Requests模块是第三方模块，需要预先安装，requests模块在python内置模块的基础上进行了高度的封装，从而使得python进行网络请求时，变得更加简洁和人性化。一、get请求 1.1 发送无参数的get请求,尝试获取某个网页. 发送无参数的get请求 r = requests.get(http://www.bai…
2022/6/30 1:22:49 人评论 次浏览
