Python爬虫系列-让爬虫自己写爬虫(半自动化,代替人工写爬虫)

发布于:2024-07-07 ⋅ 阅读:(111) ⋅ 点赞:(0)

        现在的PC、手机客户端等终端设备大量使用了网页前后端技术,另外主流的网站也会经常会更新,导致以前一个月更新一次爬虫代码,变成了天天需要更新代码,所以自动化爬虫技术在当前就显得特别重要,最近我也是在多次更新某个爬虫后,突然有了这样的需求,尝试搜索了下相关信息,发现是有人弄过这东西,我想哪些大厂肯定也有爬虫工程师开发过这东西,但是都没有开源,找不到啥资料,所以我想写一篇这方面的东西,感兴趣的朋友可以看下去。

        首先,我们先确定下基本思路,我经常使用Requests+BeautifulSoup写爬虫,所以基本代码的模板很好写,如下:

code_template = """
import requests
from bs4 import BeautifulSoup

def crawl(url):
    response = requests.get(url)
    response.raise_for_status()
    soup = BeautifulSoup(response.text, 'html.parser')
    
    results = []
    SELECTORS_PLACEHOLDER
    
    return results

if __name__ == "__main__":
    url = "URL_PLACEHOLDER"
    results = crawl(url)
    for result in results:
        print(result)
    """

其中SELECTORS_PLACEHOLDER就是我们需要用程序动态填写的内容,这是根据爬虫自我填写的代码,输入的代码如下所示:
 那么我们跟这个程序根据什么爬虫那,其实也很简单,我们使用上一篇文章的例子,链接如下为:
Python爬虫系列-爬取小说20240703更新(Request方法)icon-default.png?t=N7T8https://blog.csdn.net/donglxd/article/details/140145498

我们先试试爬取某个章节部分,随便打开一篇文章,如下图:

选取一行字,比如正文的第一句:"京海市第四高中,新生报到日。" 把这句作为一个参数代入到我的程序中,同时把这篇文章的网址也代入到我的程序中如下:

把运行后的自动写的代码如下:

复制后新建一个python文件,粘贴进去,保存并运行,就会得到如下结果:

 

有人要问了,我的自动生成爬虫,只能爬取文本吗?不能爬取属性值吗?比如属性里的链接?当然可以,请看下图:

可以看到第一章的链接是"41594870.html",这个不是绝对链接,而是相对链接,需要拼接处理,这个很简单,我想稍微学过5分钟python字符串语法的都会。我们把这个"41594870.html"属性代入我的程序读取看看,参数设置如下:

生成的爬虫如下:
新建一个python文档运行看看:

可以看到爬取成功了,我们可以尝试把两者结合起来,写一个手动爬虫,如下:

import requests
from bs4 import BeautifulSoup
import time# 导入time库加延迟用

# def crawl(url):
def getText(url):#把crawl函数建立一个新名称,方便调用,这个函数和下面的函数名不同,已区分开功能(读取每章内容)
    response = requests.get(url)
    response.raise_for_status()
    soup = BeautifulSoup(response.text, 'html.parser')

    # results = []
    results = ""#把数组改成字符串拼接用
    elements = soup.select('html body #main .bookinfo.m10.clearfix .chaptercontent #content p')
    for element in elements:
        # results.append(element.get_text(strip=True))
        results = results + element.get_text(strip=True) + "\n"
    results = results + "\n"#每章之间空一行
    return results

# def crawl(url):
def getUrl(url):#把crawl函数建立一个新名称,方便调用,这个函数和下面的函数名不同,已区分开功能(读取每章网址)
    response = requests.get(url)
    response.raise_for_status()
    soup = BeautifulSoup(response.text, 'html.parser')

    # results = []
    elements = soup.select('html body #main .chapterlist .clearfix li a')
    with open("20.AI编程爬虫\\1.txt","a+",encoding="utf-8") as f:# 创建一个新的txt文档,记录小说内容。
        for element in elements:
            # results.append(element.get('href', 'N/A'))
            results = getText(url + "/" + element.get('href', 'N/A'))# 把主链接和href的相对链接拼合
            f.write(results)#写入每章内容到txt文档
            print("链接内容:" + url + "/" + element.get('href', 'N/A') + "写入成功!")#输出写入的链接
            time.sleep(3)#为了爬取稳定加点延迟
    # return results

if __name__ == "__main__":
    url = "https://www.feibzw.com/Html/51366"
    # results = getUrl(url)
    getUrl(url)
    
    # for result in results:
    #     print(result)

可以看到上面的代码中,我注释的代码都是原来两个爬虫里的,新加的代码都有注释说明,一行行写下来不难,这部分其实也可以自动化,但是可能每个网站的链接地址都不同,拼接方法也不同,所以我写了这个模板给大家套用,按实际情况改就行了,这个模板可以应付大多数小说网站。我在这只是教大家方法,希望有抛砖引玉的作用,授人以渔。

最后放上我的自动生成程序,免费提供给大家:

import requests
from bs4 import BeautifulSoup

def find_elements_by_text_or_attribute(url, text):
    # 发送请求并获取网页内容
    response = requests.get(url)
    response.raise_for_status()  # 检查请求是否成功
    html_content = response.text

    # 解析网页内容
    soup = BeautifulSoup(html_content, 'html.parser')

    # 查找所有包含目标文本的标签
    target_tags = set()
    for tag in soup.find_all(string=True):
        if text in tag:
            parent = tag.parent
            target_tags.add(parent)

    # 查找所有包含目标属性值的标签
    for tag in soup.find_all(True):  # True表示查找所有标签
        for attr, value in tag.attrs.items():
            if isinstance(value, list):
                value = ' '.join(value)
            if text in value:
                target_tags.add(tag)
                break

    return target_tags

def get_unique_selectors(target_tags):
    unique_selectors = set()
    for tag in target_tags:
        selectors = []
        for parent in tag.parents:
            if parent.name == '[document]':
                break
            if parent.get('id'):
                selectors.append(f"#{parent.get('id')}")
            elif parent.get('class'):
                selectors.append(f".{'.'.join(parent.get('class'))}")
            else:
                selectors.append(parent.name)
        selectors.reverse()
        selectors.append(tag.name)
        unique_selector = ' '.join(selectors)
        unique_selectors.add(unique_selector)

    return unique_selectors

def generate_crawler_code(url, selectors, is_attribute, attribute=None):
    code_template = """
import requests
from bs4 import BeautifulSoup

def crawl(url):
    response = requests.get(url)
    response.raise_for_status()
    soup = BeautifulSoup(response.text, 'html.parser')
    
    results = []
    SELECTORS_PLACEHOLDER
    
    return results

if __name__ == "__main__":
    url = "URL_PLACEHOLDER"
    results = crawl(url)
    for result in results:
        print(result)
    """

    selectors_code = ""
    for selector in selectors:
        selectors_code += f"elements = soup.select('{selector}')\n"
        selectors_code += f"    for element in elements:\n"
        if is_attribute:
            selectors_code += f"        results.append(element.get('{attribute}', 'N/A'))\n"  # 这里的N/A表示如果属性不存在返回默认值
        else:
            selectors_code += f"        results.append(element.get_text(strip=True))\n"

    final_code = code_template.replace("URL_PLACEHOLDER", url).replace("SELECTORS_PLACEHOLDER", selectors_code)
    return final_code

def crawl_generator(url, text):
    target_tags = find_elements_by_text_or_attribute(url, text)
    if target_tags:
        unique_selectors = get_unique_selectors(target_tags)
        attribute = None
        is_attribute = False

        # 检查是文本内容还是属性值
        for tag in target_tags:
            for attr, value in tag.attrs.items():
                if isinstance(value, list):
                    value = ' '.join(value)
                if text in value:
                    is_attribute = True
                    attribute = attr
                    break
            if is_attribute:
                break

        crawler_code = generate_crawler_code(url, unique_selectors, is_attribute, attribute)
        return crawler_code
    else:
        return "未找到包含目标文本或属性的元素。"

if __name__ == "__main__":
    url = "https://www.feibzw.com/Html/51366"  # 替换为目标网址
    text = "41594870.html"  # 替换为目标文本
    # url = "https://www.feibzw.com/Html/51366/41594870.html"  # 替换为目标网址
    # text = '''京海市第四高中,新生报到日。'''  # 替换为目标文本

    crawler_code = crawl_generator(url, text)
    print(crawler_code)

谢谢大家观看,再见!