CSDN博客文章批量导出

脚本依赖环境安装指南 以下是为运行 CSDN 博客导出脚本(如 export_csdn_cf.py)而准备 Linux 系统环境所执行的一系列有效命令。这些命令主要用于安装 运行时、及其依赖库。 # 1. 安装 Python 包管理工具 pip3 apt install python3-pip -y # 2. 安装文件传输和解压工具 apt -y install lrzsz # 提供 rz/sz 命令,用于终端文件上传下载 apt -y install zip unzip # 用于处理 zip 和 unzip 格式的压缩包 # 3. 安装重命名工具 apt install rename # 强大的 Perl 脚本,用于批量重命名文件 # 4. 配置 Google Chrome 浏览器安装源 (使用清华镜像加速) # 下载并添加 Google 的 GPG 公钥以验证软件包完整性 wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | sudo apt-key add - #或者上传执行如下的命令 # cat linux_signing_key.pub |sudo apt-key add - Warning: apt-key is deprecated. Manage keyring files in trusted.gpg.d instead (see apt-key(8)). OK # 将清华镜像的 Chrome 源写入 APT 源列表 echo "deb [arch=amd64] https://mirrors.tuna.tsinghua.edu.cn/google-chrome/deb/ stable main" > /etc/apt/sources.list.d/google-chrome.list # 5. 更新软件包索引并安装 Chrome 及其系统依赖 apt update # 同步最新的软件包列表 # 安装稳定版 Google Chrome # 下载 && dpkg -i去安装 https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb # 修复相关的依赖 apt --fix-broken install -y # 6. 安装 Chrome 运行所需的底层库 (确保 headless 模式正常工作) apt install -y \ wget \ unzip \ libxss1 \ libappindicator1 \ libindicator7 \ fonts-liberation \ libasound2 \ libatk-bridge2.0-0 \ libgtk-3-0 \ libdrm-common # 7. (可选)修复可能存在的依赖问题 apt --fix-broken install -y # 如果之前的安装出现中断或依赖错误,此命令可尝试自动修复 说明: 虽然核心抓取脚本export_csdn_cf.py使用的是cloudscraper,它不直接依赖浏览器,但如果您后续计划使用selenium或playwright等基于真实浏览器的自动化工具来应对更复杂的反爬机制(如 Turnstile 验证码),那么安装 Chrome 是必需的。 此处列出的lib*库是 Chrome 在无头(headless)模式下运行时常见的依赖项,能避免因缺少图形或音频库而导致的启动失败。 使用清华(TUNA)镜像可以显著加快在境内网络环境下下载 Chrome 的速度。 步骤一:安装 pip3 依赖 在开始编写和执行脚本之前,我们需要先配置好运行环境并安装必要的第三方库。 ...

October 22, 2025 · 完颜振江

ARM硬件测试面试题

开发板有哪些存储,存储如何测试 如何决定测试标准,和老板开发开会决定还是用行业标准 你觉得你有什么长处在测试方面 蓝牙如何测试,命令是什么 自动测试有哪些方面的应用 串口是什么协议,WiFi有哪些协议 WiFi如何测试 USB接口如何测试 固件如何测试 python深拷贝和浅拷贝区别 python进程通信有哪些 原文链接: ARM硬件测试面试题 作者: lixusocool

August 1, 2025 · lixusocool

从单 Agent 到多 Agent 的案例落地实践

大家好,我是玄姐。 ▼最近直播超级多,预约保你有收获 关于 Agent 的定义目前还没有形成共识,目前有3个代表性的定义: 流行最广的是前 OpenAI 研究与安全副总裁 Lilian Weng 对 Agent 的定义:Agent = LLM + Planning + Tools + Memory。 除此之外,LangChain 对 Agent 的定义为:使用 LLM 决定应用程序控制流的系统。 OpenAI 对 Agent 的定义是:Agent 是能够代表用户自主完成任务的系统。 尽管目前对 Agent 的定义还没形成共识,但是大家对 Agentic System(智能系统)基本的共识是:Agentic System 是一种有目标、基于环境的决策系统。与 LLM 最大的区别在于,Agentic System 可以与现实世界交互,从感知环境开始,做出决策并执行,影响环境,然后基于反馈调整,不断持续迭代循环。 —1— Agentic System 架构设计剖析 一个完整的 Agentic System 架构包含四个核心组成部分: 感知:为大模型构建上下文信息。常见的方法包括检索增强生成(RAG),查询结构化数据(比如:数据库、网页内容)或者检索历史记录(比如:长短期记忆)。 决策:本质上是 Planning 规划过程。可以通过规则引擎(Workflow)实现,也可以由大语言模型(LLM)驱动(自主 Agent),或者借助外部规划器。在设计时需要权衡泛化能力和准确性–LLM 驱动的决策泛化能力强,但不确定性较高;而基于规则的工作流泛化能力较弱,但更可控。 执行:通过调用工具来改变环境。包括 API 调用(比如:REST、RPC、SQL、函数调用)或与图形软件的集成(比如:Anthropic 的 Computer use)。 反馈:用于评估和迭代的机制。反馈可以通过人工标注、规则或模型生成,更新可以是离线的或在线的。 ...

June 2, 2025 · CC 4.0 BY-SA

使用cloudfare实现免费内网穿透

我系统是ubuntu18.04.6 LTS 执行以下命令: curl -L --output cloudflared.deb https://github.com/cloudflare/cloudflared/releases/latest/download/cloudflared-linux-amd64.deb sudo dpkg -i cloudflared.deb cloudflared tunnel login #这里会打开浏览器窗口登录cloudfare,我这里是之前绑定了域名,建议大家也绑定域名 cloudflared tunnel create vm1 #这里会生成下面所需的json文件 mkdir ./cloudflared && cd cloudflared/ nano config.yaml #添加以下内容 tunnels: vm1 credentials-file: /home/lixu/.cloudflared/95b49dcc-XXXX.json protocol: http2 ingress: - hostname: vm.nb404.cn service: http://127.0.0.1:80 originRequest: disableChunkedEncoding: true noTLSVerify: true - service: http_status:404 cloudflared tunnel --config config.yaml route dns vm1 vm.nb404.cn #这句命令会给域名增加vm的dns记录 cloudflared tunnel --config ./config.yaml run vm1 #这里就可以访问了,大家记得改成自己的域名 enjoy ...

May 24, 2024 · Lx666

解决ubuntu20+不能在vmare17复制粘贴的麻烦解决方案

先安装ubuntu18的版本,使用典型安装,因为它会自动安装open vm工具实现复制粘贴桌面自动大小功能,同时不要尝试手动安装open vm工具,我试过在ubuntu20+上面试过 没用。 输入相关信息 直接自动化一键安装。 重启后,执行以下命令升级系统,这个阶段可能需要等30min+ sudo apt upgrade sudo do-release-upgrade -c 重启 即可 24.5.19更新: 缺点:snap install node 会导致nodejs无法使用,缺少依赖 原文链接: 解决ubuntu20+不能在vmare17复制粘贴的麻烦解决方案 作者: lixusocool

May 18, 2024 · lixusocool

nano在centos7下中文乱码

nano ~/.bashrc export LC_ALL=en_US.UTF-8 export LANG=en_US.UTF-8 保存退出 ,重新登录终端让修改生效! 原文链接: nano在centos7下中文乱码 作者: lixusocool

May 17, 2024 · lixusocool

aws的linux其他端口无法访问问题

安全组设置: 一定要关闭本地代理才能访问,比如clash! 原文链接: aws的linux其他端口无法访问问题 作者: lixusocool

May 16, 2024 · lixusocool

linux的ollama卸载

 sudo systemctl stop ollama sudo systemctl disable ollama sudo rm /etc/systemd/system/ollama.service sudo rm $(which ollama) sudo rm -r /usr/share/ollama sudo userdel ollama sudo groupdel ollama 我是用官方安装的,卸载比较麻烦 建议 用 install ollama 卸载也方便snap remove 原文链接: linux的ollama卸载 作者: lixusocool

May 5, 2024 · lixusocool

解决docker容器不能问本机网络

查看网络: docker network list 选择一个bridge网络,重新部署容器的时候加进去– 1panel-network: docker run -d -p 3001:8080 --network 1panel-network 这样容器就可以引入本机网络的或者其他端口,建议关闭 原文链接: 解决docker容器不能问本机网络 作者: lixusocool

May 3, 2024 · lixusocool

IoTAutomationFramework_2.0 使用的自动化工具 概述 这是一个基于 Python 的 IoT 设备自动化测试框架,主要用于测试高通(Qualcomm)芯片平台的设备。 核心自动化工具 1. ADB (Android Debug Bridge) ⭐⭐⭐⭐⭐ 主要工具,使用最广泛 位置: Libs/Utilities/adb.py 用途: 设备连接和通信 执行 shell 命令 文件传输(push/pull) 设备重启 日志收集 使用示例: from Libs.Utilities.adb import adb # 执行命令 adb.run_cmd("adb shell ls /data", serial_number) # 推送文件 adb.push(local_path, remote_path, serial_number) # 拉取文件 adb.pull(remote_path, local_path, serial_number) # 重启设备 adb.run_cmd("adb reboot", serial_number) 特点: 支持多设备(通过 serial_number 区分) 支持 ADB over WiFi 自动日志记录(发送和接收的命令) 2. UIAutomator2 ⭐⭐⭐⭐ UI 自动化工具 ...