【python】python爬取新闻资讯

作者 stormwind

# 导入爬虫库
import requests
# 导入pyquery（数据提取）
from pyquery import PyQuery as pq
# 用于延时请求
import  time


# 请求头
headers ={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.9 Safari/537.36',
          'Cookie':'aliyungf_tc=AQAAACrtMHyGHA4ARxkbZ27Kgw3kCofh; route=ac205598b1fccbab08a64956374e0f11; JSESSIONID=5B42F8C6E712092B9A963E3F0532AD21; uuid=9065c880-0293-4758-86a8-0a228c6cfb2c; SERVERID=srv-omp-ali-portal10_80; Hm_lvt_94a1e06bbce219d29285cee2e37d1d26=1587280903; Hm_lpvt_94a1e06bbce219d29285cee2e37d1d26=1587280903; UM_distinctid=17191507d62338-03d1defec13f5f-721f3a40-144000-17191507d63400; CNZZDATA1261102524=262517629-1587279306-null%7C1587279306; __ads_session=6NY9VLMBdgmIzmsFHgA=',
          'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
          'Host':'www.thepaper.cn'}

# 封装一个获取新闻内容的函数
def get_news(href,title):
    # 对新闻内容网址发送请求
    response = requests.get(href,headers=headers).text
    # 数据初始化
    doc =pq(response)
    # 通过类选择器news_txt提取新闻内容
    news = doc(".index_cententWrap__Jv8jK").items()
    # 遍历数据
    for x in news:
        # 取出数据中的文本数据，获取到新闻信息
        new = x.text()
        print(new)

# 封装一个获取新闻内容网址和新闻标题的函数
def get_news_title():
    # 新闻网首页的链接
    url = 'https://www.thepaper.cn/channel_25951'
    # 对首页发送请求，并返回文本数据
    respoonse = requests.get(url, headers=headers,).text
    time.sleep(1)
    # 数据初始化
    doc = pq(respoonse)
    # 通过类选择器news_li 下级标签 h2 a 定位数据
    # .itens把数据变成可遍历的数据
    a = doc(".small_toplink__GmZhY a").items()
    print(a)
    # 遍历数据
    for x in a:
        # 通过属性href提取出新闻网址
        href = "https://www.thepaper.cn/" + x.attr("href")
        print(href)
        # 提取数据中的文本 获取新闻标题
        title = x.text()
        print(title)
        get_news(href,title)

if __name__ == '__main__':
    get_news_title()

【uni-app】uni-wifi字段变更导致无法获取wifi列表

作者 stormwind 在 hbuild, uni-app

uni-wifi获取WiFi信息后，2024.9.24返回字段与文档中不一致

9.24更新后，使用插件返回wifiList中的 SSID变更为sSID,发布已上线的APP无法知道错误信息

【vscode】vue3+vscode+element

作者 stormwind

1、安装node

下载nodejs，当前最新版本是 node 16.8

国外下载地址：https://nodejs.org/en

国内下载地址：http://nodejs.cn/download

下载完成之后双击文件【node-v16.8.0-x64.msi】安装。nodejs全局环境变量配置参考 https://www.cnblogs.com/yyee/p/15209612.html

检查nodejs是否安装：

node -v

如果未安装nodejs，照下步骤安装：

2、设置镜像，提高npm安装软件的速度。

pnpm get registry

pnpm config set registry https://registry.npmmirror.com/

pnpm config set registry https://registry.npmjs.org/

pnpm get registry

3、安装pnpm

npm install -g pnpm -registry=https://registry.npmmirror.com/

4、查看端口占用

npm run dev –port 端口号

【nodejs】如何在 Ubuntu 22.04 LTS 上安装 Node.js【nodejs】

作者 stormwind

Node.JS 是一个基于 Google V8 引擎构建的开源后端 Javascript 运行时环境。它允许开发人员利用 JavaScript 创建命令行工具和服务器端脚本，包括在将页面发送到用户浏览器之前在服务器上运行脚本。Node.js 适用于大多数现代操作系统，包括 Ubuntu Linux。

步骤 1. 首先，通过在终端中运行以下命令，确保所有系统包都是最新的。

sudo apt update
sudo apt upgrade
sudo apt install build-essential curl

步骤 2. 在 Ubuntu 22.04 上安装 Node.js。

1、从 NodeSource 存储库安装 Node.js。

默认情况下，Node.js 在 Ubuntu 22.04 基础存储库中不可用。现在运行以下命令将 NodeSource 存储库添加到您的 Ubuntu 系统：

wget -qO- https://deb.nodesource.com/setup_16.x | sudo -E bash

将 NodeSource 存储库添加到系统后，使用 Apt 包管理器安装 Node.js：

sudo apt install nodejs

2、使用 NVM 安装 Node.js。

现在使用 bash 脚本在你的 Ubuntu 系统上安装 NVM：

wget -qO- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.1/install.sh | bash

接下来，关闭并重新打开终端或运行以下命令将 nvm 加载到当前会话：

source $HOME/.bashrc

使用 NVM，您可以检查当前可用的 Node.js 版本：

nvm install --lts
nvm install node

确认已安装最新的 LTS 版本，运行命令：

node -v

此外，您可以使用以下命令检查 NPM 的版本：

npm -v

【golang】go版本上级

作者 stormwind

一、删除旧版本

sudo rm -rf /usr/local/go
sudo apt-get remove golang
sudo apt-get remove golang-go
sudo apt-get autoremove

二、方法一

sudo add-apt-repository ppa:longsleep/golang-backports 
sudo apt-get install golang-go

如果要安装指定版本：
sudo apt-get install golang-1.11-go

如果add-apt-repository不存在，通过以下命令安装进行按照：

sudo apt-get install software-properties-commonsudo 
apt-get update

三、方法二

sudo snap install go --classic

【C语言】删除文件尾部N个字节

作者 stormwind

#include <stdio.h> 
#include <stdlib.h>
#include <string.h>
#include <unistd.h>

int main(int argc,char **argv) 
{ 
	char filename[128]="";
	
	strcpy(filename,argv[1]);
	printf("filename:%s\r\n",filename);
	
	FILE *fp = fopen(filename, "rb+"); 
	if (fp == NULL) 
	{
		printf("文件打开失败\n"); return -1; 
	} 
	int num_bytes = 10; // 要删除的字节数 
	fseek(fp, -num_bytes, SEEK_END); 
	ftruncate(fileno(fp), ftell(fp)); 
	fclose(fp); 
	return 0; 
}

del_bytes 下载

【shell】脚本实现字符串操作

作者 stormwind

1、获取字符串长度

abc="huihuiuhiihu"
echo ${#abc}

利用#号实现字符串长度统计

2、截取字符串内容

${hui:5}

利用：加数字的形式截取固定长度字符串内容

3、实现固定长度字符串拼接

hui="sssdsdsdsjkdhskhdksd"
abc="12346"
kji=${abc}${hui:${#abc}}

echo $kji

【shell】sh脚本生成二进制文件

作者 stormwind

1、叙述

脚本的好处是便捷、高效，拿起来就可以写，写完就能跑，都不用编译。但坏处也显而易见，一些敏感的、不想让外人知道的东西都是明文写在里面的。

2、安装shc编译器

下载安装：
tar xzvf shc.tar.tgz 
cd shr/
make && make install

直接安装：
sudo apt install shc

3、使用方法

shc -r -f ./demo.sh

运行成功后会在当前目录下生成两个文件：

demo.sh.x   是脚本所对应的可执行程序
demo.sh.c   对应的c语言实现的源码

4、参数列表：

 The command line options are:

 -e date
      Expiration date in dd/mm/yyyy format [none]

 -m message
      message to display  upon  expiration  ["Please  contact
      your provider"]

 -f script_name
      File name of the script to compile

 -i inline_option
      Inline option for the shell interpreter i.e: -e

 -x comand
      eXec    command,    as    a    printf    format    i.e:
      exec(\\'%s\\',@ARGV);

 -l last_option
      Last shell option i.e: --

 -r   Relax security. Make  a  redistributable  binary  which
      executes  on different systems running the same operat-
      ing system.

 -v   Verbose compilation

 -D   Switch on debug exec calls

 -T   Allow binary to be  traceable  (using  strace,  ptrace,
      truss, etc.)

 -C   Display license and exit

 -A   Display abstract and exit

 -h   Display help and exit

【golang】go语言环境安装配置

作者 stormwind

1、下载go语言版本包，感觉不同的平台架构选择

https://golang.org/dl/

2、解压并安装

可以解压到任意目录，但需要设置环境变量

vim /etc/profile

export GOPATH=/goWorkPlace
export GOROOT=/usr/local/go
export PATH=$PATH:$GOROOT/bin

生效：

source /etc/profile

3、运行测试代码

package main

import "fmt"

func main() {
    fmt.Printf("hello, world\n")
}

终端输入命令：go run main.go

【JavaScript】16位有符合整数处理

作者 stormwind

1、理解JavaScript对数据的默认逻辑

JS 中所有的数字类型，实际存储都是通过 8 字节 double 浮点型表示的。浮点数并不是能够精确表示范围内的所有数的，虽然 double 浮点型的范围看上去很大: 2.23x10^(-308) ~ 1.79x10^308。可以表示的最大整数可以很大，但能够精确表示，使用算数运算的并没有这么大。

2、16位有符号整数处理

由于JavaScript默认是按照32位数据处理，那么对于16位有符合数据处理，符号位在第32位，这么理解就对了。1代表负数，0代表整数。

举例：
var value=0xff88
console.log(0xff88 | 0xffff0000)

天英科技创新协会

15AH, San Francisco

California, United States.

Send Your Mail At:

tianyingkejishe@sina.cn

Working Hours

Mon-Sat: 9.30am To 7.00pm

分类标题

分类归档编程语言

【python】python爬取新闻资讯

【uni-app】uni-wifi字段变更导致无法获取wifi列表

【vscode】vue3+vscode+element

1、安装node

2、设置镜像，提高npm安装软件的速度。

3、安装pnpm

4、查看端口占用

【nodejs】如何在 Ubuntu 22.04 LTS 上安装 Node.js【nodejs】

步骤 1. 首先，通过在终端中运行以下命令，确保所有系统包都是最新的。

步骤 2. 在 Ubuntu 22.04 上安装 Node.js。

【golang】go版本上级

一、删除旧版本

二、方法一

三、方法二

【C语言】删除文件尾部N个字节

【shell】脚本实现字符串操作

【shell】sh脚本生成二进制文件

【golang】go语言环境安装配置

【JavaScript】16位有符合整数处理

15AH, San Francisco

California, United States.

Send Your Mail At:

tianyingkejishe@sina.cn

Working Hours

Mon-Sat: 9.30am To 7.00pm

分类标题

分类归档 编程语言

1、安装node

2、设置镜像，提高npm安装软件的速度。

3、安装pnpm

4、查看端口占用

步骤 1. 首先，通过在终端中运行以下命令，确保所有系统包都是最新的。

步骤 2. 在 Ubuntu 22.04 上安装 Node.js。

一、删除旧版本

二、方法一

三、方法二

分类归档编程语言