原因

1. 爬虫获取百度查询结果的时候，为了获取网页真实地址，而百度跳转页面的其中一种方式就是302重定向（redirect），那么针对这种方式，go语言默认自动执行redirect的，所以没办法使用get请求获取真实地址
2. 对于第一条描述的，在302重定向的时候，真实地址在response的location中
3. go语言中，默认是支持10层redirect，所以，除非跳出，否则会redirect 到第10层才退出，然而也是可以自定义的

自定义redirect规则示例

package main
import (
    "fmt"
    "net/http"
    "errors"
)
func main() {
    url:="https://www.baidu.com/link?url=IIZcBDQ9FSkK8wRluFkNAxjf4a7VDwHH0kFqGazjEAFGRDdnxe0HqQRdSocksxbbrpMjo7PTBeGjgnmf0aYOqN7ld6dXDBVO_jMYS16Yuy7CI5M_TMysMLpmFhF4CEjGjXOEYvjL_r9Hgz2-4jwsoa"
    client := &http.Client{
        CheckRedirect: myCheckRedirect,
    }
    req, err := http.NewRequest("GET", url, nil)
    if err != nil{
    }
    resp, err := client.Do(req)
    if err != nil{
    }
    fmt.Println(resp.Status)
    respUrl,err := resp.Location()
    if err != nil{
    }
    fmt.Println(respUrl.String())
}
func myCheckRedirect(req *http.Request, via []*http.Request) error {
    //自用，将url根据需求进行组合
    if len(via) >= 1 {
        retu

具体情况

原因

html代码中，Referrer设置不对，比如我的代码中，是这样的：

<meta name='referrer' content="never">

关于 referrer

referrer 网站来路；访问者进入网站任何途径。HTTP Referer 是header的一部分，当浏览器向web服务器发出请求的时候，一般会带上Referer,告诉服务器用户从那个页面连接过来的，服务器藉此可以获得一些信息用语处理。

referrer 用来判断网站来源,可以相应的做一些校验,比如只允许某网站的请求,那么就可以通过获取referer,加以判断即可。

对于 referrer，有两篇文章可以参考：
使用 Referer Meta 标签控制 referer—详解 referrer-policy
HTTP首部---referrer 知识点

问题分析

百度站长是有分析受访页面、来源网站、入口页面等等，都是需要Referrer的配置

而我的代码中，将 referrer 设置为了 never，与现在流行的“referrer policy”值“no-referrer”的效果一致

解决办法

根据需要，设置 referrer 值为合适的值（参考上面相关文章）或者直接删除关于 referrer 的设置，使用默认值“no-referrer-when-downgrade”

by 刘迎光@狐刺科技
OpenBI交流群：495266201
MicroService 微服务交流群：217722918
mail: liuyg#liuyingguang.cn
博主首页（==防止爬虫==）：http://blog.liuyingguang.cn/
OpenBI问答社区：http://www.openbi.tk/

错误日志

Java HotSpot(TM) 64-Bit Server VM warning: Cannot open file /nexus-data/log/jvm.log due to Permission denied
Warning:  Cannot open log file: /nexus-data/log/jvm.log
Warning:  Forcing option -XX:LogFile=/tmp/jvm.log
Unable to delete file: /nexus-data/cache/cache.lock
Unable to update instance pid: /nexus-data/instances/instance.properties (Permission denied)
Exception in thread "Thread-2" java.lang.SecurityException: Could not lock User prefs. Lock file access denied.
        at java.util.prefs.FileSystemPreferences.checkLockFile0ErrorCode(FileSystemPreferences.java:937)
        at java.util.prefs.FileSystemPreferences.lockFile(FileSystemPreferences.java:925)
        at java.util.prefs.FileSystemPreferences.sync(FileSystemPreferences.java:729)
        at java.util.prefs.FileSystemPreferences.flush(FileSystemPreferences.java:824)
        at java.util.prefs.FileSystemPreferences.syncWorld(FileSystemPreferences.java:464)
        at j

概述

软件开发过程中，往往会遇到版本管理问题，也常常会遇到服务多版本管理问题，也常常会遇到不同版本的服务之间，数据库字段不同、建表语句不同的问题，那么如何在不同版本间进行平滑升级，那么就需要有一系列的规范（暂不涉及回退方案）：

升级步骤

自动化管理，由程序在启动前操作：

1. 检查数据库中的当前版本，检查程序版本（version.properties中）
2. 检查与当前版本相关联的升级脚本（这一步骤依赖于与数据库版本相对应的文件命名规范）
3. 如果找到了文件，则执行文件内容并验证输出，如果出现错误则退出，抛出异常
4. 如果没有发现脚本，则直接退出，抛出异常
5. 重复步骤1

注意事项

1. 版本控制：数据库中存在db_schema_version表，用来管理当前所有应用实例的版本信息，每个项目中，都应包含一个version的描述文件（version.properties），有版本变动，即修改其版本信息，db_schema_version表结构见第6条
2. 版本号控制：<主版本号>.<子版本号>.<修订号>
   第一部分在系统的重要发布或重大阶段会进行改变，比如每几个月一次。下面两部分是由开发者控制的。子版本改变意味着数据库中加入了破坏性的改动（例如新的必需字段），这使得“旧的”应用程序与新的数据库架构不再兼容。修订号则是每次非破坏性的变动发生时（例如新的索引、新表、新的可选字段等等）进行递增的。每次上级版本号更新，下级版本号默认清零
3. 更新脚本：
   由开发者进行编写的数据库更新脚本，此脚本中包含多个更新数据库的语句，使用英文分号分隔（标准的数据库语句写法），不必特意使用事务脚本，java程序会将每一个更新脚本文件当做一个事务来处理。
   添加注释需要使用“ /注释/ ”方式来写
4. 更新脚本文件命名规范：
   为文件名称使用以下格式
   <前缀><数据库版本表中的当前版本号><目标版本号>_<有关升级的其它信息>.sql，
   例如：report_1.0.1_1.0.2_rename_column.sql
   目前，前缀我们默认使用产品名称来描述，用来和每个项目中配置文件中的product_name对应
   5、记录应用升级脚本的历史，db_version_h