go golang 重定向 http 刘迎光 狐刺科技    2019-05-15 09:45:23    380

原因

  1. 爬虫获取百度查询结果的时候,为了获取网页真实地址,而百度跳转页面的其中一种方式就是302重定向(redirect),那么针对这种方式,go语言默认自动执行redirect的,所以没办法使用get请求获取真实地址
  2. 对于第一条描述的,在302重定向的时候,真实地址在response的location中
  3. go语言中,默认是支持10层redirect,所以,除非跳出,否则会redirect 到第10层才退出,然而也是可以自定义的

自定义redirect规则示例

  1. package main
  2. import (
  3. "fmt"
  4. "net/http"
  5. "errors"
  6. )
  7. func main() {
  8. url:="https://www.baidu.com/link?url=IIZcBDQ9FSkK8wRluFkNAxjf4a7VDwHH0kFqGazjEAFGRDdnxe0HqQRdSocksxbbrpMjo7PTBeGjgnmf0aYOqN7ld6dXDBVO_jMYS16Yuy7CI5M_TMysMLpmFhF4CEjGjXOEYvjL_r9Hgz2-4jwsoa"
  9. client := &http.Client{
  10. CheckRedirect: myCheckRedirect,
  11. }
  12. req, err := http.NewRequest("GET", url, nil)
  13. if err != nil{
  14. }
  15. resp, err := client.Do(req)
  16. if err != nil{
  17. }
  18. fmt.Println(resp.Status)
  19. respUrl,err := resp.Location()
  20. if err != nil{
  21. }
  22. fmt.Println(respUrl.String())
  23. }
  24. func myCheckRedirect(req *http.Request, via []*http.Request) error {
  25. //自用,将url根据需求进行组合
  26. if len(via) >= 1 {
  27. retu
referrer http 百度统计 刘迎光 狐刺科技    2019-05-03 01:42:43    337

具体情况

title

原因

html代码中,Referrer设置不对,比如我的代码中,是这样的:

  1. <meta name='referrer' content="never">

关于 referrer

referrer 网站来路;访问者进入网站任何途径。HTTP Referer 是header的一部分,当浏览器向web服务器发出请求的时候,一般会带上Referer,告诉服务器用户从那个页面连接过来的,服务器藉此可以获得一些信息用语处理。

referrer 用来判断网站来源,可以相应的做一些校验,比如只允许某网站的请求,那么就可以通过获取referer,加以判断即可。

对于 referrer,有两篇文章可以参考:
使用 Referer Meta 标签控制 referer—详解 referrer-policy
HTTP首部---referrer 知识点

问题分析

百度站长是有分析受访页面、来源网站、入口页面等等,都是需要Referrer的配置
title
而我的代码中,将 referrer 设置为了 never,与现在流行的“referrer policy”值“no-referrer”的效果一致

解决办法

根据需要,设置 referrer 值为合适的值(参考上面相关文章)或者直接删除关于 referrer 的设置,使用默认值“no-referrer-when-downgrade”


by 刘迎光@狐刺科技
OpenBI交流群:495266201
MicroService 微服务交流群:217722918
mail: liuyg#liuyingguang.cn
博主首页(==防止爬虫==):http://blog.liuyingguang.cn/
OpenBI问答社区:http://www.openbi.tk/

win7 VPN Routing and Remote Access 刘迎光 狐刺科技    2019-04-18 00:53:43    366
先来看看配置好以后的样子
起初,我们的机器中,上图的第二个连接是不存在的,是配置好以后才出现的。

网上有人给出其他的解决方案,就是点击图中的"文件"-->"新建传入连接"
可是问题来了,这里我们做不到啊,因为我们没有这个文件菜单,参考第一个图
如果你有这个选项,可以直接参考链接:https://blog.csdn.net/guo_guo_cai/article/details/78399925
好了,不啰嗦了,直接切入正题,看如何解决这个问题

一、打开服务管理器(win+r,输入services.msc),并找到服务“Routing and Remote Access”,开启即可
注:1. 这个服务默认在win7 中是被禁用的,要改为自动,并启用
2. 这个服务目前测试在win7旗舰版中是存在的,其他版本没有测试
二、重新打开“控制面板\网络和 Internet\网络连接”,在其中找到新出现的连接,即我们第一张图中的第二个连接
1. 设置可以连入,在“常规”项目下,“虚拟专用网络”中勾选上
2. 设置用户,在“用户”项目下,可以选择允许连接的用户,也可以新建用户等
三、打开防火墙中的1723端口,这里就不多说了,自行理解

到这里,就算是完全配置成了,找另外一台机器测试下吧
 
 
by 刘迎光@狐刺科技 
OpenBI交流群:495266201 
MicroService 微服务交流群:217722918 
mail: liuyg#liuyingguang.cn 
博主首页(==防止爬虫==):http://blog.liuyingguang.cn 
OpenBI问答社区:http://www.openbi.tk/

nexus maven nexus3 刘迎光 狐刺科技    2019-04-18 00:52:45    348

错误日志

  1. Java HotSpot(TM) 64-Bit Server VM warning: Cannot open file /nexus-data/log/jvm.log due to Permission denied
  2. Warning: Cannot open log file: /nexus-data/log/jvm.log
  3. Warning: Forcing option -XX:LogFile=/tmp/jvm.log
  4. Unable to delete file: /nexus-data/cache/cache.lock
  5. Unable to update instance pid: /nexus-data/instances/instance.properties (Permission denied)
  6. Exception in thread "Thread-2" java.lang.SecurityException: Could not lock User prefs. Lock file access denied.
  7. at java.util.prefs.FileSystemPreferences.checkLockFile0ErrorCode(FileSystemPreferences.java:937)
  8. at java.util.prefs.FileSystemPreferences.lockFile(FileSystemPreferences.java:925)
  9. at java.util.prefs.FileSystemPreferences.sync(FileSystemPreferences.java:729)
  10. at java.util.prefs.FileSystemPreferences.flush(FileSystemPreferences.java:824)
  11. at java.util.prefs.FileSystemPreferences.syncWorld(FileSystemPreferences.java:464)
  12. at j
个人成长    2018-04-24 21:59:28    771

提要

前几天写过一篇文章《职场核心:12种引导职场生涯走向成功的基本能力》,其中有提到要借用上司的能力,其实就是借力的使用之一,有朋友不明白怎么借力,那么我们就来通过几个例子来述说下如何借力。

学会借力,你的发展将事半而功 N 倍

你会如何登上30楼?

假设上班时间,我们要爬上高30层的楼,同样在一楼,你会怎么上去?

  1. 最原始的手段,爬楼梯;

  2. 先进的手段,坐电梯;

  3. 豪华的手段,直升机降落楼顶

当然,这里有点开玩笑了,谁上班会去坐直升机呀,确实不多。

但是我们抛开第三点不讲,即使就是前两条也有很大的可比性。

当然我们几乎所有人都会选择乘坐电梯,但是也不见得没有人去爬楼梯(可能这个人不知道有电梯)。

当然这里可以简单来说,其实我们借了电梯的力,才能那么方便直达30楼!

学会借力,你的发展将事半而功 N 倍

你的笔记检索效率如何?

云笔记可能不少人没用过,还是不少人使用纸质笔记本记笔记,那么问题来了:

假设我需要从过往的笔记中找到所有关于“互联网”的内容,那么你会怎么办?

  1. 当然,传统的手段,肯定是一个笔记本一个笔记本找啦,当然脑图哥曾经也见过高人的笔记本,还自己编排了目录,但是如果我需要找到的不仅仅是标题包含,内容中包含“互联网”也算符合条件。

  2. 高端的玩法,笔记都使用电脑记录在云笔记中,当需要查找所有关于“互联网”的内容时,直接在搜索矿中搜索下,立刻就会出现相关内容的列表。

当然,这个例子对于互联网时代的我们,其实是极其有效的,毕竟互联网的工具给我们带来了巨大的便利性,这个工具还仅仅是冰山一角而已。

学会借力,你的发展将事半而功 N 倍

你的上司能够帮到你吗?

这里分享一个真实案例,脑图哥有个做律师的朋友,他曾经在接案子的时候,总是不自信,感觉自己做不好,有时候甚至会将找上门来的案子转接给其他同事。

记得有一次,脑图哥正好有事情拜访朋友,朋友又这样做事情,他的同事很爽快的来了一句:“你接呀,怕什么,你要相信你背后还有一个团队呢!我们大家会帮你的!”

其实这个时候,脑图哥感觉自己的朋友就可以借用上司的力,一方面能够学到知识,一方面也能够接下自己的单子。

学会借力,你的发展将事半而功 N 倍

你为什么会买某某品牌的洗发水?

最近朋友对脑图哥讲的最多的就是很多人为什么会买某某品牌的洗发水的故事,那么为什么呢?

其实很简单,洗发水厂商借助了名人的力,这个力其实一方面是粉丝效应,一方面是名人的知名度。

总结

其实这里并没有从很多理论去说明借力,而是从生活中的几件小事,简单跟大家介绍下借力这回事儿。

用一位朋友的话语来说“生活很简单,然而又没那么简单!完全看你有没有一双发现的眼镜!”

1/47