go 标准库 net/url 学习笔记

【导读】本文是一篇学习笔记，记录了作者学习 go 语言标准库 net/url 库的过程。

参考：https://studygolang.com/pkgdoc

导入方式：

import "net/url"

url 包解析 URL 并实现了查询的逸码，参见 RFC 3986。

func PathEscape

func PathEscape(s string) string

PathEscape 会将字符串转义出来，以便将其安全地放置在 URL 路径段中。

func PathUnescape

func PathUnescape(s string) (string, error

PathUnescape 执行 PathEscape 的逆转换，将 ％AB 转换为字节 0xAB 。如果任何 ％ 之后没有两个十六进制数字，它将返回一个错误。

PathUnescape 与 QueryUnescape 相同，只是它不会将'+'改为''（空格）。

func QueryEscape

func QueryEscape(s string) string

QueryEscape 函数对 s 进行转码使之可以安全的用在 URL 查询里。

func QueryUnescape

func QueryUnescape(s string) (string, error)

QueryUnescape 函数用于将 QueryEscape 转码的字符串还原。它会把%AB 改为字节 0xAB，将'+'改为' '。如果有某个%后面未跟两个十六进制数字，本函数会返回错误。

举例：

package main 
import(
    "fmt"
    "encoding/base64"
    "net/url"
    "crypto/rand"
    "io"
    "log"
)

//sessionId 函数用来生成一个 session ID，即 session 的唯一标识符
func sessionId() string {
    b := make([]byte, 32)
    //ReadFull 从 rand.Reader 精确地读取 len(b) 字节数据填充进 b
    //rand.Reader 是一个全局、共享的密码用强随机数生成器
    if _, err := io.ReadFull(rand.Reader, b); err != nil { 
        return ""
    }
    fmt.Println(b) //[238 246 235 166 48 196 157 143 123 140 241 200 213 113 247 168 219 132 208 163 223 24 72 162 114 30 175 205 176 117 139 118]
    return base64.URLEncoding.EncodeToString(b)//将生成的随机数 b 编码后返回字符串，该值则作为 session ID
}
func main() { 
    sessionId := sessionId() 
    fmt.Println(sessionId) //7vbrpjDEnY97jPHI1XH3qNuE0KPfGEiich6vzbB1i3Y=
    encodedSessionId := url.QueryEscape(sessionId) //对 sessionId 进行转码使之可以安全的用在 URL 查询里
    fmt.Println(encodedSessionId) //7vbrpjDEnY97jPHI1XH3qNuE0KPfGEiich6vzbB1i3Y%3D
    decodedSessionId, err := url.QueryUnescape(encodedSessionId) //将 QueryEscape 转码的字符串还原
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println(decodedSessionId) //7vbrpjDEnY97jPHI1XH3qNuE0KPfGEiich6vzbB1i3Y=
}

type URL

type URL struct {
    Scheme   string    //具体指访问服务器上的资源使用的哪种协议
    Opaque   string    // 编码后的不透明数据
    User     *Userinfo // 用户名和密码信息，有些协议需要传入明文用户名和密码来获取资源，比如 FTP
    Host     string    // host 或 host:port，服务器地址，可以是 IP 地址，也可以是域名信息
    Path     string  //路径，使用"/"分隔
    RawQuery string // 编码后的查询字符串，没有'?'
    Fragment string // 引用的片段（文档位置），没有'#'
}

URL 类型代表一个解析后的 URL（或者说，一个 URL 参照）。URL 基本格式如下：

scheme://[userinfo@]host/path[?query][#fragment]

scheme 后不是冒号加双斜线的 URL 被解释为如下格式：

scheme:opaque[?query][#fragment]

注意路径字段是以解码后的格式保存的，如/%47%6f%2f 会变成/Go/。这导致我们无法确定 Path 字段中的斜线是来自原始 URL 还是解码前的%2f。除非一个客户端必须使用其他程序/函数来解析原始 URL 或者重构原始 URL，这个区别并不重要。此时，HTTP 服务端可以查询 req.RequestURI，而 HTTP 客户端可以使用 URL{Host: "example.com", Opaque: "//example.com/Go%2f"}代替{Host: "example.com", Path: "/Go/"}。

func Parse

func Parse(rawurl string) (url *URL, err error)

Parse 函数解析 rawurl 为一个 URL 结构体，rawurl 可以是绝对地址，也可以是相对地址。

func ParseRequestURI

func ParseRequestURI(rawurl string) (url *URL, err error)

ParseRequestURI 函数解析 rawurl 为一个 URL 结构体，本函数会假设 rawurl 是在一个 HTTP 请求里，因此会假设该参数是一个绝对 URL 或者绝对路径，并会假设该 URL 没有#fragment 后缀。（网页浏览器会在去掉该后缀后才将网址发送到网页服务器）

func (*URL) IsAbs

func (u *URL) IsAbs() bool

函数在 URL 是绝对 URL 时才返回真。

举例：

package main 
import(
    "fmt"
    "net/url"
)

func main() { 
    u := url.URL{Host: "example.com", Path: "foo"}
    fmt.Println(u.IsAbs()) //false
    u.Scheme = "http"
    fmt.Println(u.IsAbs()) //true
}

func (*URL) Query

func (u *URL) Query() Values

Query 方法解析 RawQuery 字段并返回其表示的 Values 类型键值对。

举例：

package main 
import(
    "fmt"
    "net/url"
)

func main() { 
    u := &url.URL{
        Scheme:   "https",
        User:     url.UserPassword("me", "pass"),
        Host:     "example.com",
        Path:     "foo/bar",
        RawQuery: "x=1&y=2",
        Fragment: "anchor",
    }
    fmt.Println(u.Query()) //map[x:[1] y:[2]]
}

func (*URL) RequestURI

func (u *URL) RequestURI() string

RequestURI 方法返回编码好的 path?query 或 opaque?query 字符串，用在 HTTP 请求里。

package main 
import(
    "fmt"
    "net/url"
    "log"
)

func main() { 
    u, err := url.Parse("https://example.org/path?foo=bar")
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println(u.RequestURI()) ///path?foo=bar
}

func (*URL) String

func (u *URL) String() string

String 将 URL 重构为一个合法 URL 字符串。

字符串将 URL 重组为一个有效的 URL 字符串。结果的一般形式是以下之一：

scheme:opaque?query#fragment
scheme://userinfo@host/path?query#fragment

如果 u.Opaque 不为空，则 String 使用第一种形式；否则它使用第二种形式。要获取路径，String 使用 u.EscapedPath() 。

在第二种形式中，适用下列规则：

- if u.Scheme is empty, scheme: is omitted.
- if u.User is nil, userinfo@ is omitted.
- if u.Host is empty, host/ is omitted.
- if u.Scheme and u.Host are empty and u.User is nil,
   the entire scheme://userinfo@host/ is omitted.
- if u.Host is non-empty and u.Path begins with a /,
   the form host/path does not add its own /.
- if u.RawQuery is empty, ?query is omitted.
- if u.Fragment is empty, #fragment is omitted.

举例：

package main 
import(
    "fmt"
    "net/url"
)

func main() { 
    u := &url.URL{
        Scheme:   "https",
        User:     url.UserPassword("me", "pass"),
        Host:     "example.com",
        Path:     "foo/bar",
        RawQuery: "x=1&y=2",
        Fragment: "anchor",
    }
    //这是第一种形式
    fmt.Println(u.String()) //https://me:pass@example.com/foo/bar?x=1&y=2#anchor
    u.Opaque = "opaque"
    //这是第二种形式
    fmt.Println(u.String()) //https:opaque?x=1&y=2#anchor
}

func (*URL) EscapedPath

func (u *URL) EscapedPath() string

EscapedPath 返回 u.Path 的转义形式。一般来说，任何路径都有多种可能的转义形式。EscapedPath 在 u.Path 有效转义时返回 u.RawPath 。否则，EscapedPath 将忽略 u.RawPath 并自行计算转义表单。String 和 RequestURI 方法使用 EscapedPath 来构造它们的结果。通常，代码应该调用 EscapedPath ，而不是直接读取 u.RawPath 。

举例：

package main 
import(
    "fmt"
    "net/url"
    "log"
)

func main() { 
    u, err := url.Parse("http://example.com/path with spaces")
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println(u.EscapedPath()) ///path%20with%20spaces
}

func (*URL) Hostname

func (u *URL) Hostname() string

主机名返回 u.Host ，没有任何端口号。

如果主机是具有端口号的 IPv6 文本，则主机名将返回不带方括号的 IPv6 文字。IPv6 文字可能包含区域标识符。

举例：

package main 
import(
    "fmt"
    "net/url"
    "log"
)

func main() { 
    u, err := url.Parse("https://example.org:8000/path")//IPV4
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println(u.Hostname()) //example.org

    u, err = url.Parse("https://[2001:0db8:85a3:0000:0000:8a2e:0370:7334]:17000") //IPV6
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println(u.Hostname())//2001:0db8:85a3:0000:0000:8a2e:0370:7334
}

func (*URL) Port

func (u *URL) Port() string

Port 返回 u.Host 的端口部分，不带前导冒号。如果 u.Host 不包含端口，则 Port 返回空字符串。

func (*URL) Parse

func (u *URL) Parse(ref string) (*URL, error)

Parse 方法以 u 为上下文来解析一个 URL，ref 可以是绝对或相对 URL。

本方法解析失败会返回 nil, err；否则返回结果和 ResolveReference 一致。

举例：

package main 
import(
    "fmt"
    "net/url"
    "log"
)

func main() { 
    base, err := url.Parse("http://example.com/directory/")
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println(base)
    result, err := base.Parse("./search?q=dotnet")
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println(result)
}

返回：

bogon:~ user$ go run testGo.go 
http://example.com/directory/
http://example.com/directory/search?q=dotnet

func (*URL) ResolveReference

func (u *URL) ResolveReference(ref *URL) *URL

本方法根据一个绝对 URI 将一个 URI 补全为一个绝对 URI，参见 RFC 3986 节 5.2。参数 ref 可以是绝对 URI 或者相对 URI。ResolveReference 总是返回一个新的 URL 实例，即使该实例和 u 或者 ref 完全一样。如果 ref 是绝对 URI，本方法会忽略参照 URI 并返回 ref 的一个拷贝。

举例：

当 ref 是相对路径，则其将会相对于 u 来得到其的绝对路径：

package main 
import(
    "fmt"
    "net/url"
    "log"
)

func main() { 
  //该相对路径的意思是
    u, err := url.Parse("../../..//search?q=dotnet")//相对路径的不同会影响返回的结果
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println(u)
    base, err := url.Parse("http://example.com/directory/")
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println(base)
    fmt.Println(base.ResolveReference(u))
}

返回：

bogon:~ user$ go run testGo.go 
../../..//search?q=dotnet
http://example.com/directory/
http://example.com/search?q=dotnet

如果相对路径为。./..//search?q=dotnet，返回结果是相同的，即 http://example.com/search?q=dotnet

但是如果相对路径为。.//search?q=dotnet，将返回 http://example.com//search?q=dotnet，这并不是我们想要的结果。如果想要相对于 directory 目录，则相对路径写成。/search?q=dotnet

func (u *URL) MarshalBinary() (text []byte, err error)

func (u *URL) MarshalBinary() (text []byte, err error)

举例：

package main 
import(
    "fmt"
    "net/url"
    "log"
    "reflect"
)

func main() { 
    u, _ := url.Parse("https://example.org")
    b, err := u.MarshalBinary() //将其转成二进制
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println(reflect.TypeOf(b)) //[]uint8
    fmt.Println(b) //[104 116 116 112 115 58 47 47 101 120 97 109 112 108 101 46 111 114 103]
    fmt.Printf("%s\n", b) //https://example.org
}

func (*URL) UnmarshalBinary

func (u *URL) UnmarshalBinary(text []byte) error

举例：

package main 
import(
    "fmt"
    "net/url"
    "log"
    "reflect"
)

func main() { 
    u := &url.URL{}
    //将其从二进制转成 url.URL 类型
    err := u.UnmarshalBinary([]byte("https://example.org:8000/foo"))
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println(reflect.TypeOf(u)) //*url.URL
    fmt.Println(u) //https://example.org:8000/foo
    fmt.Println(u.Hostname()) //example.org
    fmt.Println(u.Port()) //8000

}

type Userinfo

type Userinfo struct {
    // 内含隐藏或非导出字段
}

Userinfo 类型是一个 URL 的用户名和密码细节的一个不可修改的封装。一个真实存在的 Userinfo 值必须保证有用户名（但根据 RFC 2396 可以是空字符串）以及一个可选的密码。

func User

func User(username string) *Userinfo

User 函数返回一个用户名设置为 username 的不设置密码的* Userinfo。

func UserPassword

func UserPassword(username, password string) *Userinfo

UserPassword 函数返回一个用户名设置为 username、密码设置为 password 的* Userinfo。

这个函数应该只用于老式的站点，因为风险很大，不建议使用，参见 RFC 2396。

func (*Userinfo) Username

func (u *Userinfo) Username() string

Username 方法返回用户名。

func (*Userinfo) Password

func (u *Userinfo) Password() (string, bool)

如果设置了密码返回密码和真，否则会返回假。

func (*Userinfo) String

func (u *Userinfo) String() string

String 方法返回编码后的用户信息，格式为"username[:password]"。

举例：

package main 
import(
    "fmt"
    "net/url"
    "log"
)

func main() { 
    u := &url.URL{
        Scheme:   "https",
        User:     url.UserPassword("me", "pass"),
        Host:     "example.com",
        Path:     "foo/bar",
        RawQuery: "x=1&y=2",
        Fragment: "anchor",
    }
    fmt.Println(u.User.Username()) //me
    password, b := u.User.Password()
    if b == false{
        log.Fatal("can not get password")
    }
    fmt.Println(password) //pass
    fmt.Println(u.User.String()) //me:pass

}

type Values

type Values map[string][]string

Values 将建映射到值的列表。它一般用于查询的参数和表单的属性。不同于 http.Header 这个字典类型，Values 的键是大小写敏感的。

func ParseQuery

func ParseQuery(query string) (m Values, err error)

ParseQuery 函数解析一个 URL 编码的查询字符串，并返回可以表示该查询的 Values 类型的字典。本函数总是返回一个包含了所有合法查询参数的非 nil 字典，err 用来描述解码时遇到的（如果有）第一个错误。

举例：

package main 
import(
    "fmt"
    "net/url"
    "log"
)

func main() { 
    v, err := url.ParseQuery("friend=Jess&friend=Sarah&fruit=apple&name=Ava")
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println(v) //map[friend:[Jess Sarah] fruit:[apple] name:[Ava]]
}

func (Values) Get

func (v Values) Get(key string) string

Get 会获取 key 对应的值集的第一个值。如果没有对应 key 的值集会返回空字符串。获取值集请直接用 map。

func (Values) Set

func (v Values) Set(key, value string)

Set 方法将 key 对应的值集设为只有 value，它会替换掉已有的值集。

func (Values) Add

func (v Values) Add(key, value string)

Add 将 value 添加到 key 关联的值集里原有的值的后面。

func (Values) Del

func (v Values) Del(key string)

Del 删除 key 关联的值集。

func (Values) Encode

func (v Values) Encode() string

Encode 方法将 v 编码为 url 编码格式 ("bar=baz&foo=quux")，编码时会以键进行排序。

举例：

package main 
import(
    "fmt"
    "net/url"
)

func main() { 
    v := url.Values{}
    v.Set("name", "Ava")
    v.Add("friend", "Jess")
    v.Add("friend", "Sarah")
    v.Add("fruit", "apple")

    fmt.Println(v.Get("name"))
    fmt.Println(v.Get("friend"))
    fmt.Println(v["friend"])
    fmt.Println(v.Encode())

    v.Del("name")
    fmt.Println(v.Encode())
}

返回：

bogon:~ user$ go run testGo.go 
Ava
Jess
[Jess Sarah]
friend=Jess&friend=Sarah&fruit=apple&name=Ava
friend=Jess&friend=Sarah&fruit=apple