ASPX C#读取网页及写入网页的代码

C#代码   (需要引入 System.Net;)
  • string url=”http://www.526net.com/”;   
  •   
  • WebRequest request=WebRequest.Create(url);//发出对统一资源标识符URI的请求   
  •   
  • WebResponse response=request.GetResponse();//提供统一资源标识符URI的响应   
  •   
  • Stream resStream = response.GetResponseStream();//从Internet资源返回数据流   
  •   
  • StreamReader sr=new StreamReader(resStream,System.Text.Encoding.Default);//以特定的编码读取字节流   
  •   
  • string ContentHtml = sr.ReadToEnd();//从流的当前位置到未尾读取字节流   
  •   
  • 此时http://www.526net.com的首页代码存放在ContentHtml中,我们可以从ContentHtml获取网页内有用的内容   
  •   
  • String f1str = “<marquee direction=left width=455 scrollAmount=3 onmouseover=this.stop(); onmouseout=this.start();>”;   
  • String f2str = “</marquee>”;   
  • int pos1 = ContentHtml.IndexOf(f1str);   
  • int pos2 = ContentHtml.IndexOf(f2str);   
  • string tqstr = ContentHtml.Substring(pos1 + 99, pos2 – pos1 – 99);   
  •   
  • 此时tqstr为<marquee>内滚动的内容   
  •   
  • resStream.Close();//关闭Stream   
  •   
  • sr.Close();//关闭StreamReader   
  •   
  • StreamWriter sw;//定义写入的流   
  •   
  • sw=new StreamWriter(Server.Mapth(“index.html”),false,System.Text.Encoding.Default);//写入index.html中   
  •   
  • sw.Writer(ContentHtml);//写入字符串,也可以sw.Writer(sr);写入字节流   
  •   
  • sw.Close();//关闭写入流 或sw.Flush();关闭缓冲流   
  •  

    WebRequest类和WebResponse类

    WebRequest类和WebResponse类

    WebClient类使用起来比较简单,但是它的功能非常有限,特别是不能使用它提供身份验证证书。这样,在上传数据时问题就出现了,许多站点都不会接受没有身份验证的上传文件。尽管可以给请求添加标题信息并检查响应中的标题信息,但这仅限于一般意义上的检查,对于任何一个协议,WebClient没有具体的支持。由于WebClient是通用的类,主要用于处理发送请求和接收响应的协议(例如HTTP、FTP等)。它不能处理任一协议的任何附加特性,例如专用于HTTP的cookie。如果想利用这些特性,就需要使用System.Net命名空间中以WebRequest类和WebResponse类为基类的一系列类。

    首先讨论怎样使用这些类下载Web页——这个示例与前面的示例一样,但使用WebRequest类和WebResponse类。在此过程中,将解释涉及到的类的层次结构,然后阐述怎样利用这个层次所支持的其他HTTP特性。

    下面的代码是在BasicWebClient示例的基础上修改而成的,目的是让它使用WebRequest类和WebResponse类。

    public Form1()

    {

       InitializeComponent();

       WebRequest wrq = WebRequest.Create(“”);

       WebResponse wrs = wrq.GetResponse();

       Stream strm = wrs.GetResponseStream();

       StreamReader sr = new StreamReader(strm);

       string line;

       while ( (line = sr.ReadLine()) != null)

       {

          listBox1.Items.Add(line);

       }

       strm.Close();

    }

    在这段代码中,首先对代表Web请求的对象进行实例化。但在此并不是使用构造函数来实例化对象,而是调用静态的WebRequest.Create()方法,在下一小节中将解释这样做的原因。WebRequest类是支持不同网络协议的类层次结构的一部分,为了给请求类型接收一个对正确对象的引用,需要一个工厂(factory)机制。WebRequest.Create()方法会为给定的协议创建合适的  对象。

    WebRequest类代表要给某个URI发送信息的请求,URI作为参数传送给Create()方法。WebResponse类代表从服务器获取的数据。调用WebRequest.GetResponse()方法,实际上是把请求发送给Web服务器,创建一个Response对象,检查返回的数据。与WebClient对象一样,可以得到一个代表数据的数据流,但是,这里的数据流是使用WebResponse.GetResponseStream()方法获得的。

    下面将讨论WebRequest和WebResponse的其他特性。我们将会看到WebRequest和WebResponse和其他相关的类提供的良好支持。
    1.  HTTP标题信息

    HTTP协议的一个重要方面就是能够利用请求和响应数据流发送扩展的标题信息。标题信息可以包括cookies、以及发送请求的特定浏览器(用户代理)的一些详细信息。.NET Framework为访问最重要的数据提供了支持。WebRequest类和WebResponse类提供了读取标题信息的一些支持。而两个派生的类HttpWebRequest类和HttpWebResponse类提供了其他HTTP特定的信息。如后面所述,用HTTP URI创建WebRequest会生成一个HttpWebRequest对象实例。因为HttpWebRequest派生自WebRequest,可以在需要WebRequest的任何地方使用新实例。另外,还可以把实例的类型强制转换为HttpWebRequest引用,访问HTTP协议特定的属性。同样,在使用HTTP时,GetResponse()方法调用会把HttpWebResponse实例返回为HttpWebResponse引用,也可以进行一个简单的强制转换,以访问HTTP特定的特性。

    可以在GetResponse()方法调用之前添加如下代码,检查两个标题属性:

    WebRequest wrq = WebRequest.Create(“”);

    HttpWebRequest hwrq = (HttpWebRequest)wrq;

    listBox1.Items.Add(“Request Timeout (ms) = ” + wrq.Timeout);

    listBox1.Items.Add(“Request Keep Alive = ” + hwrq.KeepAlive);

    listBox1.Items.Add(“Request AllowAutoRedirect = ” + hwrq.AllowAutoRedirect);

    Timeout属性的单位是毫秒,其默认值是100 000。可以设置这个属性,以控制WebRequest对象在产生WebException之前要在响应中等待多长时间。可以检查属性WebException.Status,看看产生异常的原因。这个枚举类型包括超时的状态码、连接失败、协议错误等。

    KeepAlive属性是对HTTP协议的特定扩展,所以可以通过HttpWebRequest引用访问这个属性。该属性允许多个请求使用同一个连接,在后续的请求中节省关闭和重新打开连接的时间。其默认值为true。

    AllowAutoRedirect属性也是专用于HttpWebRequest类的,使用这个属性可以控制Web请求是否应自动跟随Web服务器上的重定向响应。其默认值也是true。如果只允许有限的重定向,可以把HttpWebRequest的MaximumAutomaticRedirections属性设置为想要的数值。

    请求和响应类把大多数重要的标题显示为属性,也可以使用Headers属性本身显示标题的总集合。在GetResponse()方法调用的后面添加如下代码,把所有的标题都放在列表框中:

    WebRequest wrq = WebRequest.Create(“”);

    WebResponse wrs = wrq.GetResponse();

    WebHeaderCollection whc = wrs.Headers;

    for(int i = 0; i < whc.Count; i++)

    {

        listBox1.Items.Add(“Header ” + whc.GetKey(i) + ” : ” + whc[i]);

    }

    这个示例代码会产生如图31-2所示的标题列表。

    图  31-2
    2. 身份验证

    WebRequest类中的另一个属性是Credentials。如果需要把身份验证证书附带在请求中,就可以用用户名和密码创建NetworkCredential类(也在System.Net命名空间中)的一个实例。在调用GetResponse()之前,添加下述代码:

    NetworkCredential myCred = new NetworkCredential(“myusername”, “mypassword”);

    wrq.Credentials = myCred;
    3. 异步页面请求

    WebRequest类的另一个特性就是可以异步请求页面。由于在给主机发送请求到接收响应之间有很长的延迟,因此,异步请求页面就显得比较重要。像WebClient.DownloadData()和WebRequest.GetResponse()等方法,在响应没有从服务器回来之前,是不会返回的。如果不希望在那段时间中应用程序处于等待状态,可以使用BeginGetResponse() 方法和 EndGetResponse()方法,BeginGetResponse()方法可以异步工作,并立即返回。在底层,运行库会异步管理一个后台线程,从服务器上接收响应。BeginGetResponse() 方法不返回WebResponse对象,而是返回一个执行IAsyncResult接口的对象。使用这个接口可以选择或等待可用的响应,然后调用EndGetResponse()搜集结果。

    也可以把一个回调委托发送给BeginGetResponse()方法。该回调委托的目的地是一个返回类型为void并把IAsyncResult引用作为参数的方法,当工作线程完成了搜集响应的任务后,运行库就调用该回调委托,通知用户工作已完成。如下面的代码所示,在回调方法中调用EndGetResponse()可以接收WebResponse对象:

    public Form1()

    {

       InitializeComponent();

       WebRequest wrq = WebRequest.Create(“”);

       wrq.BeginGetResponse(new AsyncCallback(OnResponse), wrq);     

    }

    protected void OnResponse(IAsyncResult ar)

    {

       WebRequest wrq = (WebRequest)ar.AsyncState;

       WebResponse wrs = wrq.EndGetResponse(ar);

       // read the response …

    }

    注意可以把对象传送为BeginGetResponse()的第二个参数,检索最初的WebRequest对象。第三个参数是一个对象引用,称为状态参数,在回调方法中,可以使用IAsyncResult的AsyncState属性检索相同的状态对象。

    发表评论

    您的电子邮箱地址不会被公开。