Question

Wikipedia在每篇文章中提供了一个链接（打印/导出的左侧），以pdf格式下载文章。我写了一个小的Haskell脚本，它首先获取Wikipedia链接并输出渲染链接。当我将渲染网址作为输入时，我将获得空标记，但浏览器中的相同网址提供下载链接。

有人可以告诉我如何解决这个问题吗？ ideone上的格式化代码。

import Network.HTTP
import Text.HTML.TagSoup
import Data.Maybe

parseHelp :: Tag String -> Maybe String 
parseHelp ( TagOpen _ y ) = if any ( \( a , b ) -> b == "Download a PDF version of this wiki page" ) y 
                      then Just $  "http://en.wikipedia.org" ++   snd (   y !!  0 )
                   else Nothing


parse :: [ Tag String ] -> Maybe String
parse [] = Nothing 
parse ( x : xs ) 
   | isTagOpen x = case parseHelp x of 
              Just s -> Just s 
              Nothing -> parse xs
   | otherwise = parse xs


main = do 
    x <- getLine 
    tags_1 <-  fmap parseTags $ getResponseBody =<< simpleHTTP ( getRequest x ) --open url
    let lst =  head . sections ( ~== "<div class=portal id=p-coll-print_export>" ) $ tags_1
        url =  fromJust . parse $ lst  --rendering url
    putStrLn url
    tags_2 <-  fmap parseTags $ getResponseBody =<< simpleHTTP ( getRequest url )
    print tags_2

Answer 1

如果您尝试通过某些外部工具（例如wget）请求网址，您会发现维基百科不会直接提供结果页面。它实际上返回302 Moved Temporarily重定向。

在浏览器中输入此URL时，它会没问题，因为浏览器会自动跟随重定向。但是，simpleHTTP不会。顾名思义，simpleHTTP相当简单。它不处理cookie，SSL或重定向等内容。

您需要使用Network.Browser模块。它提供了对请求完成方式的更多控制。特别是，setAllowRedirects功能会使其自动跟踪重定向。

这是一个快速而又脏的功能，可以将URL下载到String并支持重定向：

import Network.Browser

grabUrl :: String -> IO String
grabUrl url = fmap (rspBody . snd) . browse $ do
    -- Disable logging output
    setErrHandler $ const (return ())
    setOutHandler $ const (return ())

    setAllowRedirects True
    request $ getRequest url

从维基百科下载pdf文件

1 个答案: