TypeError: kan geen tekenreekspatroon gebruiken op een bytes-achtig object in re.findall()

Ik probeer te leren hoe ik automatisch URL’s van een pagina kan ophalen. In de volgende code probeer ik de titel van de webpagina te krijgen:

import urllib.request
import re
url = "http://www.google.com"
regex = r'<title>(,+?)</title>'
pattern  = re.compile(regex)
with urllib.request.urlopen(url) as response:
   html = response.read()
title = re.findall(pattern, html)
print(title)

En ik krijg deze onverwachte fout:

Traceback (most recent call last):
  File "path\to\file\Crawler.py", line 11, in <module>
    title = re.findall(pattern, html)
  File "C:\Python33\lib\re.py", line 201, in findall
    return _compile(pattern, flags).findall(string)
TypeError: can't use a string pattern on a bytes-like object

Wat doe ik verkeerd?


Antwoord 1, autoriteit 100%

U wilt html (een byte-achtig object) converteren naar een string met behulp van .decode, b.v. html = response.read().decode('utf-8').

Zie Bytes converteren naar een Python-string


Antwoord 2, autoriteit 21%

Het probleem is dat je regex een string is, maar htmlis bytes:

>>> type(html)
<class 'bytes'>

Omdat python niet weet hoe die bytes zijn gecodeerd, genereert het een uitzondering wanneer je er een string-regex op probeert te gebruiken.

Je kunt ofwel decodede bytes naar een string:

html = html.decode('ISO-8859-1')  # encoding may vary!
title = re.findall(pattern, html)  # no more error

Of gebruik een bytes-regex:

regex = rb'<title>(,+?)</title>'
#        ^

In deze specifieke context kun je de codering uit de antwoordheaders halen:

with urllib.request.urlopen(url) as response:
    encoding = response.info().get_param('charset', 'utf8')
    html = response.read().decode(encoding)

Zie de urlopendocumentatievoor meer details.

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Other episodes