TypeError: Object van het type ‘bytes’ is niet JSON-serialiseerbaar

Ik ben net begonnen met het programmeren van Python. Ik wil scrapy gebruiken om een bot te maken (en dat bleek)
TypeError: Object van het type ‘bytes’ kan niet worden geserialiseerd door JSON wanneer ik het project uitvoer.

import json
import codecs
class W3SchoolPipeline(object):
  def __init__(self):
      self.file = codecs.open('w3school_data_utf8.json', 'wb', encoding='utf-8')
  def process_item(self, item, spider):
      line = json.dumps(dict(item)) + '\n'
      # print line
      self.file.write(line.decode("unicode_escape"))
      return item

from scrapy.spiders import Spider
from scrapy.selector import Selector
from w3school.items import W3schoolItem
class W3schoolSpider(Spider):
    name = "w3school"
    allowed_domains = ["w3school.com.cn"]
    start_urls = [
        "http://www.w3school.com.cn/xml/xml_syntax.asp"
    ]
    def parse(self, response):
        sel = Selector(response)
        sites = sel.xpath('//div[@id="navsecond"]/div[@id="course"]/ul[1]/li')
    items = []
    for site in sites:
        item = W3schoolItem()
        title = site.xpath('a/text()').extract()
        link = site.xpath('a/@href').extract()
        desc = site.xpath('a/@title').extract()
        item['title'] = [t.encode('utf-8') for t in title]
        item['link'] = [l.encode('utf-8') for l in link]
        item['desc'] = [d.encode('utf-8') for d in desc]
        items.append(item)
        return items

Traceback：

TypeError: Object of type 'bytes' is not JSON serializable
2017-06-23 01:41:15 [scrapy.core.scraper] ERROR: Error processing       {'desc': [b'\x
e4\xbd\xbf\xe7\x94\xa8 XSLT \xe6\x98\xbe\xe7\xa4\xba XML'],
 'link': [b'/xml/xml_xsl.asp'],
 'title': [b'XML XSLT']}
Traceback (most recent call last):
File  
"c:\users\administrator\appdata\local\programs\python\python36\lib\site-p
ackages\twisted\internet\defer.py", line 653, in _runCallbacks
    current.result = callback(current.result, *args, **kw)
File "D:\LZZZZB\w3school\w3school\pipelines.py", line 19, in process_item
    line = json.dumps(dict(item)) + '\n'
File 
"c:\users\administrator\appdata\local\programs\python\python36\lib\json\_
_init__.py", line 231, in dumps
    return _default_encoder.encode(obj)
File 
"c:\users\administrator\appdata\local\programs\python\python36\lib\json\e
ncoder.py", line 199, in encode
    chunks = self.iterencode(o, _one_shot=True)
File  
"c:\users\administrator\appdata\local\programs\python\python36\lib\json\e
ncoder.py", line 257, in iterencode
    return _iterencode(o, 0)
File      
"c:\users\administrator\appdata\local\programs\python\python36\lib\
json\encoder.py", line 180, in default
    o.__class__.__name__)
  TypeError: Object of type 'bytes' is not JSON serializable

Antwoord 1, Autoriteit 100%

U maakt die bytesobjecten zelf:

item['title'] = [t.encode('utf-8') for t in title]
item['link'] = [l.encode('utf-8') for l in link]
item['desc'] = [d.encode('utf-8') for d in desc]
items.append(item)

elk van die t.encode(), l.encode()en d.encode()oproepen creëert een bytesstring. Doe dit niet, laat het aan het JSON-formaat om deze te serialiseren.

Vervolgens maakt u verschillende andere fouten; Je codeert te veel waar het niet nodig is. Laat het aan de jsonMODULE en DE Standaard Bestandsobject teruggegeven door de open()Oproep tot handvatcodering.

U hoeft ook uw itemsLijst naar een Woordenboek niet om te zetten; Het is al een object dat JON kan worden gecodeerd direct:

class W3SchoolPipeline(object):    
    def __init__(self):
        self.file = open('w3school_data_utf8.json', 'w', encoding='utf-8')
    def process_item(self, item, spider):
        line = json.dumps(item) + '\n'
        self.file.write(line)
        return item

Ik vermoed dat je een tutorial volgde die Python 2 heeft verondersteld, je gebruikt Python 3 in plaats daarvan. Ik suggereer je sterk dat je een andere tutorial vindt; Niet alleen is het geschreven voor een verouderde versie van Python, als het bepleistert line.decode('unicode_escape')het lesgeven aan enkele extreem slechte gewoonten die zullen leiden tot hard-to-track bugs. Ik kan aanraden om te kijken naar Think Python, 2e editie Voor een goed, gratis boek over het leren van Python 3.

Antwoord 2, Autoriteit 25%

Schrijf eenvoudig <variable name>.decode("utf-8").

Bijvoorbeeld:

myvar = b'asdqweasdasd'
myvar.decode("utf-8")

Antwoord 3, Autoriteit 17%

Ik had vandaag met dit probleem te maken en ik wist dat ik iets had gecodeerd als een bytes-object dat ik probeerde te serialiseren als json met json.dump(my_json_object, write_to_file.json). my_json_objectwas in dit geval een heel groot json-object dat ik had gemaakt, dus ik moest verschillende dictaten, lijsten en strings bekijken om te zien wat er nog in bytes-formaat was.

De manier waarop ik het uiteindelijk heb opgelost: de write_to_file.jsonheeft alles tot aan het bytes-object dat het probleem veroorzaakt.

In mijn specifieke geval was dit een regel verkregen via

for line in text:
    json_object['line'] = line.strip()

Ik heb dit opgelost door deze fout eerst te vinden met behulp van de write_to_file.json en vervolgens door deze te corrigeren naar:

for line in text:
    json_object['line'] = line.strip().decode()