Bei Business Week findet sich heute ein Interview mit Scott Huffmann, seinerseits Vorsteher des Google Evaluation Teams. Die Aufgabe dieses Teams ist es, mittels Experimenten die Auswirkungen von Änderungen in den Algorithmen zu messen. Das Team nutzt vor allem Testgruppen und Kontrollgruppen und versucht anschliessend statistische Zusammenhänge zwischen dem Nutzerverhalten vor und nach der Änderung im Algorithmus zu finden. Daneben stehen aber auch rund hundert “human evaluators” im Einsatz.
Schwierigkeiten entstehen natürlich bei der Messung der Qualität von Personalisierung:
“We obviously can’t use human evaluators in quite the same way, because we don’t know what they like and we can’t invade their privacy. We tend to use more click-based evaluation for personalization. You can look in aggregate where for all the folks who are logged-in users whom this kind of personalization is applying to, we take some small percentage and we’re going to apply some new kind of personalization—what happens to them vs. the control group?”
Interessant ist dass den Human Evaluators im stark automatisierten Umfeld von Google ein trotzdem eine wichtige Rolle zugesprochen wird:
“The human evaluators are pretty important for us today. The more automated or user behavior/click-based things really give you complementary kinds of data. Both have noise in them: Human evaluators make mistakes. Clicks are hard to interpret; people click or don’t click for all kinds of reasons.”
Bemerkenswert ist das Qualitätsverständnis von Google: Qualität ist, was der Nutzer klickt. Die konsequente Ausrichtung auf den Nutzer und seine Bedürfnisse widerspiegelt sich in vielen Produkten von Google und nicht zuletzt auch in diesem QA-Prozess (Quality Assurance). (Das nutzerzentrierte Qualitätsverständnis liegt auch allen anderen Suchmaschinen zu Grunde, wie dies Elizabeth von Couvering in ihrer Paper “New Media? The Political Economy of Internet Search Engines” bereits 2004 feststellte).
Wenn Qualität das ist, was der Nutzer klickt, dann wird freilich ein Aspekt ausgeblendet, der die Kommunikationswissenschaft umtreibt: Die Meritorik. Haben Informationen und Inhalte mit meritorischer Qualität überhaupt eine Chance in die Top-Positionen der Suchmaschinen zu gelangen? Oder sind es vielmehr die seichten Inhalte, mit demokratiepolitisch und gesellschaftlich demeritorischem Wert? Internet-Meme mit grossem Unterhaltungs- und kleinem Informationswert haben wahrscheinlich die bessere Chance geklickt zu werden als furztrockene, seriöse Analysen. Bedeutet dies eine Verlust der Medien als meritorische Güter? Vielleicht. Dies muss aber aber meiner Meinung nach nicht umbedingt schlecht sein.
Übrigens: Das Interview mit Scott Huffmann ist Teil einer vierteiligen Serie. Das erste Interview war mit Udi Manber (Vice-president Technology for Core Search), das zweite mit Amit Singhal (steht dem Core Ranking Team vor) und das dritte mit Matt Cutts (Chef des Anti-Spam Teams). (via Google Operating System).
3 Comments
October 4, 2009 at 4:24 pm
Das sind interessante Infos und Überlegungen.
Wenn Qualität für Google & Co das ist (und weiterhin bleibt), was der Nutzer klickt, dann droht Teilen des Netzes eine ähnliche Qualitäts-Abwärtsspirale wie dem privaten Fernsehen in Deutschland während der letzten Jahrzehnte. Einfach deshalb, weil bildungsarme Zeitreiche mehr klicken respektive mehr fernsehen als andere, so überproportionalen Einfluss auf die Medieninhalte gewinnen und überproportional die – wie Sie sagen – “seichten Inhalte, mit demokratiepolitisch und gesellschaftlich demeritorischem Wert” präferieren werden.
Als Folge droht dann eine zunehmende Segregation des Netzes und eine noch stärker als bisher wachsende Spaltung der Gesellschaft in kultureller und wirtschaftlicher Hinsicht.
October 4, 2009 at 5:35 pm
Hallo Stadtbote. Natürlich sind Ihre Bedenken bezüglich der resultierenden Qualität berechtigt. Ich seh das nicht so dramatisch. Im Unterschied zum durch Frequenzknappheit geprägten Rundfunk, gibts im Web immerhin unbeschränkten Platz, auch für Inhalte, die der Bildungsbürger als qualitativ hochwertig einschätzen würde.
Auch das Argument, dass früher angeblich alles besser war – sogar die Qualität im privaten Fernsehen- empfinden ich vor dem nie zuvor dagewesenen Informationsreichtum der uns Google und Co. an die Oberfläche spühlt, nicht stichhaltig.
Es wird sich rausstellen, ob eine zunehmende Segregation oder auch Fragmentierung der Öffentlichkeit die Folge ist und ob dies überhaupt eine negative Entwicklung ist.
October 4, 2009 at 6:14 pm
Naja, früher war gewiss nicht alles besser. Aber im Privat-TV gab´s früher immerhin mal “Talk im Turm” mit Erich Böhme, und zwar am Sonntagabend. Heute undenkbar.
Ich hoffe Sie behalten mit Ihrem Optimismus Recht, fürchte allerdings, dass wir mit Googles Kriterien nicht gut fahren werden. Wenn Segregation zunimmt, während gesellschaftliche Integration und Durchlässigkeit abnehmen, wird es nach aller historischen Erfahrung bald mehr Probleme geben.