Projektdetails:

Laufzeit: 01. April 2021- 31. März 2024

Projektpartner:

Laboratoire d’Informatique de Grenoble, Information Modeling and Retrieval research group (MRIM)

Industriepartner:

Qwant

Gefördert durch:

Wenn eine Suchmaschine evaluiert wird, muss diese unter bestimmten Bedingungen getestet werden – dazu gehört die Auswahl bestimmter Methoden zur Leistungsmessung, Datensätze und Bewertungsmetriken. Die Wahl dieser Testbedingungen erfolgt jedoch oft ohne nachvollziehbaren Grund. Außerdem misst normalerweise niemand, was passiert, wenn man diese Bedingungen ändert. An dieser Stelle setzt das Kodicare-Projekt an.

Projekt- und Forschungsziele: KoDiCare adressiert ein seit langem bestehendes, aber immer drängender werdendes Problem der Informationssysteme: Die zuverlässige, kosteneffiziente und reproduzierbare Evaluierung der Effektivität von Suchanfragen in realen Szenarien. Die Herausforderungen, denen sich das Feld der Information Retrieval (IR) Evaluation in den Jahrzehnten seines Bestehens gegenübersah, sind: Die heuristische Natur der Erstellung von Testsammlungen und die daraus resultierende Unvorhersehbarkeit der IR-Systemleistung, wenn sich die Testsammlung ändert. Dies hat dazu geführt, dass in der Branche keine Best-Practice-Verfahren für die IR-Evaluation eingeführt wurden.

Projektbeschreibung: In KoDicare misst das Team die Auswirkungen von Änderungen an einer IR-Evaluierungsumgebung (Testsammlung + IR-System) objektiv durch die Quantifizierung von „Wissensdeltas“, die ein quantifizierbares Verständnis der Unterschiede zwischen Datensätzen, Dokumenten oder Testsammlungen beschreiben. Eine kontrollierte Umgebung, die „Wissensdeltas“ quantifiziert, unterstützt die kontinuierliche Evaluation und ermöglicht die Bereitstellung von Erklärungen für Systemingenieure. Die theoretischen Ergebnisse werden mit realen Fällen konfrontiert, die von einem französischen Unternehmen definiert wurden, das eine Web-Suchmaschine (Qwant) einsetzt.

Projektdetails:

Laufzeit: 01. April 2021- 31. März 2024

Projektpartner:

Laboratoire d’Informatique de Grenoble, Information Modeling and Retrieval research group (MRIM)

Industriepartner:

Qwant

Gefördert durch:

Wenn eine Suchmaschine evaluiert wird, muss diese unter bestimmten Bedingungen getestet werden – dazu gehört die Auswahl bestimmter Methoden zur Leistungsmessung, Datensätze und Bewertungsmetriken. Die Wahl dieser Testbedingungen erfolgt jedoch oft ohne nachvollziehbaren Grund. Außerdem misst normalerweise niemand, was passiert, wenn man diese Bedingungen ändert. An dieser Stelle setzt das Kodicare-Projekt an.

Projekt- und Forschungsziele: KoDiCare adressiert ein seit langem bestehendes, aber immer drängender werdendes Problem der Informationssysteme: Die zuverlässige, kosteneffiziente und reproduzierbare Evaluierung der Effektivität von Suchanfragen in realen Szenarien. Die Herausforderungen, denen sich das Feld der Information Retrieval (IR) Evaluation in den Jahrzehnten seines Bestehens gegenübersah, sind: Die heuristische Natur der Erstellung von Testsammlungen und die daraus resultierende Unvorhersehbarkeit der IR-Systemleistung, wenn sich die Testsammlung ändert. Dies hat dazu geführt, dass in der Branche keine Best-Practice-Verfahren für die IR-Evaluation eingeführt wurden.

Projektbeschreibung: In KoDicare misst das Team die Auswirkungen von Änderungen an einer IR-Evaluierungsumgebung (Testsammlung + IR-System) objektiv durch die Quantifizierung von „Wissensdeltas“, die ein quantifizierbares Verständnis der Unterschiede zwischen Datensätzen, Dokumenten oder Testsammlungen beschreiben. Eine kontrollierte Umgebung, die „Wissensdeltas“ quantifiziert, unterstützt die kontinuierliche Evaluation und ermöglicht die Bereitstellung von Erklärungen für Systemingenieure. Die theoretischen Ergebnisse werden mit realen Fällen konfrontiert, die von einem französischen Unternehmen definiert wurden, das eine Web-Suchmaschine (Qwant) einsetzt.