Machine Learning and Natural Language Processing Lab

Student's Project

Diskriminatives Lernen Logischer Sequenzen

Alexandru Cocora, 2005

---

In vielen praktischen Anwendungen, wie z.B. in der Bioinformatik oder im Webmining treten logische Sequenzen auf, d.h. Sequenzen von strukturierten Symbolen, die man als Atome der Prädikatenlogik auffassen kann. Da Hidden Markov Models (HMMs) nur mit unstrukturierten Symbolen umgehen können, wurden sie zu den Logical Hidden Markov Models (LoHMMs) erweitert, um auch strukturierte Daten modellieren zu können. Die vorliegende Arbeit präsentiert einen Ansatz zum Klassifizieren logischer Sequenzen. Eine mögliche Herangehensweise zum Trainieren dieser LoHMMs ist der Maximum Likelihood(ML)-Ansatz. Dabei werden bei der ML-Schätzung nur die positiven Beispiele der Klasse modelliert. Ein anderer Ansatz ist, diskriminativ zu trainieren, wobei man beim Trainieren einer Klasse auch die Trainingsbeispiele der anderen Klassen berücksichtigt. Dieser Ansatz konnte u.a. von A.Krogh erfolgreich auf Anwendungen aus der Bioinformatik und Spracherkennung angewendet werden. Die Maximum Mutual Information(MMI)-Schätzung ist ein solches diskriminatives Verfahren, das wir in dieser Arbeit verwenden werden, um die Parameter von Logical Hidden Markov Models zu schätzen. Dabei werden sie, anstatt die Statistiken der Trainingssequenzen zu modellieren, daraufhin trainiert, die Klassifizierung zu optimieren. Die Experimente, die wir durchgeführt haben, zeigen die Vorzüge dieser Methode gegenüber den plug-in estimates.