Machine Learning and Natural Language Processing Lab

Master Thesis

Relational Conditional Random Fields

Bernd Gutmann, 2005

---

Conditional Random Fields modellieren den Zusammenhang zwischen einer Eingabe- und einer Ausgabesequenz. Sie wurden so entworfen, dass jedes Element in der Ausgabesequenz von der kompletten Eingabesequenz abhaengt. Diese Eigenschaft beseitigt das Label-Bias-Problem, wodurch ein Modell einzelne Elemente der Eingabesequenz nicht beruecksichtigen wuerde. In den letzten Jahren wurden Conditional Random Fields erfolgreich auf viele Probleme angewendet und es existieren mehrere Modifikationen und Erweiterungen. Mit dem Gradient-Tree-Boosting-Lernverfahren existiert auch ein sehr effektives Lernverfahren. Es gibt viele Problemstellungen, zum Beispiel die Bestimmung der Sekundaerstruktur von Proteinsequenzen, bei der die Information in strukturierter Form vorliegt. Rein propositionale Modelle sind nicht fuer solche Problemdomaenen geeignet. Man muss die strukturelle Information entweder verwerfen, oder die Modelle muessen so gro"s sein, dass jedes moegliche Element betrachtet wird. Relational Conditional Random Fields sehen die einzelnen Symbole in der Eingabe- und der Ausgabesequenz als logische Atome an. Beim Lernen werden die Potentiale durch logische Regressionsbaeume dargestellt. Durch diese Modifikation koennen logische Ein- und Ausgabesequenzen verarbeitet werden. Zunaechst werden in dieser Diplomarbeit die Grundlagen wie Markov-Netze und Conditional Random Fields eingefuehrt. Die Erweiterung zu relationalen Conditional Random Fields sowie die durchgefuehrten Experimente mit unserer Implementierung werden im Anschluss daran beschrieben.