Feinabstimmung vs. kontextbezogenes Lernen: Neue Forschungsergebnisse ermöglichen eine bessere Anpassung des LLM an reale Aufgaben

Zwei beliebte Ansätze zur Anpassung großer Sprachmodelle (LLMs) für nachgelagerte Aufgaben sind Feinabstimmung und kontextbezogenes Lernen (ICL). In einer aktuellen Studie untersuchten Forscher von Google DeepMind und der Stanford University die Generalisierungsmöglichkeiten dieser beiden Methoden. Sie stellten fest, dass ICL eine höhere Generalisierungsfähigkeit aufweist (allerdings mit einem höheren Rechenaufwand bei der Inferenz). Sie schlagen außerdem einen neuartigen Ansatz vor, um das Beste aus beiden Welten zu vereinen.

Die Erkenntnisse können Entwicklern dabei helfen, wichtige Entscheidungen beim Erstellen von LLM-Anwendungen für ihre maßgeschneiderten Unternehmensdaten zu treffen.

Beim Feintuning wird ein vortrainiertes LLM anhand eines kleineren, spezialisierten Datensatzes weiter trainiert. Dadurch werden die internen Parameter des Modells angepasst, um ihm neues Wissen oder neue Fähigkeiten beizubringen. Kontextbasiertes Lernen (ICL) hingegen verändert die zugrunde liegenden Parameter des Modells nicht. Stattdessen leitet es das LLM, indem es Beispiele der gewünschten Aufgabe direkt in der Eingabeaufforderung bereitstellt. Das Modell nutzt diese Beispiele dann, um herauszufinden, wie es mit einer neuen, ähnlichen Abfrage umgehen soll.

Die Forscher untersuchten eingehend, wie gut sich Modelle mithilfe dieser beiden Methoden auf neue Aufgaben übertragen lassen. Sie erstellten „kontrollierte synthetische Datensätze mit Faktenwissen“ mit komplexen, selbstkonsistenten Strukturen, wie imaginären Stammbäumen oder Hierarchien fiktiver Konzepte.

Um sicherzustellen, dass sie die Fähigkeit des Modells testeten, neue Informationen zu lernen, ersetzten sie alle Substantive, Adjektive und Verben durch sinnlose Begriffe und vermieden so jegliche Überschneidung mit den Daten, auf die die LLMs während des Vortrainings möglicherweise gestoßen waren.

Die Modelle wurden dann anhand verschiedener Generalisierungsaufgaben getestet. Ein Test beinhaltete beispielsweise einfache Umkehrungen . Wenn ein Modell darauf trainiert wurde, dass „Femp gefährlicher sind als Glon“, konnte es dann korrekt folgern, dass „Glon weniger gefährlich sind als Femp“? Ein anderer Test konzentrierte sich auf einfache Syllogismen , eine Form logischer Deduktion. Konnte das Modell auf die Aussage „Alle Glon sind Yomp“ und „Alle Troff sind Glon“ folgern, dass „Alle Troff Yomp sind“? Außerdem wurde ein komplexerer „Benchmark der semantischen Struktur“ mit einer reichhaltigeren Hierarchie dieser erfundenen Fakten verwendet, um ein differenzierteres Verständnis zu testen.

„Unsere Ergebnisse konzentrieren sich in erster Linie auf Einstellungen dazu, wie sich Modelle auf Schlussfolgerungen und Umkehrungen aus der Feinabstimmung neuer Wissensstrukturen verallgemeinern lassen, mit klaren Auswirkungen auf Situationen, in denen die Feinabstimmung verwendet wird, um ein Modell an unternehmensspezifische und proprietäre Informationen anzupassen“, sagte Andrew Lampinen, Forschungswissenschaftler bei Google DeepMind und Hauptautor des Papiers, gegenüber VentureBeat.

Um die Leistung zu bewerten, optimierten die Forscher Gemini 1.5 Flash anhand dieser Datensätze. Für ICL fütterten sie den gesamten Trainingsdatensatz (oder große Teilmengen) als Kontext in ein anweisungentwickeltes Modell, bevor sie die Testfragen stellten.

Die Ergebnisse zeigten übereinstimmend, dass ICL in datenabgeglichenen Umgebungen zu einer besseren Generalisierung führte als herkömmliches Fine-Tuning. Modelle mit ICL waren generell besser bei Aufgaben wie dem Umkehren von Beziehungen oder dem Ziehen logischer Schlussfolgerungen aus dem gegebenen Kontext. Vortrainierte Modelle ohne Fine-Tuning oder ICL zeigten eine schlechte Leistung, was auf die Neuartigkeit der Testdaten hindeutet.

„Einer der wichtigsten Kompromisse besteht darin, dass ICL zwar keine Feinabstimmung erfordert (was Trainingskosten spart), aber bei jeder Verwendung generell rechenintensiver ist, da dem Modell zusätzlicher Kontext hinzugefügt werden muss“, sagte Lampinen. „Andererseits lässt sich ICL für die von uns ausgewerteten Datensätze und Modelle tendenziell besser generalisieren.“

Aufbauend auf der Beobachtung, dass ICL sich durch flexible Generalisierung auszeichnet, schlugen die Forscher eine neue Methode zur Verbesserung der Feinabstimmung vor: das Hinzufügen kontextbezogener Schlussfolgerungen zu Feinabstimmungsdaten. Die Kernidee besteht darin, die ICL-Funktionen des LLM zu nutzen, um vielfältigere und reichhaltigere Schlussfolgerungen zu generieren und diese erweiterten Beispiele dann dem für die Feinabstimmung verwendeten Datensatz hinzuzufügen.

Sie untersuchten zwei Hauptstrategien zur Datenerweiterung:

1. Lokale Strategie : Bei diesem Ansatz stehen einzelne Informationen im Mittelpunkt. Der LLM wird aufgefordert, einzelne Sätze aus den Trainingsdaten umzuformulieren oder direkte Schlussfolgerungen daraus zu ziehen, wie zum Beispiel Umkehrungen zu generieren.
2. Eine globale Strategie : Dem LLM wird der vollständige Trainingsdatensatz als Kontext bereitgestellt, und er wird dann aufgefordert, Schlussfolgerungen zu generieren, indem er ein bestimmtes Dokument oder eine Tatsache mit den übrigen bereitgestellten Informationen verknüpft, was zu einer längeren Argumentationskette relevanter Schlussfolgerungen führt.

Die Feinabstimmung der Modelle anhand dieser erweiterten Datensätze führte zu signifikanten Verbesserungen. Diese erweiterte Feinabstimmung verbesserte die Generalisierung deutlich und übertraf nicht nur die Standardfeinabstimmung, sondern auch die einfache ICL.

„Wenn beispielsweise in einem der Unternehmensdokumente steht, dass ‚XYZ ein internes Tool zur Datenanalyse ist‘, deuten unsere Ergebnisse darauf hin, dass ICL und erweiterte Feinabstimmung es dem Modell effektiver ermöglichen, verwandte Fragen zu beantworten, wie etwa ‚Welche internen Tools zur Datenanalyse gibt es?‘“, sagte Lampinen.

Dieser Ansatz bietet Unternehmen einen überzeugenden Weg nach vorn. Durch Investitionen in die Erstellung dieser ICL-erweiterten Datensätze können Entwickler fein abgestimmte Modelle mit stärkeren Generalisierungsmöglichkeiten erstellen.

Dies kann zu robusteren und zuverlässigeren LLM-Anwendungen führen, die bei vielfältigen, realen Eingaben eine bessere Leistung erzielen, ohne dass die kontinuierlichen Inferenzzeitkosten entstehen, die mit großen kontextbezogenen Eingabeaufforderungen verbunden sind.

„Eine erweiterte Feinabstimmung erhöht in der Regel den Aufwand für die Modellfeinabstimmung, da ein zusätzlicher ICL-Schritt zur Datenerweiterung und anschließende Feinabstimmung erforderlich ist“, so Lampinen. „Ob sich diese Mehrkosten durch die verbesserte Generalisierung lohnen, hängt vom jeweiligen Anwendungsfall ab. Allerdings ist es rechnerisch günstiger, als bei jeder Modellnutzung ICL anzuwenden, wenn man die Kosten über viele Modellanwendungen amortisiert.“

Lampinen wies zwar darauf hin, dass weitere Forschung nötig sei, um zu sehen, wie die untersuchten Komponenten in unterschiedlichen Umgebungen interagieren, fügte jedoch hinzu, dass ihre Ergebnisse darauf hindeuteten, dass Entwickler in Fällen, in denen sie feststellen, dass eine alleinige Feinabstimmung keine ausreichende Leistung bringt, die Untersuchung erweiterter Feinabstimmungen in Erwägung ziehen sollten.

„Letztendlich hoffen wir, dass diese Arbeit einen Beitrag zur Wissenschaft des Verständnisses von Lernen und Generalisierung in grundlegenden Modellen und der praktischen Anwendung dieser Modelle für nachgelagerte Aufgaben leisten wird“, sagte Lampinen.