Über uns
Gramian Consultancy ist eine Boutique-Beratung, die sich auf IT-Professional Services und Engineering Talent Solutions spezialisiert hat. Mit einem starken Hintergrund in Software Engineering und Führung helfen wir Unternehmen, leistungsstarke Teams aufzubauen, indem wir sie mit Fachleuten zusammenbringen, die wirklich zu ihren Bedürfnissen passen.
Diese Stelle ist im Namen eines unserer Kunden zu besetzen, und wir werden eng mit Ihnen zusammenarbeiten, um den Prozess klar und unkompliziert zu gestalten.
Aufgabenübersicht
Wir suchen Deutschsprachige KI-Content-Analysten zur Unterstützung der Bewertung einer neuen Personalisierungsfunktion innerhalb einer führenden KI-Assistentenplattform.
In dieser Rolle entwerfen Sie realistische Konversationsaufforderungen basierend auf Ihren eigenen Kontexten und Erfahrungen und bewerten dann rigoros, wie effektiv die KI persönliche Signale (wie frühere Gesprüche oder Aktivitätskontexte) nutzt, um relevante, fundierte und hilfreiche Antworten zu generieren.
Diese Position kombiniert kreatives Prompt-Design, analytische Bewertung und strukturierte Qualitätsbewertung und ist ideal für Kandidaten mit Erfahrung in den Bereichen KI-Bewertung, Annotation, Content-Review oder analytische Forschung.
Verantwortlichkeiten
- Entwerfen und Durchführen kurzer Multi-Turn-Gespräche (typischerweise 1-5 Turns), die darauf abzielen, das KI-Personalisierungsverhalten zu testen
- Erstellen von Prompts, die auf realistischen persönlichen Szenarien basieren, um das kontextbezogene Verständnis zu bewerten
- Überprüfen von KI-Antworten, um festzustellen, ob die Personalisierung korrekt angewendet wird
- Überprüfen der Grounding-Qualität, um sicherzustellen, dass das Modell keine unbegründeten Behauptungen über den Benutzer erfindet
- Bewerten der Integrationsqualität – Bestätigen, dass persönliche Signale natürlich verwendet werden (nicht erzwungen oder roboterhaft)
- Vergleichen von zwei Antworten nebeneinander und Bestimmen, welche hilfreicher, natürlicher und relevanter ist
- Schreiben klarer, strukturierter Begründungen, die Rankings erklären und sich auf bestimmte Gesprächsrunden beziehen
- Überprüfen von Debug-Informationen, die zeigen, ob korrekte Datenquellen verwendet wurden
- Aufrechterhalten einer strengen Workflow-Hygiene (einschließlich des Löschens von Bewertungsgesprächen, wenn erforderlich)
Hinweise:
- Modell: Vertragsmodell, 30-40 Stunden/Woche. Bezahlung nach protokollierten und genehmigten Stunden
- Dauer: 1 Monat (mögliche Verlängerung)
- Standort: Remote aus Deutschland, der Schweiz, Luxemburg, Liechtenstein oder Österreich
Anforderungen
- Starke Deutschkenntnisse (Lesen & Schreiben erforderlich)
- BS/BA-Abschluss oder gleichwertige Erfahrung in einem relevanten Bereich (z. B. Politik, Recht, Ethik, Linguistik, Journalismus, Informatik oder einem verwandten analytischen Bereich)
- Starke analytische Denkfähigkeit und Fähigkeit zur Bewertung nuancierter KI-Ausgaben
- Ausgezeichnete schriftliche Kommunikationsfähigkeiten mit der Fähigkeit, strukturierte Bewertungsnotizen zu erstellen
- Hohe Detailgenauigkeit beim Vergleichen ähnlicher Antworten
- Fähigkeit, selbstständig in einer vollständig Remote-Umgebung zu arbeiten
- Zuverlässiger Desktop/Laptop und stabile Internetverbindung
Bereitschaft zur Nutzung Ihres persönlichen Google-Hauptkontos und zur Aktivierung persönlicher Datenquellen für Bewertungszwecke