Machine Learning / AI

import unittest class Solution: def isvalid(self, s:str) -> bool: matching_brackets = { ")": "(", "]": "[", "}": "{", } stack: list[str] = [] for bracket in s: if bracket in "([{": stack.append(bracket) continue if bracket not in matching_brackets: return False if not stack or stack[-1] != matching_brackets[bracket]: return False stack.pop() return not stack class SolutionTest: def __init__(self): self.Solution = Solution() def run(self): test_cases = [ ("", True), ("()", True), ("(){}[]", True), ("(({}))", True), ("(", False), (")", False), ("(((", False), ("{[]}", False), ] for brackets, expected in test_cases: actual = self.Solution.isvalid(brackets) assert actual == expected, ( f"Fehler für {brackets!r}" f"Wir wollten {expected} bekommen, aber haben {actual}" ) print(f"Alle Tests bestanden: {len(test_cases)}") if __name__ == "__main__": SolutionTest().run()

Was erhält das LLM bei jedem Schritt der Inferenz als Ausgabe?

Geben Sie ein Beispiel, bei dem die falsche Verwendung von BatchNorm im `eval()`-Modus zu Fehlern bei den Vorhersagen führte.

Was ist nach der Retrieval-Phase zu tun, um die Antwort für den Nutzer zu formulieren, und wie wird die Qualität der Generierung im RAG bewertet?

Senior

2gis

Praktische Aufgabe Die KI schlägt vor, LoRA auf allen 2 Millionen unbereinigten Dialogen zu trainieren. Welche Antwort des Kandidaten ist am reifen? - Vertrauen in die KI: Ein großer Korpus wird Fehler ausgleichen. - Zuerst den Prompt ändern, ohne die Daten zu verändern. - LoRA auf den bereinigten Teil trainieren und mit dem Basismodell vergleichen. - Zufällige Stichprobe der Markierungen vor dem Training überprüfen. - Zuerst die Daten und die Qualität nach Themen in einem separaten Satz überprüfen, dann LoRA eingeschränkt trainieren. - Auf dem gesamten Korpus trainieren, aber den Rang von LoRA verringern.

Wie groß sind die Logits und wie wird daraus ein Token erzeugt?

Wie würden Sie den quantitativen Einfluss der Emissionen auf die Modellmetriken, wie z.B. Genauigkeit oder F1-Score, einschätzen?

Praktische Aufgabe SQL-Abfrage mit 80 Millionen Nachrichten erzeugt Duplikate nach dem JOIN. Welche Aktion sollte zuerst gestartet werden? - Überprüfen Sie die Kardinalität des JOIN, die Schlüssel und den Ausführungsplan vor der Optimierung. - Erstellen Sie einen Index auf einem Verbindungsschlüssel. - Exportieren Sie das Ergebnis in CSV und entfernen Sie Duplikate in Python. - Fügen Sie immer DISTINCT zu allen Spalten hinzu. - Fügen Sie DISTINCT nach der Überprüfung des Ergebnisses auf der Stichprobe hinzu. - Überprüfen Sie die Verbindungsschlüssel und die Einzigartigkeit beider Tabellen.

Wird der Q-Vektor beim Decodieren multipliziert und was ergibt sich daraus?

Praktische Aufgabe KI hat einen Code für die Entscheidung über die Einführung eines neuen LLM generiert. Überprüfe ihn: Ändere ihn so, dass der Editor die Qualität der Versionen nach thematischen Segmenten vergleichen, die Streuung der Bewertungen sehen und das Risiko einer Verschlechterung bei einer kleinen Datenmenge bemerken kann. import matplotlib.pyplot as plt import pandas as pd scores = pd.read_csv('model_scores.csv') summary = scores.groupby('model_version')['score'].mean() plt.bar(summary.index, summary.values) plt.title('Modellqualität') plt.ylabel('Durchschnittliche Bewertung') plt.show() print('Beste Version:', summary.idxmax()) --- import matplotlib.pyplot as plt import pandas as pd scores = pd.read_csv('model_scores.csv') stats = ( scores.groupby(["topic", "model_version"])["score"] .agg(["mean", "std", "count"]) .reset_index() ) print(stats) for topic, group in scores.groupby("topic"): group.boxplot(column="score", by="model_version") plt.title(f"Thema: {topic}") plt.suptitle("") plt.ylabel("Bewertung") plt.show() small_groups = stats[stats["count"] < 30] print("Kleine Gruppen - Schlussfolgerungen sind nicht zuverlässig:") print(small_groups)

Einen Tag vor dem Vergleich zweier LLM-Versionen wurde festgestellt, dass der Code des Experiments im Branch vorhanden ist, aber die genaue Version der Daten und die LoRA-Parameter nicht festgelegt sind. Was würdest du als erstes Inkrement für die nächsten zwei Tage wählen und worauf würdest du bewusst verzichten?

Was ist spekulatives Decoding und wie beschleunigt es die Generierung?

Warum kann eine quantisierte LLM schneller arbeiten und warum verlangsamt Quantisierung manchmal die Inferenz?

Wie man einen Agenten entwirft, der auf Basis von Transaktionsdaten auf Benutzeranfragen antwortet: Welche Technologie-Stack und Architektur sind erforderlich, und ist der Einsatz von Multi-Agenten sinnvoll?

Warum bietet das Caching genauer Benutzeranfragen in der Regel einen begrenzten geschäftlichen Nutzen und was genau meinen Sie mit Caching von Antworten?

Stell dir vor, du arbeitest mit einem Modell in PyTorch und nach dem Umschalten in den Evaluierungsmodus eval() stellst du fest, dass die Metriken auf einem festen Testset von 10.000 Beispielen bei jedem Lauf variieren. Du fixierst den Anfangszustand der Zufallsgeneratoren für Reproduzierbarkeit: Wo könnte sonst die Quelle der Änderungen verborgen sein? Erkläre die Rolle von Dropout, BatchNorm und torch.no_grad() und nenne Metriken mit Schwellenwerten, anhand derer du die Stabilität der Ergebnisse überprüfst.

Welche weiteren Optimierungsmethoden können verwendet werden, um die Inferenz zu beschleunigen oder zumindest das Modell in 12 GB VRAM auf einer RTX 3090 unterzubringen?

Senior

2gis

Wie kann man erreichen, dass ein Antwortmodell einer strikt vorgegebenen Struktur folgt, zum Beispiel in JSON?

Senior

Точка

Worin unterscheidet sich ChatGPT im Allgemeinen von einem Assistenten innerhalb eines Unternehmens (Chatbot vs Assistent)?

Senior

Точка

Erzählen Sie mehr über den KV-Cache: wie er funktioniert und woher er stammt, beginnend mit der Transformer-Architektur.

Senior

2gis