Getting completely wrong correctness_reason when using evaluating RAG

[zeyadharoun]

Hello,
Im trying to evaluate a RAG Agent and all values of the resultant df in the correctness_reason column say the exact same thing : The agent stated that they ship to United States, but should have included Canada and Mexico.

After digging I realised that this is the example answer in the correctness.py file but it doesn't get overwritten for some reason.
Im using a local ollama server, the model works, it checks the relevent data by retreiving it and in the correct

def get_answer_fn(
    question: str,
    history: List[Dict] = None,
    api_base: str = "http://localhost:11434"
) -> AgentAnswer:
    """
    Answer function compatible with Giskard RAG evaluation.
    
    Args:
        question: The user's question
        history: Optional conversation history as list of dicts with 'role' and 'content' keys
        api_base: Base URL for Ollama API
        
    Returns:
        AgentAnswer with message and source documents
    """
    # Initialize RAG components
    llm, vectorstore, custom_prompt = setup_rag_chain(api_base)
    
    # Retrieve relevant documents
    retrieved_docs = vectorstore.similarity_search(question, k=3)
    
    # Prepare context from retrieved documents
    docs_content = "\n\n".join([
        f"Dokument {i+1}:\n{doc.page_content}" 
        for i, doc in enumerate(retrieved_docs)
    ])

    # Convert history into LangChain messages
    chat_history = []
    if history:
        for msg in history:
            if msg["role"] == "user":
                chat_history.append(HumanMessage(content=msg["content"]))
            else:
                chat_history.append(AIMessage(content=msg["content"]))

    # Build prompt with history + docs + question
# Build prompt with history + docs + question
    prompt_value = custom_prompt.invoke({
        "question": question,
        "context": docs_content,
        "history": "\n".join([f"{m.type}: {m.content}" for m in chat_history]) if chat_history else ""
    })

    prompt = prompt_value.to_string()  # convert to string

    # Invoke LLM with history + new prompt
    answer = llm.invoke(chat_history + [HumanMessage(content=prompt)])

    print(prompt_value)

    # Extract document contents for return
    documents = [doc.page_content for doc in retrieved_docs]
    
    return AgentAnswer(
        message=answer.content,
        documents=documents
    )



report = evaluate(get_answer_fn, testset=loaded_testset,knowledge_base=knowledge_base)

This is an example record that shows what im saying, (its in swedish but nevertheless it should say something other then the provided reason)

reference answer:Anskaffningsvärdena respektive de uppskrivna värdena är även fortsättningsvis grund för värderingen av tillgångarna.

agent_answer:Jag har analyserat de tillgängliga dokumenten och funnit att det inte finns någon information som specifikt hanterar vad som händer med anskaffningsvärdena och uppskrivna värdena efter det allmänna rådet.

Dock kan man dra slutsatsen baserat på Dokument 2: Rapport från oberoende revisor (sid. 5) att "Revisorn har inte inhämtat någon annan information före datumet för revisors rapport." Detta tyder på att revisionsarbetet är slutet vid det tidpunkten.

Eftersom ingenting särskilt omnämns om anskaffningsvärdena och uppskrivna värdena, kan man dra slutsatsen att de i regel bibehålls efter revisors rapport. Detta eftersom det inte finns någon information som tyder på att de behöver justeras eller korrigeras.

Slutsats:
Efter revisors rapport kommer anskaffningsvärdena och uppskrivna värdena i allmänhet bibehållas.

Observera att detta svar bygger på den information som finns tillgänglig inom ramen för de angivna dokumenten.

correctness:FALSE
correctness_reason:The agent stated that they ship to United States, but should have included Canada and Mexico.

the same exact reason is provided for 50 other questions.

also rewriter, routing and knowledge base all say 100% while everything else is at 0%

I would appreciate any help on the issue and thanks in advance

[mattbit]

Hi @zeyadharoun, thanks for reporting this. What model are you using to run the evaluator?

[zeyadharoun]

llama3.1:8b
And I load it as so:

giskard.llm.set_llm_model("ollama/llama3.1:8b", disable_structured_output=True, api_base=api_base)