Files
OllaHub/lib/relevance-scorer.test.ts
T

128 lines
5.1 KiB
TypeScript

import { describe, expect, it } from 'vitest';
import { calculateSemanticSimilarity } from './relevance-scorer';
import type { QueryContext } from './contextual-analyzer';
function ctx(over: Partial<QueryContext> = {}): QueryContext {
return {
originalQuery: 'q',
intent: 'factual',
entities: [],
topics: [],
relationships: [],
implicitQuestions: [],
keywords: [],
synonyms: [],
complexity: 'simple',
...over,
};
}
describe('calculateSemanticSimilarity', () => {
it('todos os sinais batem: soma ponderada com sinônimos limitados a 0.5', () => {
const score = calculateSemanticSimilarity(
ctx({
keywords: ['energia'],
entities: [{ type: 'organization', value: 'Petrobras', confidence: 1 }],
topics: ['energia solar'],
synonyms: ['fotovoltaica'],
temporalContext: { period: '2024', relative: 'recente' },
geographicContext: { location: 'Bahia' },
}),
'Petrobras investe em energia solar fotovoltaica recente na Bahia em 2024',
);
// 0.3 + 0.3 + 0.2 + 0.5*0.1 + min(1.3,1)*0.1 = 0.95, peso total 1.0
expect(score).toBeCloseTo(0.95);
});
it('chunk vazio: 0', () => {
expect(calculateSemanticSimilarity(ctx({ keywords: ['x'] }), '')).toBe(0);
});
it('contexto ausente: 0', () => {
expect(calculateSemanticSimilarity(null as unknown as QueryContext, 'texto')).toBe(0);
});
it('contexto sem nenhum sinal: só o peso contextual, score 0', () => {
expect(calculateSemanticSimilarity(ctx(), 'qualquer texto')).toBe(0);
});
it('metade das keywords no chunk: 0.15 de 0.4', () => {
expect(calculateSemanticSimilarity(ctx({ keywords: ['solar', 'eolica'] }), 'energia solar')).toBeCloseTo(0.375);
});
it('entidade encontrada pesa pela confiança', () => {
const c = ctx({ entities: [{ type: 'location', value: 'Recife', confidence: 0.5 }] });
expect(calculateSemanticSimilarity(c, 'chuva em Recife')).toBeCloseTo(0.375);
});
it('entidade ausente do chunk: 0', () => {
const c = ctx({ entities: [{ type: 'location', value: 'Recife', confidence: 1 }] });
expect(calculateSemanticSimilarity(c, 'chuva em Natal')).toBe(0);
});
it('tópico com menos de 50% das palavras no chunk não conta', () => {
expect(calculateSemanticSimilarity(ctx({ topics: ['energia solar barata'] }), 'energia nuclear')).toBe(0);
});
it('tópico com pelo menos 50% das palavras (>3 letras) conta', () => {
expect(calculateSemanticSimilarity(ctx({ topics: ['energia solar barata'] }), 'energia solar cara')).toBeCloseTo(0.2 / 0.3);
});
it('sinônimos: 1 de 4 encontrado vale 0.25', () => {
const c = ctx({ synonyms: ['carro', 'auto', 'veiculo', 'automovel'] });
expect(calculateSemanticSimilarity(c, 'um carro')).toBeCloseTo(0.025 / 0.2);
});
it('sinônimo ausente: 0', () => {
expect(calculateSemanticSimilarity(ctx({ synonyms: ['moto'] }), 'um carro')).toBe(0);
});
it('período temporal no chunk soma 0.5 no contextual', () => {
expect(calculateSemanticSimilarity(ctx({ temporalContext: { period: '2023' } }), 'dados de 2023')).toBeCloseTo(0.5);
});
it('período temporal fora do chunk: 0', () => {
expect(calculateSemanticSimilarity(ctx({ temporalContext: { period: '2023' } }), 'dados de 2020')).toBe(0);
});
it('contexto relativo com termo recente no chunk soma 0.3', () => {
expect(calculateSemanticSimilarity(ctx({ temporalContext: { relative: 'recente' } }), 'versão atual')).toBeCloseTo(0.3);
});
it('contexto relativo sem termo recente no chunk: 0', () => {
expect(calculateSemanticSimilarity(ctx({ temporalContext: { relative: 'recente' } }), 'versão antiga')).toBe(0);
});
it('local geográfico no chunk soma 0.5', () => {
expect(calculateSemanticSimilarity(ctx({ geographicContext: { location: 'Manaus' } }), 'calor em manaus')).toBeCloseTo(0.5);
});
it('local geográfico fora do chunk: 0', () => {
expect(calculateSemanticSimilarity(ctx({ geographicContext: { location: 'Manaus' } }), 'frio em Curitiba')).toBe(0);
});
it('keyword acentuada casa com o mesmo termo acentuado no chunk', () => {
expect(calculateSemanticSimilarity(ctx({ keywords: ['França'] }), 'Viagem à França')).toBeCloseTo(0.75);
});
it('local acentuado casa com o mesmo local no chunk', () => {
const c = ctx({ geographicContext: { location: 'São Paulo' } });
expect(calculateSemanticSimilarity(c, 'trânsito em São Paulo')).toBeCloseTo(0.5);
});
it('"último" no chunk conta como termo relativo', () => {
expect(calculateSemanticSimilarity(ctx({ temporalContext: { relative: 'recente' } }), 'o último relatório')).toBeCloseTo(0.3);
});
it('entidade, tópico, sinônimo e período acentuados casam com o chunk acentuado', () => {
const c = ctx({
entities: [{ type: 'location', value: 'Ceará', confidence: 1 }],
topics: ['eleição municipal'],
synonyms: ['votação'],
temporalContext: { period: 'últimos 5 anos' },
});
// (0.3 + 0.2 + 0.5*0.1 + 0.5*0.1) / 0.7
expect(calculateSemanticSimilarity(c, 'Ceará: eleição municipal e votação nos últimos 5 anos')).toBeCloseTo(0.6 / 0.7);
});
});