Arquitecturas de Tradução Automática

Arquitecturas de Tradu¸õ Autom´tica
ca a
TA baseada em regras
TA orientada aos dados
Conclus˜es
o

Abordagens na Tradu¸õ Autom´tica
ca a

Alberto Manuel Brandõ Sim˜es
a o
ambs@di.uminho.pt

Escola de Verõ – Junho 2009
a

Alberto Sim˜es
o Abordagens na Tradu¸õ Autom´tica
ca a (1/38)

ca a
Conclus˜es
o

1 Arquitecturas de Tradu¸õ Autom´tica
ca a

2 TA baseada em regras
Sistemas de Tradu¸õ Directa
ca
Sistemas de Tradu¸õ por Transferˆncia
ca e
Sistemas de Tradu¸õ por Interl´
ca ıngua

3 TA orientada aos dados
Sistemas de Tradu¸õ Estat´
ca ıstica
Sistemas de Tradu¸õ baseada em Exemplos
ca

4 Conclus˜es
o

Alberto Sim˜es
ca a (2/38)

ca a
Conclus˜es
o

ca a

Tradu¸õ Baseada em Regras
ca
(Rule-Based Machine Translation)

Tradu¸õ directa (direct MT);
ca
Tradu¸õ por transferˆncia (transfer MT);
ca e
Tradu¸õ por interl´
ca ıngua (interlingua MT);

Tradu¸õ Orientada a Dados
ca
(Data-Driven Machine Translation)

Tradu¸õ estat´
ca ıstica (Statistical MT);
Tradu¸õ baseada em exemplos (Example-Based MT);
ca
Solu¸˜es h´
co ıbridas...

Alberto Sim˜es
ca a (3/38)

ca a
Conclus˜es
o

Sistemas baseados em regras

Baseados em:
modelos formais de tradu¸õ;
ca
conhecimento “lingu´
ıstico”;
Problemas:
caros e trabalhosos (batalh˜es de linguistas);
o
baseiam-se em conhecimento preciso (e quem o tem? );
Vantagens:
previs´
ıveis (as regras sõ analis´veis);
a a
erros fćeis de detectar e corrigir;
a

Alberto Sim˜es
ca a (4/38)

ca a
Conclus˜es
o

Sistemas orientados aos dados
Baseados em:
dados (corpora);
tćnicas de aprendizagem;
e
Problemas:
poucos dados ou dados parciais;
(corpora pequenos, corpora enviesados, ...)
dados com pouca qualidade;
(fracas tradu¸˜es, maus alinhamentos, ...)
co
Vantagens:
precisam de pouca mõ-de-obra;
a
sõ concili´veis com sistemas baseados em regras;
a a
(e vice-versa, claro...)

Alberto Sim˜es
ca a (5/38)

ca a
Conclus˜es
o

Ferramentas PLN na TA

A implementa¸õ de qualquer uma destas abordagens requer
ca
ferramentas de processamento de linguagem natural robustas para
as l´
ınguas envolvidas, como sejam:
Anotadores de Part-of-Speech e lematizadores;
Analisadores sintćticos (parsers);
a
Classificadores semˆnticos;
a
Desambigua¸õ de sentidos;
ca
Reconhecimento de Entidades Mencionadas;
Extraçõ de Informa¸õ;
ca ca
...

Alberto Sim˜es
ca a (6/38)

ca a
ca
ca e
ca ıngua
Conclus˜es
o

Sistemas baseados em regras

Interlíngua

Semântica L.O. Semântica L.D.

ge
se

ra
áli

çã
an

o
Sintaxe L.O. Sintaxe L.D.

Texto origem Texto destino
tradução directa

(representa¸˜o t´
ca ıpica)

Alberto Sim˜es
ca a (7/38)

ca a
ca
ca e
ca ıngua
Conclus˜es
o

ca

Análise e Síntese
Texto Texto
L.O. L.D.

L.O. -> L.D.
dicionários e gramáticas

Alberto Sim˜es
ca a (8/38)

ca a
ca
ca e
ca ıngua
Conclus˜es
o

ca

Tradu¸õ realizada palavra-a-palavra;
ca

Pouca an´lise ao texto na l´
a ıngua de origem
(sem an´lise sintćtica ou semˆntica)
a a a

Baseia-se em grandes dicion´rios bilingues:
a
para cada palavra na l´
ıngua de origem, o dicion´rio especifica
a
um conjunto de regras para traduzir essa palavra

Ap´s a tradu¸õ das palavras, ´ realizada reordena¸õ simples;
o ca e ca
(por exemplo, a t´
ıpica troca de ordem de nomes e adjectivos).
Todo este processamento ´ realizado numa janela deslizante
e
com um n´mero fixo de palavras.
u

Alberto Sim˜es
ca a (9/38)

ca a
ca
ca e
ca ıngua
Conclus˜es
o

ca

Regras para a tradu¸õ de much ou many para Russo:
ca

Se precedida por how ⇒ skol’ko
Senõ se precedida por as ⇒ stol’ko zhe
a
Senõ se a palavra ´ much
a e
Se precedida por very ⇒⊥
Senõ se seguida por um nome ⇒ mnogo
a
Senõ (a palavra ´ many )
a e
Se precedida por preposi¸õ e seguida por nome ⇒ mnogii
ca
Senõ ⇒ mnogo
a

Retirado de Jurafsky e Martin, edi¸õ 2, cap´
ca ıtulo 25.
Originalmente de um sistema de Panov, 1960.

Alberto Sim˜es
ca a (10/38)

ca a
ca
ca e
ca ıngua
Conclus˜es
o

Sistemas de Tradu¸õ Directa – Vantagens
ca

simples de aplicar tćnicas de aprendizagem autom´tica;
e a
(inferir regras a partir de corpora paralelos)

simples de aproveitar similaridades entre l´
ınguas:
a similaridade nõ ´ acidental (raz˜es geogr´ficas e hist´ricas);
a e o a o
relativamente simples de obter um sistema directo com
tradu¸õ de qualidade para l´
ca ınguas pr´ximas;
o

Alberto Sim˜es
ca a (11/38)

ca a
ca
ca e
ca ıngua
Conclus˜es
o

Sistemas de Tradu¸õ Directa – Problemas
ca

´ ıcil
E dif´ (ou imposs´
ıvel) de detectar reordenamentos longos:

EN: Sources said that IBM bought Lotus yesterday.
JP: Sources yesterday IBM Lotus bought that said

As palavras sõ traduzidas sem desambigua¸õ da sua fun¸õ
a ca ca
sintćtica;
a
As regras sõ tćticas e nõ estrat´gicas (nõ generalizam):
a a a e a
pouca relevˆncia lingu´
a ıstica;
Dif´ de manter (sistemas grandes):
ıcil
interaçõ entre um grande n´mero de regras;
ca u
as regras nõ sõ completamente independentes;
a a
Nõ h´ reutiliza¸õ de c´digo!
a a ca o

Alberto Sim˜es
ca a (12/38)

ca a
ca
ca e
ca ıngua
Conclus˜es
o

ca

ınguas, 5 × 4 = 20 tradutores!
Para 5 l´

L1 L2

L3 L4

L5

Alberto Sim˜es
ca a (13/38)

ca a
ca
ca e
ca ıngua
Conclus˜es
o

ca e

análise transferência síntese
Texto repres. repres. Texto
L.O. L.O. L.D. L.D.

dicionários e dicionários e
dicionários
gramáticas gramáticas
L.O. -> L.D.
L.O. L.D.

regras de
transferência

Alberto Sim˜es
ca a (14/38)

ca a
ca
ca e
ca ıngua
Conclus˜es
o

ca e

Trˆs (ou cinco) fases na tradu¸õ:
e ca
1.a An´lise Morfol´gica
a o
PalavraA −→ (LemaA + Categoria + Propriedades)
1.b Classifica¸õ Lexical
ca
(LemaA + Cat + Prop) −→ LemaA + Cat + Prop + Significado
2.a Transferˆncia Lexical
e
LemaA + Cat + Prop + Sign −→ LemaB + Cat + Prop
2.b Transferˆncia Estrutural
e
ajuste de concordˆncias (gńero e n´mero), reordenamento de
a e u
palavras e sintagmas.
3 Gera¸õ Morfol´gica
ca o
LemaB + Categoria + Propriedades −→ PalavraB

Alberto Sim˜es
ca a (15/38)

ca a
ca
ca e
ca ıngua
Conclus˜es
o

ca e

As ´rvores de parsing podem variar de simples an´lises
a a
superficiais at´ an´lises mais profundas.
e a
(incluindo mesmo representa¸˜es semˆnticas);
co a

As regras de transferˆncia podem ser compar´veis `s regras
e a a
dos sistemas directos, mas podem operar sobre estruturas
sintćticas.
a
(ou mesmo semˆnticas)
a

Torna-se mais simples a deteçõ de reordena¸õ a longa
ca ca
distˆncia.
a

Alberto Sim˜es
ca a (16/38)

ca a
ca
ca e
ca ıngua
Conclus˜es
o

ca e

Exemplo de tradu¸˜o (l´
ca ıngua origem)
S
€€
€€
NP VP
€€€
€
sources VB SBAR-A
$$ˆˆˆ
$$
$ ˆˆ
said COMP S
$$ˆˆˆ
$$
$ ˆ
ˆ
that NP-A VP
$ˆ
$ $ ¤¤ ˆˆˆ
$ $ ˆ
IBM VB NP-A NP

bought Lotus yesterday

Alberto Sim˜es
ca a (17/38)

ca a
ca
ca e
ca ıngua
Conclus˜es
o

ca e

Exemplo de tradu¸˜o (l´
ca ıngua destino)
S
@@@hhhhhh
@@@@ hhh
@ @@
@ hh
NP VP ⇔
$$ˆˆˆ
$$$ ˆˆ
sources SBAR-A ⇔
2– VB
2 2 –––
222 ––
S COMP said
$$ˆˆˆˆ
$ $
$$ ˆˆ
NP NP-A VP ⇔ that
4˜
4 ˜
yesterday IBM NP-A VB

Lotus bought
Alberto Sim˜es
ca a (18/38)

ca a
ca
ca e
ca ıngua
Conclus˜es
o

Dicion´rios: tradu¸˜o directa vs transferˆncia
a ca e
Directa Transferˆncia
e
1 dicion´rio
a 3 dicion´rios
a
RU → EN
 RU
num → plural
primer → example primer → cat → nome
lem → primer

primery → examples
RU → EN
primer → example
EN
lem → example
→ example
num → singular
lem → example
→ examples
num → plural

Alberto Sim˜es
ca a (19/38)

ca a
ca
ca e
ca ıngua
Conclus˜es
o

Dicion´rios: tradu¸˜o directa vs transferˆncia
a ca e
Directa Transferˆncia
e
1 novo dicion´rio
a 2 novos dicion´rios
a
RU → ES
 RU
num → plural
primer → ejemplo primer → cat → nome
lem → primer

primery → ejemplos
RU → ES
primer → ejemplo
EN
lem → ejemplo
→ ejemplo
num → singular
lem → ejemplo
→ ejemplos
num → plural

Alberto Sim˜es
ca a (20/38)

ca a
ca
ca e
ca ıngua
Conclus˜es
o

Vantagens dos sitemas de Transferˆncia
e

Os m´dulos de an´lise e s´
o a ıntese sõ reutiliz´veis:
a a
separa¸õ de informa¸õ espec´
ca ca ıfica da l´
ıngua da informa¸õ
ca
multilingue;
opera¸˜es realizadas num nivel superior de abstraçõ;
co ca
As regras podem ser generalizadas tendo em conta
propriedades morfol´gicas, lexemas, configura¸˜es de ´rvores
o co a
de parsing, etc.
´
E poss´ aceder a propriedades lingu´
ıvel ısticas para
desambigua¸õ.
ca

Alberto Sim˜es
ca a (21/38)

ca a
ca
ca e
ca ıngua
Conclus˜es
o

ca e

ınguas, 5 × 6 = 30
Para 5 l´
m´dulos:
o
5 abstractores / parsers;
L1 L2
5 × 4 m´dulos de
o
IR1 IR2
transferˆncia;
e
5 geradores;
L3 IR3 IR4 L4

Mais m´dulos que num
o IR5
sistema de tradu¸˜o directa,
ca
mas mais pequenos, simples,
e reutiliz´veis.
a L5

Alberto Sim˜es
ca a (22/38)

ca a
ca
ca e
ca ıngua
Conclus˜es
o

ca ıngua

análise síntese
Texto Representação Texto
L.O. inter-língua L.D.

dicionários e dicionários e
gramáticas gramáticas
L.O L.D.

Alberto Sim˜es
ca a (23/38)

ca a
ca
ca e
ca ıngua
Conclus˜es
o

ca ıngua

Duas fases no processo de tradu¸õ:
ca
An´lise
a
A frase na l´
ıngua de origem ´ analisada e ´ criada uma
e e
representa¸õ (independente de l´
ca ıngua) do seu significado.

Gera¸õ
ca
A representa¸õ semˆntica ´ convertida numa frase na l´
ca a e ıngua
de destino.

Teoricamente nõ existe informa¸õ bilingue no sistema.
a ca

Alberto Sim˜es
ca a (24/38)

ca a
ca
ca e
ca ıngua
Conclus˜es
o

ca ıngua

Uma vantagem:
para cada l´
ıngua adicionada ao sistema ´ necess´rio
e a
desenvolver apenas um m´dulo de an´lise e um de gera¸õ;
o a ca

Uma maior desvantagem:
qual seria a representa¸õ independente de l´
ca ıngua?
como representar os conceitos?
l´
ınguas diferentes tˆm conceitos diferentes
e
(3 vs n formas de classificar neve)
ser´ que a representa¸õ independente ´ a interseçõ ou a
a ca e ca
uniõ de todos estes conceitos?
a

Alberto Sim˜es
ca a (25/38)

ca a
ca
ca e
ca ıngua
Conclus˜es
o

ca ıngua
ınguas, 5 × 2 = 10 m´dulos:
Para 5 l´ o
5 abstractores / parsers;
5 geradores;

L1 L2

IL
L3 L4

L5

Infelizmente a ideia de interl´
ıngua n˜o ´ realista.
a e

Alberto Sim˜es
ca a (26/38)

ca a
TA baseada em regras Sistemas de Tradu¸õ Estat´
ca ıstica
TA orientada aos dados Sistemas de Tradu¸õ baseada em Exemplos
ca
Conclus˜es
o

Sistemas orientados aos dados

tradução à palavra

matching recombinação
tradução de segmento

exemplo exacto existente

Texto origem Texto destino

(representa¸õ t´
ca ıpica)

Alberto Sim˜es
ca a (27/38)

ca a
ca ıstica
ca
Conclus˜es
o

Tradu¸˜o Estat´
ca ıstica

Texto
Texto na
bilingue
L.D.
L.O. / L.D.

Candidatos a
Texto Texto
Tradução
L.O. L.D.
análise na L.D. análise
estatíistica estatística

Modelo de Modelo
tradução linguístico

Algoritmo de tradução
argmaxe P(e) x P(s|e)

(Knight, 2004a)
Alberto Sim˜es
ca a (28/38)

ca a
ca ıstica
ca
Conclus˜es
o

Modelo do Canal Ruidoso (Noisy Channel Model)

Pretende-se um modelo P(e|f ) que estima a probabilidade
condicional de uma frase (tradu¸õ) e na l´
ca ıngua E , dada a frase f
na l´
ıngua F .
Modelo de L´
ıngua
dado um segmento e na L.D. (p.e. inglˆs), calcular P(e);
e
um segmento de bom inglˆs, entõ P(e) ´ elevada;
e a e
um segmento de mau inglˆs, entõ P(e) ´ baixa;
e a e
Modelo de Tradu¸õ
ca
dado um par de segmentos, f , e , calcular P(f |e);
se f , e parecem-se com tradu¸˜es, entõ P(f |e) ´ elevada;
co a e
se f , e nõ se parecem com tradu¸õ, entõ P(f |e) ´ baixa;
a ca a e
Pretende-se estimar: arg maxe P(e|f ) = arg maxe P(e)P(f |e)

Alberto Sim˜es
ca a (29/38)

ca a
ca ıstica
ca
Conclus˜es
o

Ainda sobre este modelo

Modelo de L´
ıngua

Pode ser implementado baseado em trigramas, e estimado de
qualquer corpus (n˜o necessariamente paralelo);
a

Modelo de Tradu¸˜o
ca
´
E treinado a partir de um corpus paralelo nas l´
ınguas em
causa.

Alberto Sim˜es
ca a (30/38)

ca a
ca ıstica
ca
Conclus˜es
o

Exemplo do processo SMT

Frase original:
Que hambre tengo yo

Gera¸˜o estat´
ca ıstica de tradu¸˜es:
co
What hunger have I
Hungry I am so
I am so hungry
Have I that hunger

Alberto Sim˜es
ca a (31/38)

ca a
ca ıstica
ca
Conclus˜es
o


Que hambre tengo yo

Gera¸˜o estat´
ca ıstica de tradu¸˜es com c´lculo da probabilidade
co a
usando apenas o modelo de tradu¸˜o:
ca

What hunger have I 0.0000140
Hungry I am so 0.0000010
I am so hungry 0.0000015
Have I that hunger 0.0000200

Alberto Sim˜es
ca a (32/38)

ca a
ca ıstica
ca
Conclus˜es
o


Que hambre tengo yo

Gera¸õ estat´
ca ıstica de tradu¸˜es e avalia¸õ com modelo
co ca
completo:
What hunger have I 0.0000140 × 0.00000100
Hungry I am so 0.0000010 × 0.00000140
I am so hungry 0.0000015 × 0.00010000
Have I that hunger 0.0000200 × 0.00000098

Valida¸õ arg maxe P(e) × P(s|e)
ca
I am so hungry

(Knight, 2004a)

Alberto Sim˜es
ca a (33/38)

ca a
ca ıstica
ca
Conclus˜es
o

Tradu¸˜o baseada em exemplos
ca

Texto
bilingue Corpora
L.O. / L.D.

Texto Fragmentos Texto
L.O. L.D. L.D.
matching recombinação

Alberto Sim˜es
ca a (34/38)

ca a
ca ıstica
ca
Conclus˜es
o

Problemas na EBMT

Principais problemas da EBMT:
procurar as maiores concordˆncias (matches) exactas de
a
por¸˜es de texto a ser traduzido;
co
combinar as tradu¸˜es posteriormente;
co
e, para que isto funcione, ´ preciso determinar que peda¸o da
e c
tradu¸˜o na base de exemplos corresponde ` por¸˜o de texto
ca a ca
que foi realmente encontrado (matched).

Alberto Sim˜es
ca a (35/38)

ca a
ca ıstica
ca
Conclus˜es
o

EBMT vs SMT
Os sistemas baseados em estat´ıstica, sendo baseados em corpora,
estõ muito perto dos sistemas baseados em exemplos:
a
tal como os baseados em exemplos, sõ treinados em corpora
a
paralelos;
ao contr´rio dos baseados em exemplos, nõ armazenam os
a a
exemplos originais depois de treinados;

(Brown, 2002)

Embora tenha existido uma separa¸õ inicial na abordagem, cada
ca
vez mais se fala em Tradu¸õ Estat´
ca ıstica ou Tradu¸õ Baseada em
ca
Dados referindo-se ao uso conjunto destas tćnicas.
e
(Sim˜es, 2009)
o

Alberto Sim˜es
ca a (36/38)

ca a
Conclus˜es
o

Ferramentas Concretas
Tradu¸õ baseada em regras
ca
tradu¸õ directa;
ca
(Systran, originalmente)
tradu¸õ por regras de transferˆncia;
ca e
(Systran, Logos/OpenLogos, Reverso, Apertium)
tradu¸õ interl´
ca ıngua;
(EUROTRA)
Tradu¸õ orientada aos dados
ca
tradu¸õ estat´
ca ıstica;
(Pharaoh/Moses/Phramer)
tradu¸õ baseada em exemplos;
ca
(Gaijin/MaTrEx, EDGAR)
Abordagens H´ıbridas
(Pangloss Mark III)
Alberto Sim˜es
ca a (37/38)

ca a
Conclus˜es
o

Conclus˜es
o

Aproveitar experiˆncia das abordagens baseadas em regras:
e
regras j´ destiladas;
a
recursos j´ produzidos;
a
Aproveitar recursos bilingues existentes:
extrair dicion´rios;
a
extrair regras de tradu¸˜o;
ca
extrair dados estat´ ısticos sobre a tradu¸˜o
ca
Unir abordagens para ter sucesso.

Alberto Sim˜es
ca a (38/38)

Arquitecturas de Tradução Automática

Recommended

Recommended

More Related Content

More from Alberto Simões

More from Alberto Simões (20)

Arquitecturas de Tradução Automática