Extração de Recursos para TA
•
0 likes•677 views
O documento discute recursos para tradução automática, incluindo corpora paralelos, dicionários bilingues e unidades de tradução. Exemplos de corpora paralelos incluem o COMPARA, Europarl e JRC-Acquis. Dicionários de tradução podem ser extraídos desses recursos paralelos.
Recommended
More Related Content
Viewers also liked
Viewers also liked (20)
More from Alberto Simões
More from Alberto Simões (20)
Extração de Recursos para TA
- 1. Mat´ria Prima e Dicion´rios Bilingues a Unidades de Tradu¸˜o ca Terminologia Paralela Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a Alberto Manuel Brand˜o Sim˜es a o ambs@di.uminho.pt Escola de Ver˜o – Junho 2009 a Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (1/40)
- 2. Mat´ria Prima e Dicion´rios Bilingues a Unidades de Tradu¸˜o ca Terminologia Paralela 1 Mat´ria Prima e Recursos Paralelos Corpora Paralelos Recursos Escondidos 2 Dicion´rios Bilingues a Processo de Extrac¸˜o ca Dicion´rios Probabil´ a ısticos de Tradu¸˜o ca PTD: Exemplos Dos PTD aos Dicion´rios de Tradu¸˜o a ca 3 Unidades de Tradu¸˜o ca Defini¸˜o ca Hip´tese das Palavras Marca o 4 Terminologia Paralela Extrac¸˜o de Entidades Paralelas ca Extrac¸˜o Baseada em Padr˜es ca o Extrac¸˜o de Terminologia com Padr˜es ca o Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (2/40)
- 3. Mat´ria Prima e Recursos Paralelos Dicion´rios Bilingues a Corpora Paralelos Unidades de Tradu¸˜o ca Recursos Escondidos Terminologia Paralela Recursos Paralelos Cada vez mais tipos de recursos dispon´ ıveis gratuitamente: corpora paralelos; corpora compar´veis (mascarados); a dicion´rios bilingues; a Recursos com maior crescimento nos ultimos tempos: ´ corpora paralelos COMPARA, PT–EN: 97 723 UTs EuroParl v3 (11 Ling, 55 pares) PT–EN: 1 287 757 UTs JRC-Acquis v3 (22 Ling, 231 pares) PT–EN: 1 315 907 UTs Hansards, FR–EN: ≈ 1 300 000 UTs Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (3/40)
- 4. Mat´ria Prima e Recursos Paralelos Dicion´rios Bilingues a Corpora Paralelos Unidades de Tradu¸˜o ca Recursos Escondidos Terminologia Paralela Recursos Paralelos Cada vez mais tipos de recursos dispon´ ıveis gratuitamente: corpora paralelos; corpora compar´veis (mascarados); a dicion´rios bilingues; a Recursos com maior crescimento nos ultimos tempos: ´ corpora paralelos COMPARA, PT–EN: 97 723 UTs EuroParl v3 (11 Ling, 55 pares) PT–EN: 1 287 757 UTs JRC-Acquis v3 (22 Ling, 231 pares) PT–EN: 1 315 907 UTs Hansards, FR–EN: ≈ 1 300 000 UTs Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (3/40)
- 5. Mat´ria Prima e Recursos Paralelos Dicion´rios Bilingues a Corpora Paralelos Unidades de Tradu¸˜o ca Recursos Escondidos Terminologia Paralela Corpora Paralelos Um texto paralelo (ou bitexto) ´ um texto numa e l´ ıngua juntamente com a sua tradu¸˜o numa outra ca l´ ıngua. Grandes colec¸˜es de bitextos s˜o chamadas co a de corpora paralelos. Sim˜es, 2008 o Habitualmente, ao falar de Corpora Paralelos pressup˜e-se o seu o Alinhamento ` Frase (segmento). a Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (4/40)
- 6. Mat´ria Prima e Recursos Paralelos Dicion´rios Bilingues a Corpora Paralelos Unidades de Tradu¸˜o ca Recursos Escondidos Terminologia Paralela Corpora Paralelos Um texto paralelo (ou bitexto) ´ um texto numa e l´ ıngua juntamente com a sua tradu¸˜o numa outra ca l´ ıngua. Grandes colec¸˜es de bitextos s˜o chamadas co a de corpora paralelos. Sim˜es, 2008 o Habitualmente, ao falar de Corpora Paralelos pressup˜e-se o seu o Alinhamento ` Frase (segmento). a Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (4/40)
- 7. Mat´ria Prima e Recursos Paralelos Dicion´rios Bilingues a Corpora Paralelos Unidades de Tradu¸˜o ca Recursos Escondidos Terminologia Paralela Corpora Paralelos e Alinhamento Dados textos paralelos U e V , um alinhamento ´ e uma segmenta¸˜o de U e V em n segmentos cada, ca tal que para cada i, 1 ≤ i ≤ n, ui e vi s˜o tradu¸˜es a co m´tuas. u Uma unidade de tradu¸˜o ai ´ um par ordenado ca e (ui , vi ). Desta forma, um alinhamento A tamb´me pode ser definido como uma sequˆncia de segmentos e alinhados: A ∼ a1 , a2 , . . . , an . = Melamed, 2001 Processos de alinhamento cristalizados h´ algum tempo: a Gale and Church + melhoramentos e sincronia variada; Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (5/40)
- 8. Mat´ria Prima e Recursos Paralelos Dicion´rios Bilingues a Corpora Paralelos Unidades de Tradu¸˜o ca Recursos Escondidos Terminologia Paralela Corpora Paralelos e Alinhamento Dados textos paralelos U e V , um alinhamento ´ e uma segmenta¸˜o de U e V em n segmentos cada, ca tal que para cada i, 1 ≤ i ≤ n, ui e vi s˜o tradu¸˜es a co m´tuas. u Uma unidade de tradu¸˜o ai ´ um par ordenado ca e (ui , vi ). Desta forma, um alinhamento A tamb´me pode ser definido como uma sequˆncia de segmentos e alinhados: A ∼ a1 , a2 , . . . , an . = Melamed, 2001 Processos de alinhamento cristalizados h´ algum tempo: a Gale and Church + melhoramentos e sincronia variada; Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (5/40)
- 9. Mat´ria Prima e Recursos Paralelos Dicion´rios Bilingues a Corpora Paralelos Unidades de Tradu¸˜o ca Recursos Escondidos Terminologia Paralela Motiva¸˜o — Textos paralelos ca Estes resultados constituem a base do These findings form the basis of the Programa Europeu de defesa do Mar de European Programmes to protect the Barents e, por esse motivo, pe¸o-lhe c Barents Sea, and that is why I would que analise um projecto de carta que ask you to examine a draft letter lhe exp˜e os factos mais importantes, e o setting out the most important facts que, de acordo com as decis˜es do o and to make Parliament’s position, as Parlamento, torne clara esta posi¸˜o na ca expressed in the resolutions which it R´ssia. No entanto, somos tamb´m da u e has adopted, clear as far as Russia is opini˜o de que deveria haver um debate a concerned. We believe, however, that sobre esta estrat´gia da comiss˜o que e a the commission’s strategic plan needs seguisse um procedimento ordenado, e to be debated within a proper n˜o s´ com base numa declara¸˜o oral a o ca procedural framework, not only on the pronunciada aqui no Parlamento basis of an oral statement here in the Europeu, mas tamb´m com base num e European Parliament, but also on the documento que seja decidido na basis of a document which is adopted comiss˜o e que apresente uma a in the commission and which describes descri¸˜o deste programa para um ca this programme over the five-year per´ıodo de cinco anos. period . Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (6/40)
- 10. Mat´ria Prima e Recursos Paralelos Dicion´rios Bilingues a Corpora Paralelos Unidades de Tradu¸˜o ca Recursos Escondidos Terminologia Paralela Motiva¸˜o — Frases paralelas ca Estes resultados constituem a base do These findings form the basis of the Programa Europeu de defesa do Mar de European Programmes to protect the Barents e, por esse motivo, pe¸o-lhe c Barents Sea, and that is why I would que analise um projecto de carta que ask you to examine a draft letter lhe exp˜e os factos mais importantes, e o setting out the most important facts que, de acordo com as decis˜es do o and to make Parliament’s position, as Parlamento, torne clara esta posi¸˜o na ca expressed in the resolutions which it R´ssia. u has adopted, clear as far as Russia is No entanto, somos tamb´m da opini˜o e a concerned. de que deveria haver um debate sobre We believe, however, that the esta estrat´gia da comiss˜o que e a commission’s strategic plan needs to be seguisse um procedimento ordenado, e debated within a proper procedural n˜o s´ com base numa declara¸˜o oral a o ca framework, not only on the basis of an pronunciada aqui no Parlamento oral statement here in the European Europeu, mas tamb´m com base num e Parliament, but also on the basis of a documento que seja decidido na document which is adopted in the comiss˜o e que apresente uma a commission and which describes this descri¸˜o deste programa para um ca programme over the five-year period . per´ıodo de cinco anos. Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (7/40)
- 11. Mat´ria Prima e Recursos Paralelos Dicion´rios Bilingues a Corpora Paralelos Unidades de Tradu¸˜o ca Recursos Escondidos Terminologia Paralela Motiva¸˜o — Dicion´rios de tradu¸˜o ca a ca Estes resultados constituem a base do These findings form the basis of the Programa Europeu de defesa do Mar de European Programmes to protect the Barents e, por esse motivo, pe¸o-lhe c Barents Sea, and that is why I would que analise um projecto de carta que ask you to examine a draft letter lhe exp˜e os factos mais importantes, e o setting out the most important facts que, de acordo com as decis˜es do o and to make Parliament’s position, as Parlamento, torne clara esta posi¸˜o na ca expressed in the resolutions which it R´ssia. u has adopted, clear as far as Russia is No entanto, somos tamb´m da opini˜o e a concerned. de que deveria haver um debate sobre We believe, however, that the esta estrat´gia da comiss˜o que e a commission’s strategic plan needs to be seguisse um procedimento ordenado, e debated within a proper procedural n˜o s´ com base numa declara¸˜o oral a o ca framework, not only on the basis of an pronunciada aqui no Parlamento oral statement here in the European Europeu, mas tamb´m com base num e Parliament, but also on the basis of a documento que seja decidido na document which is adopted in the comiss˜o e que apresente uma a commission and which describes this descri¸˜o deste programa para um ca programme over the five-year period . per´ıodo de cinco anos. Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (8/40)
- 12. Mat´ria Prima e Recursos Paralelos Dicion´rios Bilingues a Corpora Paralelos Unidades de Tradu¸˜o ca Recursos Escondidos Terminologia Paralela Motiva¸˜o — Nominais (terminologia?) paralelos ca Estes resultados constituem a base do These findings form the basis of the Programa Europeu de defesa do Mar de European Programmes to protect the Barents e, por esse motivo, pe¸o-lhe c Barents Sea, and that is why I would que analise um projecto de carta que ask you to examine a draft letter lhe exp˜e os factos mais importantes, e o setting out the most important facts que, de acordo com as decis˜es do o and to make Parliament’s position, as Parlamento, torne clara esta posi¸˜o na ca expressed in the resolutions which it R´ssia. u has adopted, clear as far as Russia is No entanto, somos tamb´m da opini˜o e a concerned. de que deveria haver um debate sobre We believe, however, that the esta estrat´gia da comiss˜o que e a commission’s strategic plan needs to be seguisse um procedimento ordenado, e debated within a proper procedural n˜o s´ com base numa declara¸˜o oral a o ca framework, not only on the basis of an pronunciada aqui no Parlamento oral statement here in the European Europeu, mas tamb´m com base num e Parliament, but also on the basis of a documento que seja decidido na document which is adopted in the comiss˜o e que apresente uma a commission and which describes this descri¸˜o deste programa para um ca programme over the five-year period . per´ıodo de cinco anos. Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (9/40)
- 13. Mat´ria Prima e Recursos Paralelos Dicion´rios Bilingues a Corpora Paralelos Unidades de Tradu¸˜o ca Recursos Escondidos Terminologia Paralela Mat´ria Prima e Os Corpora Paralelos s˜o recursos ricos: a frases paralelas (unidades de tradu¸˜o — TAC, TA) ca dicion´rios biligues a (uso comum, para al´m de TM, TAC, TA) e entidades paralelas (essencialmente para TAC e TA) terminologia bilingue (uso comum, para al´m de TM, TAC, TA) e exempos de tradu¸˜o ca (unidades de tradu¸˜o — TAC, TA) ca Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (10/40)
- 14. Mat´ria Prima e Processo de Extrac¸˜o ca Dicion´rios Bilingues a Dicion´rios Probabil´ a ısticos de Tradu¸˜o ca Unidades de Tradu¸˜o ca PTD: Exemplos Terminologia Paralela Dos PTD aos Dicion´rios de Tradu¸˜o a ca Extrac¸˜o de Dicion´rios ca a a flor cresce / a casa ´ grande / a casa azul tem flores e the flower grows / the house is big / the blue house has flowers a flor cresce casa ´ e grande azul tem flores the 3 1 1 2 1 1 1 1 1 flower 1 1 1 0 0 0 0 0 0 grows 1 1 1 0 0 0 0 0 0 house 2 0 0 2 1 1 1 1 1 is 1 0 0 1 1 1 0 0 0 big 1 0 0 1 1 1 0 0 0 blue 1 0 0 1 0 0 1 1 1 have 1 0 0 1 0 0 1 1 1 flowers 1 0 0 1 0 0 1 1 1 Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (11/40)
- 15. Mat´ria Prima e Processo de Extrac¸˜o ca Dicion´rios Bilingues a Dicion´rios Probabil´ a ısticos de Tradu¸˜o ca Unidades de Tradu¸˜o ca PTD: Exemplos Terminologia Paralela Dos PTD aos Dicion´rios de Tradu¸˜o a ca Extrac¸˜o de Dicion´rios ca a a flor cresce / a casa ´ grande / a casa azul tem flores e the flower grows / the house is big / the blue house has flowers a flor cresce casa ´ e grande azul tem flores the 3 1 1 2 1 1 1 1 1 flower 1 1 1 0 0 0 0 0 0 grows 1 1 1 0 0 0 0 0 0 house 2 0 0 2 1 1 1 1 1 is 1 0 0 1 1 1 0 0 0 big 1 0 0 1 1 1 0 0 0 blue 1 0 0 1 0 0 1 1 1 have 1 0 0 1 0 0 1 1 1 flowers 1 0 0 1 0 0 1 1 1 Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (11/40)
- 16. Mat´ria Prima e Processo de Extrac¸˜o ca Dicion´rios Bilingues a Dicion´rios Probabil´ a ısticos de Tradu¸˜o ca Unidades de Tradu¸˜o ca PTD: Exemplos Terminologia Paralela Dos PTD aos Dicion´rios de Tradu¸˜o a ca Extrac¸˜o de Dicion´rios ca a a flor cresce / a casa ´ grande / a casa azul tem flores e the flower grows / the house is big / the blue house has flowers a flor cresce casa ´ e grande azul tem flores the 3 1 1 2 1 1 1 1 1 flower 1 1 1 0 0 0 0 0 0 grows 1 1 1 0 0 0 0 0 0 house 2 0 0 2 1 1 1 1 1 is 1 0 0 1 1 1 0 0 0 big 1 0 0 1 1 1 0 0 0 blue 1 0 0 1 0 0 1 1 1 have 1 0 0 1 0 0 1 1 1 flowers 1 0 0 1 0 0 1 1 1 Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (12/40)
- 17. Mat´ria Prima e Processo de Extrac¸˜o ca Dicion´rios Bilingues a Dicion´rios Probabil´ a ısticos de Tradu¸˜o ca Unidades de Tradu¸˜o ca PTD: Exemplos Terminologia Paralela Dos PTD aos Dicion´rios de Tradu¸˜o a ca Extrac¸˜o de Dicion´rios ca a a flor cresce / a casa ´ grande / a casa azul tem flores e the flower grows / the house is big / the blue house has flowers a flor cresce casa ´ e grande azul tem flores the 3 1 1 2 1 1 1 1 1 flower 1 1 1 0 0 0 0 0 0 grows 1 1 1 0 0 0 0 0 0 house 2 0 0 2 1 1 1 1 1 is 1 0 0 1 1 1 0 0 0 big 1 0 0 1 1 1 0 0 0 blue 1 0 0 1 0 0 1 1 1 have 1 0 0 1 0 0 1 1 1 flowers 1 0 0 1 0 0 1 1 1 Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (13/40)
- 18. Mat´ria Prima e Processo de Extrac¸˜o ca Dicion´rios Bilingues a Dicion´rios Probabil´ a ısticos de Tradu¸˜o ca Unidades de Tradu¸˜o ca PTD: Exemplos Terminologia Paralela Dos PTD aos Dicion´rios de Tradu¸˜o a ca Dicion´rios Probabil´ a ısticos de Tradu¸˜o ca processo autom´tico de extrac¸˜o ; a ca usam corpora paralelos alinhados ` frase; a associam a palavras wA de determinada l´ ıngua A um conjunto de palavras wB da l´ ıngua B; na sua maioria, T (wA ) = wB ; mas tamb´m acontece, T (wA ) = ¬wB ; e ou mesmo palavras aparentemente nada relacionadas... Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (14/40)
- 19. Mat´ria Prima e Processo de Extrac¸˜o ca Dicion´rios Bilingues a Dicion´rios Probabil´ a ısticos de Tradu¸˜o ca Unidades de Tradu¸˜o ca PTD: Exemplos Terminologia Paralela Dos PTD aos Dicion´rios de Tradu¸˜o a ca Dicion´rios Probabil´ a ısticos de Tradu¸˜o ca processo autom´tico de extrac¸˜o ; a ca usam corpora paralelos alinhados ` frase; a associam a palavras wA de determinada l´ ıngua A um conjunto de palavras wB da l´ ıngua B; na sua maioria, T (wA ) = wB ; mas tamb´m acontece, T (wA ) = ¬wB ; e ou mesmo palavras aparentemente nada relacionadas... Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (14/40)
- 20. Mat´ria Prima e Processo de Extrac¸˜o ca Dicion´rios Bilingues a Dicion´rios Probabil´ a ısticos de Tradu¸˜o ca Unidades de Tradu¸˜o ca PTD: Exemplos Terminologia Paralela Dos PTD aos Dicion´rios de Tradu¸˜o a ca Dicion´rio Probabil´ a ıstico de Tradu¸˜o: ex.1 ca QUERY> europa Occurrences: 39917 Translations: 88.50% europe 5.73% european 2.37% europa 1.16% (none) 0.57% eu 0.23% unece 0.17% the 0.16% auto Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (15/40)
- 21. Mat´ria Prima e Processo de Extrac¸˜o ca Dicion´rios Bilingues a Dicion´rios Probabil´ a ısticos de Tradu¸˜o ca Unidades de Tradu¸˜o ca PTD: Exemplos Terminologia Paralela Dos PTD aos Dicion´rios de Tradu¸˜o a ca Dicion´rio Probabil´ a ıstico de Tradu¸˜o: ex.2 ca QUERY> we Occurrences: 300431 Translations: 17.81% (none) 8.25% que 6.02% temos Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (16/40)
- 22. Mat´ria Prima e Processo de Extrac¸˜o ca Dicion´rios Bilingues a Dicion´rios Probabil´ a ısticos de Tradu¸˜o ca Unidades de Tradu¸˜o ca PTD: Exemplos Terminologia Paralela Dos PTD aos Dicion´rios de Tradu¸˜o a ca Dicion´rio Probabil´ a ıstico de Tradu¸˜o: ex.3 ca QUERY> read QUERY> represent Occurrences: 2435 Occurrences: 2538 Translations: Translations: 29.32% ler 17.87% representam 13.75% li 11.57% representar 8.36% read 8.93% represento 5.96% lido 7.54% representamos 3.54% lemos 4.93% constituem 1.60% leio 3.63% representa 1.46% estar 3.37% (none) 1.45% leu 2.35% representante Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (17/40)
- 23. Mat´ria Prima e Processo de Extrac¸˜o ca Dicion´rios Bilingues a Dicion´rios Probabil´ a ısticos de Tradu¸˜o ca Unidades de Tradu¸˜o ca PTD: Exemplos Terminologia Paralela Dos PTD aos Dicion´rios de Tradu¸˜o a ca Dicion´rio Probabil´ a ıstico de Tradu¸˜o: ex.3 ca QUERY> aceit´vel a Occurrences: 1713 Translations: 71.48% acceptable 8.56% unacceptable Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (18/40)
- 24. Mat´ria Prima e Processo de Extrac¸˜o ca Dicion´rios Bilingues a Dicion´rios Probabil´ a ısticos de Tradu¸˜o ca Unidades de Tradu¸˜o ca PTD: Exemplos Terminologia Paralela Dos PTD aos Dicion´rios de Tradu¸˜o a ca Dicion´rio Probabil´ a ıstico de Tradu¸˜o: ex.4 ca QUERY> palavra Occurrences: 6337 Translations: 35.75% floor 16.88% word 13.57% (none) 9.28% speak Floor?? What the hell? Tem a palavra , em nome da comiss~o , o senhor comiss´rio Barnier . a a Mr Barnier has the floor on behalf of the Commission . Tem a palavra , em nome da comiss~o , a senhora comiss´ria wallstr¨m . a a o Mrs wallstr¨m has the floor on behalf of the Commission . o Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (19/40)
- 25. Mat´ria Prima e Processo de Extrac¸˜o ca Dicion´rios Bilingues a Dicion´rios Probabil´ a ısticos de Tradu¸˜o ca Unidades de Tradu¸˜o ca PTD: Exemplos Terminologia Paralela Dos PTD aos Dicion´rios de Tradu¸˜o a ca Dicion´rio Probabil´ a ıstico de Tradu¸˜o: ex.4 ca QUERY> palavra Occurrences: 6337 Translations: 35.75% floor 16.88% word 13.57% (none) 9.28% speak Floor?? What the hell? Tem a palavra , em nome da comiss~o , o senhor comiss´rio Barnier . a a Mr Barnier has the floor on behalf of the Commission . Tem a palavra , em nome da comiss~o , a senhora comiss´ria wallstr¨m . a a o Mrs wallstr¨m has the floor on behalf of the Commission . o Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (19/40)
- 26. Mat´ria Prima e Processo de Extrac¸˜o ca Dicion´rios Bilingues a Dicion´rios Probabil´ a ısticos de Tradu¸˜o ca Unidades de Tradu¸˜o ca PTD: Exemplos Terminologia Paralela Dos PTD aos Dicion´rios de Tradu¸˜o a ca Dicion´rio Probabil´ a ıstico de Tradu¸˜o: ex.4 ca QUERY> palavra Occurrences: 6337 Translations: 35.75% floor 16.88% word 13.57% (none) 9.28% speak Floor?? What the hell? Tem a palavra , em nome da comiss~o , o senhor comiss´rio Barnier . a a Mr Barnier has the floor on behalf of the Commission . Tem a palavra , em nome da comiss~o , a senhora comiss´ria wallstr¨m . a a o Mrs wallstr¨m has the floor on behalf of the Commission . o Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (19/40)
- 27. Mat´ria Prima e Processo de Extrac¸˜o ca Dicion´rios Bilingues a Dicion´rios Probabil´ a ısticos de Tradu¸˜o ca Unidades de Tradu¸˜o ca PTD: Exemplos Terminologia Paralela Dos PTD aos Dicion´rios de Tradu¸˜o a ca Caracteriza¸˜o dos PTD ca A qualidade e abrangˆncia do dicion´rio crescem com o e a tamanho do corpus. A existˆncia de ru´ diminui a qualidade dos dicion´rios. e ıdo a O comprimento excessivo das unidades de tradu¸˜o prejudica ca a qualidade dos dicion´rios obtidos. a A criatividade na tradu¸˜o prejudica a qualidade dos ca dicion´rios. a O pr´-processamento de corpora pode melhorar os dicion´rios e a obtidos. Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (20/40)
- 28. Mat´ria Prima e Processo de Extrac¸˜o ca Dicion´rios Bilingues a Dicion´rios Probabil´ a ısticos de Tradu¸˜o ca Unidades de Tradu¸˜o ca PTD: Exemplos Terminologia Paralela Dos PTD aos Dicion´rios de Tradu¸˜o a ca Avalia¸˜o Manual de PTD ca Erradas Correctas no de entradas 566 (56.6%) 434 (43.4%) Prob Ocur Prob Ocur valor m´ ınimo 0.20 1 0.20 1 valor m´ximo a 1.00 6 755 1.00 1 103 267 m´dia e 0.40 63 0.52 3 699 desvio padr˜o a 0.21 418 0.24 53 376 Tabela: Resultados da avalia¸˜o manual de um PTD (probabilidades ca superiores a 20%). Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (21/40)
- 29. Mat´ria Prima e Processo de Extrac¸˜o ca Dicion´rios Bilingues a Dicion´rios Probabil´ a ısticos de Tradu¸˜o ca Unidades de Tradu¸˜o ca PTD: Exemplos Terminologia Paralela Dos PTD aos Dicion´rios de Tradu¸˜o a ca Avalia¸˜o Manual (2) ca Total Erradas Correctas no de entradas 1000 150 (15%) 850 (85%) Prob Ocur Prob Ocur Prob Ocur valor m´ ınimo 0.20 50 0.20 50 0.20 50 valor m´ximo a 0.99 435 374 0.82 24 022 0.99 435 374 m´dia e 0.48 2 476 0.36 1 097 0.50 2 719 desvio padr˜o a 0.21 16 894 0.14 2 720 0.21 18 278 Tabela: Resultados da avalia¸˜o manual de um PTD (probabilidades ca superiores a 20%, e com mais de 50 ocorrˆncias). e Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (22/40)
- 30. Mat´ria Prima e Processo de Extrac¸˜o ca Dicion´rios Bilingues a Dicion´rios Probabil´ a ısticos de Tradu¸˜o ca Unidades de Tradu¸˜o ca PTD: Exemplos Terminologia Paralela Dos PTD aos Dicion´rios de Tradu¸˜o a ca Filtragem de PTD Remo¸˜o de: ca n´meros e n˜o-palavras; u a tradu¸˜es com probabilidades baixas co entradas com poucas ocorrˆncias e tradu¸˜o “vazia” e entradas vazias ca Palavra (w ) Td1 (w ) P (Td1 (w )) Td2 (w ) P (Td2 (w )) trinta 30 36.43% thirty 34.21% thirty 34.21% (none) 6.33% necessite 1938 41.68% needs 25.65% needs 25.65% revoltante 45 24.03% revolting 9.53% revolting 9.53% representavam 19.3 18.33% accounted 18.13% a2 18.22% represented 7.53% Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (23/40)
- 31. Mat´ria Prima e Dicion´rios Bilingues a Defini¸˜o ca Unidades de Tradu¸˜o ca Hip´tese das Palavras Marca o Terminologia Paralela Exemplos de Tradu¸˜o: Defini¸˜o ca ca Um Exemplo de Tradu¸˜o ´ um par de segmentos de ca e palavras sA , sB do tipo WA × WB , tal que T (sA ) = sB . N˜o existe qualquer restri¸˜o relativa ao n´mero de palavras a ca u de cada um dos segmentos, sendo que habitualmente os exemplos de tradu¸˜o tˆm duas ou mais palavras, e raramente ca e excedem as 8 a 10 palavras. Sim˜es, 2008 o Unidades de Tradu¸˜o de tamanho pequeno... ca Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (24/40)
- 32. Mat´ria Prima e Dicion´rios Bilingues a Defini¸˜o ca Unidades de Tradu¸˜o ca Hip´tese das Palavras Marca o Terminologia Paralela Exemplos de Tradu¸˜o: Defini¸˜o ca ca Um Exemplo de Tradu¸˜o ´ um par de segmentos de ca e palavras sA , sB do tipo WA × WB , tal que T (sA ) = sB . N˜o existe qualquer restri¸˜o relativa ao n´mero de palavras a ca u de cada um dos segmentos, sendo que habitualmente os exemplos de tradu¸˜o tˆm duas ou mais palavras, e raramente ca e excedem as 8 a 10 palavras. Sim˜es, 2008 o Unidades de Tradu¸˜o de tamanho pequeno... ca Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (24/40)
- 33. Mat´ria Prima e Dicion´rios Bilingues a Defini¸˜o ca Unidades de Tradu¸˜o ca Hip´tese das Palavras Marca o Terminologia Paralela Exemplos de Tradu¸˜o: Como os delimitar? ca Para delimitar (segmentar) unidades de tradu¸˜o em exemplos de ca tradu¸˜o usam-se: ca Ad-Hoc (ao calhas): baseados em convi¸˜es fracas, como um par de palavras com co probabilidade de tradu¸˜o alta. ca Shallow Parsers: ou heuristicas — Hip´tese das Palavras Marca; o Analisadores Sint´cticos; a possivelmente a melhor abordagem, mas mais complicada. . . Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (25/40)
- 34. Mat´ria Prima e Dicion´rios Bilingues a Defini¸˜o ca Unidades de Tradu¸˜o ca Hip´tese das Palavras Marca o Terminologia Paralela Hip´tese das Palavras Marca o Hoje, n˜o... a Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (26/40)
- 35. Mat´ria Prima e Extrac¸˜o de Entidades Paralelas ca Dicion´rios Bilingues a Extrac¸˜o Baseada em Padr˜es ca o Unidades de Tradu¸˜o ca Extrac¸˜o de Terminologia com Padr˜es ca o Terminologia Paralela Extrac¸˜o de Entidades Paralelas ca 1 Dado um corpus alinhado ao n´ da frase; ıvel 2 Realizar marca¸˜o de Entidades Mencionadas ca (RENA, Rembrant, ...) 3 Contar Co-Ocorrˆncias de Entidades e Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (27/40)
- 36. Mat´ria Prima e Extrac¸˜o de Entidades Paralelas ca Dicion´rios Bilingues a Extrac¸˜o Baseada em Padr˜es ca o Unidades de Tradu¸˜o ca Extrac¸˜o de Terminologia com Padr˜es ca o Terminologia Paralela Entidades Paralelas Extra´ ıdas Entidade em portuguˆs e Entidade em inglˆs e # Comiss˜oa Commission 5363 Uni˜o Europeia a European Union 2143 Conselho Council 2077 Parlamento Parliament 2041 Europa Europe 1883 Estados-Membros Member States 1528 Parlamento Europeu European Parliament 986 Estado-Membro Member State 250 Comiss˜o Europeia a European Commission 210 Conferˆncia Intergovernamental e Intergovernmental Conference 206 Estados Unidos United States 202 Senhor Presidente Mr President 179 Fundos Estruturais Structural Funds 145 Livro Branco White Paper 144 Carta dos Direitos Fundamentais Fundamental Rights 98 Cimeira de Lisboa Lisbon Summit 71 Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (28/40)
- 37. Mat´ria Prima e Extrac¸˜o de Entidades Paralelas ca Dicion´rios Bilingues a Extrac¸˜o Baseada em Padr˜es ca o Unidades de Tradu¸˜o ca Extrac¸˜o de Terminologia com Padr˜es ca o Terminologia Paralela Extrac¸˜o Baseada em Padr˜es ca o A tradu¸˜o n˜o ´ linear. . . ca a e alternative discussion european financing sources alliance radical about the for of . discussão 44 0 0 0 0 0 0 0 0 0 0 0 sobre 0 11 0 0 0 0 0 0 0 0 0 0 fontes 0 0 0 74 0 0 0 0 0 0 0 0 de 0 3 0 0 27 0 6 3 0 0 0 0 financiamento 0 0 0 0 0 56 0 0 0 0 0 0 alternativas 0 0 23 0 0 0 0 0 0 0 0 0 para 0 0 0 0 0 0 28 0 0 0 0 0 a 0 1 0 0 1 0 4 33 0 0 0 0 aliança 0 0 0 0 0 0 0 0 0 0 65 0 radical 0 0 0 0 0 0 0 0 0 80 0 0 europeia 0 0 0 0 0 0 0 0 59 0 0 0 . 0 0 0 0 0 0 0 0 0 0 0 80 Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (29/40)
- 38. Mat´ria Prima e Extrac¸˜o de Entidades Paralelas ca Dicion´rios Bilingues a Extrac¸˜o Baseada em Padr˜es ca o Unidades de Tradu¸˜o ca Extrac¸˜o de Terminologia com Padr˜es ca o Terminologia Paralela Extrac¸˜o Baseada em Padr˜es ca o . . . existem reordenamentos. . . alternative discussion european financing sources alliance radical about the for of . discussão 44 0 0 0 0 0 0 0 0 0 0 0 sobre 0 11 0 0 0 0 0 0 0 0 0 0 fontes 0 0 0 74 0 0 0 0 0 0 0 0 de 0 3 0 0 27 0 6 3 0 0 0 0 financiamento 0 0 0 0 0 56 0 0 0 0 0 0 alternativas 0 0 23 0 0 0 0 0 0 0 0 0 para 0 0 0 0 0 0 28 0 0 0 0 0 a 0 1 0 0 1 0 4 33 0 0 0 0 aliança 0 0 0 0 0 0 0 0 0 0 65 0 radical 0 0 0 0 0 0 0 0 0 80 0 0 europeia 0 0 0 0 0 0 0 0 59 0 0 0 . 0 0 0 0 0 0 0 0 0 0 0 80 Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (30/40)
- 39. Mat´ria Prima e Extrac¸˜o de Entidades Paralelas ca Dicion´rios Bilingues a Extrac¸˜o Baseada em Padr˜es ca o Unidades de Tradu¸˜o ca Extrac¸˜o de Terminologia com Padr˜es ca o Terminologia Paralela Extrac¸˜o Baseada em Padr˜es ca o . . . existem reordenamentos. . . previs´ ıveis! alternative discussion european financing sources alliance radical about the for of . discussão 44 0 0 0 0 0 0 0 0 0 0 0 sobre 0 11 0 0 0 0 0 0 0 0 0 0 fontes 0 0 0 74 0 0 0 0 0 0 0 0 de 0 3 0 0 27 0 6 3 0 0 0 0 financiamento 0 0 0 0 0 56 0 0 0 0 0 0 alternativas 0 0 23 0 0 0 0 0 0 0 0 0 para 0 0 0 0 0 0 28 0 0 0 0 0 a 0 1 0 0 1 0 4 33 0 0 0 0 aliança 0 0 0 0 0 0 0 0 0 0 65 0 radical 0 0 0 0 0 0 0 0 0 80 0 0 europeia 0 0 0 0 0 0 0 0 59 0 0 0 . 0 0 0 0 0 0 0 0 0 0 0 80 Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (31/40)
- 40. Mat´ria Prima e Extrac¸˜o de Entidades Paralelas ca Dicion´rios Bilingues a Extrac¸˜o Baseada em Padr˜es ca o Unidades de Tradu¸˜o ca Extrac¸˜o de Terminologia com Padr˜es ca o Terminologia Paralela Exemplo 1: Padr˜o ABBA a ımpicos Jogos Ol´ Olimpic X Games X Na pr´tica. . . a T (A · B) = T (B) · T (A) Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (32/40)
- 41. Mat´ria Prima e Extrac¸˜o de Entidades Paralelas ca Dicion´rios Bilingues a Extrac¸˜o Baseada em Padr˜es ca o Unidades de Tradu¸˜o ca Extrac¸˜o de Terminologia com Padr˜es ca o Terminologia Paralela Exemplo 2: Padr˜o IDH a desenvolvimento humano ındice de ´ human X development X index X Na pr´tica. . . a T (I · ”de” · D · H) = T (H) · T (D) · T (I ) Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (33/40)
- 42. Mat´ria Prima e Extrac¸˜o de Entidades Paralelas ca Dicion´rios Bilingues a Extrac¸˜o Baseada em Padr˜es ca o Unidades de Tradu¸˜o ca Extrac¸˜o de Terminologia com Padr˜es ca o Terminologia Paralela Exemplo 3: Padr˜o FTP a transferˆncia protocolo e ficheiros de de file X transfer X protocol X Na pr´tica. . . a T (P · ”de” · T · ”de” · F ) = T (F ) · T (T ) · T (P) Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (34/40)
- 43. Mat´ria Prima e Extrac¸˜o de Entidades Paralelas ca Dicion´rios Bilingues a Extrac¸˜o Baseada em Padr˜es ca o Unidades de Tradu¸˜o ca Extrac¸˜o de Terminologia com Padr˜es ca o Terminologia Paralela Exemplo 4: Padr˜o NPoV a neutro ponto vista de neutral X point X of ∆ view X Na pr´tica. . . a T (P · ”de” · V · N) = T (N) · T (P) · ”of ” · T (V ) Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (35/40)
- 44. Mat´ria Prima e Extrac¸˜o de Entidades Paralelas ca Dicion´rios Bilingues a Extrac¸˜o Baseada em Padr˜es ca o Unidades de Tradu¸˜o ca Extrac¸˜o de Terminologia com Padr˜es ca o Terminologia Paralela Extraindo estes blocos: exemplos de tradu¸˜o ca 39214 ABBA comunidades europeias european communities 32850 ABBA jornal oficial official journal 32832 ABBA parlamento europeu european parliament 32730 ABBA uni˜o europeia a european union 31650 ABBA comunidade europeia european community 15602 ABBA pa´ terceiros ıses third countries 3614 ABBA livro verde green paper 3520 ABBA sa´de p´blica u u public health 3434 ABBA direito comunit´rio a community law 3227 ABBA n´ comunit´rio ıvel a community level 3179 ABBA comit´ permanente e standing committee 3038 ABBA nomenclatura combinada combined nomenclature 1 ABBA org˜os or¸amentais ´ a c budgetary organs 1 ABBA org˜os relevantes ´ a relevant bodies 1 A ovulos de equino ´ equine ova 1 A oxido de albendazole ´ albendazole oxide 1 A oxido de c´dmio ´ a cadmium oxide 1 A oxido de estireno ´ styrene oxide Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (36/40)
- 45. Mat´ria Prima e Extrac¸˜o de Entidades Paralelas ca Dicion´rios Bilingues a Extrac¸˜o Baseada em Padr˜es ca o Unidades de Tradu¸˜o ca Extrac¸˜o de Terminologia com Padr˜es ca o Terminologia Paralela A Linguagem de Padr˜es o Padr˜es EN–PT (jSpell) o [R1] A B = B[CAT<-/nc/] A[CAT<-/(a_nc|adj)/]; [R2] A B = B[CAT<-/nc/] "de"|"do"|"da"|"dos"|"das" A[CAT<-/(a_nc|nc)/]; [R3] A "of"|"in"|"for" B = A[CAT<-/nc/] "de"|"do"|"da" B[CAT<-/nc/]; [R4] A B C = C[CAT<-/nc/] A[CAT<-/(adj|a_nc)/] B[CAT<-/(adj|a_nc)/]; Padr˜es EN–GL (FreeLing) o [R1] A B = B[CAT<-/^NC/] A[CAT<-/^AQ0/]; [R2] A B = B[CAT<-/^NC/] "de"|"do"|"da"|"dos"|"das" A[CAT<-/^NC/]; [R3] A "of"|"in"|"for" B = A[CAT<-/^NC/] "de"|"do"|"da" B[CAT<-/^NC/]; [R4] A B C = C[CAT<-/^NC/] A[CAT<-/^AQ0/] B[CAT<-/^AQ0/]; Regras simplificadas, por quest˜es espaciais. o Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (37/40)
- 46. Mat´ria Prima e Extrac¸˜o de Entidades Paralelas ca Dicion´rios Bilingues a Extrac¸˜o Baseada em Padr˜es ca o Unidades de Tradu¸˜o ca Extrac¸˜o de Terminologia com Padr˜es ca o Terminologia Paralela A Linguagem de Padr˜es o Padr˜es EN–PT (jSpell) o [R1] A B = B[CAT<-/nc/] A[CAT<-/(a_nc|adj)/]; [R2] A B = B[CAT<-/nc/] "de"|"do"|"da"|"dos"|"das" A[CAT<-/(a_nc|nc)/]; [R3] A "of"|"in"|"for" B = A[CAT<-/nc/] "de"|"do"|"da" B[CAT<-/nc/]; [R4] A B C = C[CAT<-/nc/] A[CAT<-/(adj|a_nc)/] B[CAT<-/(adj|a_nc)/]; Padr˜es EN–GL (FreeLing) o [R1] A B = B[CAT<-/^NC/] A[CAT<-/^AQ0/]; [R2] A B = B[CAT<-/^NC/] "de"|"do"|"da"|"dos"|"das" A[CAT<-/^NC/]; [R3] A "of"|"in"|"for" B = A[CAT<-/^NC/] "de"|"do"|"da" B[CAT<-/^NC/]; [R4] A B C = C[CAT<-/^NC/] A[CAT<-/^AQ0/] B[CAT<-/^AQ0/]; Regras simplificadas, por quest˜es espaciais. o Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (37/40)
- 47. Mat´ria Prima e Extrac¸˜o de Entidades Paralelas ca Dicion´rios Bilingues a Extrac¸˜o Baseada em Padr˜es ca o Unidades de Tradu¸˜o ca Extrac¸˜o de Terminologia com Padr˜es ca o Terminologia Paralela E que tipo de resultado? English Portuguese Oc. european union uni˜o europeia a 12 465 european parliament parlamento europeu 13 066 european community comunidade europeia 18 251 european communities comunidades europeias 19 545 council decision decis˜o do conselho a 1 665 commission decision decis˜o da comiss˜o a a 2 215 basic regulation regulamento de base 3 390 management committee comit´ de gest˜o e a 3 549 act of accession acto de ades˜o a 1 043 exchange of letters troca de cartas 1 169 court of justice tribunal de justi¸a c 1 198 date of adoption data de adop¸˜o ca 1 467 french overseas departments departamentos franceses ultramarinos 137 single european sky c´u unico europeu e ´ 78 european agricultural fund fundo europeu agr´ıcola 48 scientific veterinary committee comit´ cient´ e ıfico veterin´rio a 44 Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (38/40)
- 48. Mat´ria Prima e Extrac¸˜o de Entidades Paralelas ca Dicion´rios Bilingues a Extrac¸˜o Baseada em Padr˜es ca o Unidades de Tradu¸˜o ca Extrac¸˜o de Terminologia com Padr˜es ca o Terminologia Paralela Resultado Satisfat´rio? o SIM! n˜o... a algumas das entradas s˜o nominais “comuns” a O que fazer? Calcular n-gramas sobre corpora monolingue “gen´rico” e (liter´rio?) a Filtrar a terminologia encontrada por esses n-gramas. Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (39/40)
- 49. Mat´ria Prima e Extrac¸˜o de Entidades Paralelas ca Dicion´rios Bilingues a Extrac¸˜o Baseada em Padr˜es ca o Unidades de Tradu¸˜o ca Extrac¸˜o de Terminologia com Padr˜es ca o Terminologia Paralela Resultado Satisfat´rio? o SIM! n˜o... a algumas das entradas s˜o nominais “comuns” a O que fazer? Calcular n-gramas sobre corpora monolingue “gen´rico” e (liter´rio?) a Filtrar a terminologia encontrada por esses n-gramas. Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (39/40)
- 50. Mat´ria Prima e Extrac¸˜o de Entidades Paralelas ca Dicion´rios Bilingues a Extrac¸˜o Baseada em Padr˜es ca o Unidades de Tradu¸˜o ca Extrac¸˜o de Terminologia com Padr˜es ca o Terminologia Paralela Conclus˜es o os corpora paralelos s˜o recursos ricos. . . a especialmente quando alinhados ` frase a os dicion´rios de tradu¸˜o extra´ a ca ıdos s˜o: a estat´ ısticos e possivelmente pouco precisos; podem ser filtrados e melhorados; os exemplos de tradu¸˜o s˜o: ca a a base dos sistemas de tradu¸˜o estat´ ca ıstica; tamb´m uteis para TAC; e ´ ´ poss´ fazer extrac¸˜o terminol´gica. e ıvel ca o usando ferramentas auxiliares; Alberto Sim˜es o Extrac¸˜o de Recursos para Tradu¸˜o Autom´tica ca ca a (40/40)