Bàsicament, primer llegim la lletra “a”, “e”, “i”… i quan sabem llegir una mica escrivim (sí, ja sé que en aquest cas hi ha el sistema motor per escriure que no val per llegir i altres «detalls»).

Abans d’escriure una novel·la els escriptor en llegeixen força.

Per algun motiu, no es fa el mateix amb els llenguatges de programació, almenys no a la universitat. Un pot acabar d’estudiar informàtica amb qualsevol de les seves variants i, normalment, i fins on he pogut investigar demanant a amics, la gent escriu molt codi i en llegeix poc. Bàsicament llegeix el d’algun company i poca cosa més. Si ho comparem amb els llenguatges normals seria que un nen de 5 o 6 anys l’únic que llegís abans d’escriure serien les lletres dels seus companys.

Està una mica tret fora de context, però llegir codi és important igual que llegir llibres és important per escriure’n.

A l’empresa a vegades em fan preguntes capcioses. Tipus “i el català i el castellà, són molt diferents? Quan de diferents?”. I després “és més diferent el castellà o el francès?”, etc.Normalment contesto el poc que sé: el francès, si és escrit, el puc entendre força bé. El castellà, penso que si algú només sap català el podria entendre “força bé”, i si algú només sap castellà el català ha d’entendre coses. Si vol, clar!

Un dia la pregunta era “però quin percentatge de paraules creus que són diferents?” i clar, un davant aquestes preguntes no es pot aguantar.

Uns dies més tard vaig posar-me a fer la feina: agafar els diccionaris que venen a Debian de català, anglés i francés i vaig posar-me a fer les proves.

Dades: el diccionari català conté 684720 paraules(!!), l’anglès 98326, el francès 139704 i el castellà 86016. Veure que el català ha estat fet de diferent manera, i conté plurals i altres variacions de les paraules.

Vaig creuar totes les llengua amb català (així és fàcilment comparable). Els reulstats són:
-16% de les paraules castellanes estan incloses al diccionari català (13774 paraules)
-5.5% de les paraules franceses estan incloses al diccionari català (7684 paraules)
-5.3% de les paraules angleses estan incloses al diccionari català

Els resultats NO són massa acurats perquè:

• Hi ha paraules que estan igual escrites i volen dir diferent coses. Per exemple, “cama” en català (part del cos) i “cama” en castellà que és llit en català
• Paraules que s’escriuen “una mica diferent” però s’endevina el significat (“paper” i “papel”)

M’ha sorprès que la distància, mal comptat d’aquesta manera, català i francès i català i anglès sigui tant igual. M’esperava ser molt més proper al francés. De fet, crec que sense estudiar francés el podria entendre millor (llegit) que no pas l’anglès.

Com a comentari, però conec força paraules franceses que són molt semblants a les catalanes. Per exemple “Moulin Rouge” ja es veu que és “Molí Roig”, en canvi amb anglés seria “Red Mill” (que això, ja no es veu que sigui “Molí roig”). Una altra: “fromage” i “formatge” (cheese). Evidentment també n’hi ha que passaria el mateix amb l’anglés…

Com a comentari, també hi ha paraules que s’escriuen igual però es pronuncien diferent (“paper” en català i anglés).

Idees per millorar la comparativa:

• Es podria fer transcripció fonètica i comparar fonemes. Ja no seria tant fàcil. Hi ha maneres de tenir el so que es representen les paraules, algunes maneres com Soundex són molt simples i es fan servir a bases de dades. Però, almenys Soundex, està centrat amb la llengua anglesa. Es podria fer alguna cosa amb Festival (agafar la transcripció fonètica i comparar-ho)
• Es podria mirar la distància (com qui calcula la distància de Hamming, castellà i senzill, anglés i molt complet). Amb això es podria comparar la distancia promig d’una paraula amb la més propera de l’altre diccionari. Per exemple, “paper” i “paper” són iguals, però no “paper” i “papel”. La distància de Hamming en aquest cas seria 1 (només canvia un caràcter). Així es podria mirar amb quants canvis es pot passar d’una paraula a la més propera, en promig.

De moment no crec que faci aquestes idees, tot i que la segona especialment m’atrau l’atenció.

De totes maneres, suposo que ja hi ha molts estudis en aquest àmbit i estic re-descobrint la sopa d’all. També miraré què hi ha, o preguntaré als entesos

Primer de tot: fa molts anys, un professor d’anglès tècnic va comentar que entenent el 75% del text és quan s’entén de què va. Menys del 75% no. Per això, quan sabíem el 75% ens posava un aprovat just (menys d’això no era suficient).

Altra dada: a la Vanguardia havia vist un anunci de “Aprenda Inglés en 1000 palabras”. Segons explicaven, amb 1000 paraules s’entén més o menys tot (vida cotidiana!). Insistien en dominar molt bé aquestes 1000 paraules de base. I que havien fet estudis rigorosos per buscar les 1000 paraules més importants. Jo per curiositat també ho vaig fer (amb textes llargs i un programet) i justament amb 1000 paraules i textes normals es tenen entre el 70% i el 75% de les paraules (just per entendre, segons el professor d’anglès). Evidentment la dada no és gens acurada perquè no té en compte que una paraula pot tenir plural, temps verbals, etc. però ja dona una idea.

I quantes paraules sé?

Fa anys em vaig preguntar: i quantes paraules jo faig servir? I quines són les que més? Vaig agafar textes anglesos que jo havia escrit espontàniament (xat, mails ràpids). Amb el programa d’abans vaig mirar com anava, i feia servir (crec) unes 2000 o 2500 paraules (plurals inclosos com a paraules diferents). A més vaig mirar amb la gent que jo parlava: tenien més vocabulari, unes 3000 o 4000. Evidentment, hi ha moltes paraules que jo no faig servir però sé què volen dir.Més coses: volia buscar una manera de saber quantes paraules sé. Sí, puc fer aproximacions o coses, però he fet un altre enfoc. He agafat els fitxers XML de Dacco (unes 12000 entrades a la versió que tinc al disc, en anglès). Ho he passat a fitxer de text que m’és més còmode i llavors he fet un programa que agafa una paraula a l’atzar i et demana si la saps o no la saps. Ho va fent fins que un vol sortir. En qualsevol moment es pot premer “s” per veure l’estadística:
———
Paraules demanades: 83
Has sabut: 74
Percentatge: 89.16
Projectant a univers paraules: 10944.87
———

L’univers de paraules són les 12000 paraules totals, i aquí diu quantes en sé del total de paraules. Era una prova, hauria d’estar “jugant” més estona.

Pot ser poc acurat. De fet, però, el “Projectant a univers de paraules” hauria de ser una cota inferior prou bona: sé el 89% de paraules de Dacco agafades a l’atzar, doncs almenys sembla que sàpiga unes 10900 paraules.

Evidentment: hauria de jugar més que 83 paraules demanades.

De totes maneres m’ha sorprès molt positivament. A veure si jugo una estona llarga per saber què passa.

Ah! el tema va molt bé, perquè les paraules que no sé les miro i potser algunes les recordaré

El programa
Enllaç al programa amb el fitxer de dades. És un .tar.gz, descomprimir, anar al directori i executar “./demanar.py” . Us anirà demanant les paraules, podeu veure l’estadística (ho fa automàtic al sortir, també), etc.

PD: és fàcil canviar el fitxer de dades, per exemple, per /usr/share/dict/british-english, paquet a Debian wbritish. Sobrescriviu el diccionari.txt o bé editeu el fitxer demanar.py i on posa DADES= poseu la ruta al fitxer.

Continuació